使用LTS管理AI DataLake作业日志

约束与限制

• 仅Aura Job支持配置AI DataLake对接LTS日志流。
• 每个端点仅支持对接一个LTS日志流。
• 一个日志流支持对接多个Aura端点。
• 端点绑定LTS需要具备以下权限，请参考表1。

  表1 端点绑定LTS需要具备的权限

  权限类型	API	角色与策略授权	身份与策略授权
  创建端点权限	POST /v2/workspaces/{workspace_id}/endpoints	DataArtsFabric:endpoint:create	DataArtsFabric:endpoint:create
  读取日志组权限	GET /v2/{project_id}/groups	lts:groups:get	lts:logGroup:listLogGroup
  读取日志流权限	GET /v2/{project_id}/groups/{log_group_id}/streams	lts:topics:get	logStream:listLogStream

操作流程

图1 创建程序包

使用LTS管理AI DataLake作业日志分为以下操作步骤

1. 步骤1：创建LTS日志组：日志组（LogGroup）是云日志服务进行日志管理的基本单位，用于对日志流进行分组。
2. 步骤2：创建LTS日志流：日志采集后，以日志流为单位，将不同类型的日志分类存储在不同的日志流上，方便对日志进一步分类管理。
3. 步骤3：创建端点绑定LTS：所有使用端点提交的Aura Job作业的日志将通过绑定的LTS存储在对应的日志组和日志流中。
4. 步骤4：查看LTS日志：绑定LTS后即可根据LTS支持存储的日志类型搜索和查看日志。

基本概念

本节介绍LTS相关的基本概念，便于您通过云日志服务快速高效地进行设备运维管理、用户业务趋势分析、安全监控审计等操作。

步骤1：创建LTS日志组

日志组（LogGroup）是云日志服务进行日志管理的基本单位，用于对日志流进行分组，一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据，仅方便您管理日志流。

一个日志组通常对应公司内的某一个项目/业务，建议将某个项目/业务下的多个应用/服务的日志流归属到同一个日志组下。当公司有多个项目时，具体的项目人员只需要查看所属项目对应的日志组下的日志流即可，其它项目的日志流不会对其产生干扰。

1. 登录云日志服务控制台。
2. 进入“日志管理”页面，单击“创建日志组”。
3. 在“创建日志组”页面中配置LTS日志的相关参数。
   • 本例设置创建日志组名称：lts-group-aura
   • 日志存储时间：30天

   更多参数说明请参考创建日志组。

4. 单击“确定”，日志组创建成功，即可在日志组列表下方生成一条日志组信息。

步骤2：创建LTS日志流

云日志服务以日志流（LogStream）作为日志管理维度。每个日志流只能属于一个日志组，每个日志组中可创建多个日志流。

日志采集后，以日志流为单位，将不同类型的日志分类存储在不同的日志流上，方便对日志进一步分类管理。如果日志较多，需要分门别类，建议您创建多个日志流，并给日志流做好命名，方便后续快速查找日志。例如，您可以将操作日志、访问日志等接入不同的日志流，查询日志时可以进入对应的日志流快速查看日志。支持按照业务需求对不同的日志流添加对应的标签，方便运维人员管理业务。

1. 登录云日志服务控制台。
2. 单击日志组名称对应的。
3. 单击“创建日志流”，在创建日志流页面，填写日志流相关信息。

   本例创建日志流参数配置如下：

   • 日志流名称：lts-topic-spark001
   • 日志存储：开启
   • 日志存储时间：使用日志组的存储时间

   更多参数说明请参考创建日志流。

4. 单击“确定”，完成日志流的创建，在日志组下方生成一条日志流信息。

步骤3：创建端点绑定LTS

1. 登录AI DataLake控制台。
2. 选择“多模数据引擎 Aura”。
3. 单击“创建端点”并配置参数“日志对接LTS”。
   本例创建日志流参数配置如下：

   • 日志组：选择步骤1：创建LTS日志组中创建的日志组。
   • 日志流：选择步骤2：创建LTS日志流中创建的日志流。

   更多参数说明请参考创建日志流。

4. 单击“确定”，完成端点和LTS日志组与日志流的绑定。

   完成绑定后，所有使用该端点提交的Aura Job作业的日志将通过绑定的LTS存储在对应的日志组和日志流中：

   • 运行中的作业：从绑定开始后产生的日志将存储在LTS中。
   • 新提交的作业：所有日志都将存储在LTS中。

步骤4：查看LTS日志

请选择使用该端点上运行任一Aura job作业。

1. 登录AI DataLake控制台。
2. 单击“多模数据引擎 Aura > 端点名称 > 作业历史”，查看作业执行历史。
3. 记录对应的作业名称。
4. 登录LTS日志流页面，在搜索对应的作业名称，即可查看对应的作业日志。
   图2 在LTS中查询日志
   

相关信息：LTS支持存储的日志类型