使用LTS管理AI DataLake作业日志

在大数据作业开发、调试和线上运维过程中，用户对日志的实时查看、检索和分析能力提出了更高的要求。为了提高日志管理的效率和用户体验，AI DataLake提供了将Job标准输出日志自动投递到云日志服务（Log Tank Service，简称LTS）的功能。只需在AI DataLake控制台配置端点绑定LTS，系统将自动完成日志的实时采集、查询和分析，从而简化日志管理流程，提高问题定位和故障排查的效率，同时确保日志数据的安全隔离，满足多租户场景下的安全与合规要求。

约束与限制

仅Aura支持配置AI DataLake对接LTS日志流。
每个端点仅支持对接一个LTS日志流。
一个日志流支持对接多个Aura端点。

端点绑定LTS需要具备以下权限，请参考表1。

表1 端点绑定LTS需要具备的权限
权限类型	API	角色与策略授权	身份与策略授权
创建端点权限	POST /v2/workspaces/{workspace_id}/endpoints	DataArtsFabric:endpoint:create	DataArtsFabric:endpoint:create
读取日志组权限	GET /v2/{project_id}/groups	lts:groups:get	lts:logGroup:listLogGroup
读取日志流权限	GET /v2/{project_id}/groups/{log_group_id}/streams	lts:topics:get	logStream:listLogStream

操作流程

使用LTS管理AI DataLake作业日志分为以下操作步骤：

创建端点绑定LTS：创建端点时，同时创建日志组和日志流，所有使用端点提交的Aura Job作业的日志将通过绑定的LTS存储在对应的日志组和日志流中。
查看LTS日志：绑定LTS后即可根据LTS支持存储的日志类型搜索和查看日志。

步骤1：创建引擎端点并绑定LTS

登录AI DataLake管理控制台。
选择“多模数据引擎 Aura”。
单击“创建端点”，创建端点并配置参数“日志对接LTS”。
本示例主要介绍端点绑定LTS的操作，创建端点的其他参数，请参见创建Aura引擎端点。
- 日志对接LTS：勾选此参数。
- 日志组：选择日志组。
- 日志流：选择日志流。
如果没有创建日志组和日志流，您需要先创建。具体操作如下：
1. 单击“日志组”后的“创建日志组”。
2. 在弹出“创建日志组&日志流”面板中，配置参数。
  - 日志组名称：输入日志组名称。
  - 日志流名称：输入日志流名称。
  - 日志存储时间（天）：设置日志存储时间。默认存储30天。
  - 企业项目：选择企业项目。
  参数详细说明，请参见创建日志组和创建日志流。
3. 单击“确定”，然后在选择日志组和日志流区域单击，刷新后选择日志组和日志流。
单击“立即创建”，完成端点和LTS日志组与日志流的绑定。
完成绑定后，所有使用该端点提交作业的日志将通过绑定的LTS存储在对应的日志组和日志流中：
- 运行中的作业：从绑定开始后产生的日志将存储在LTS中。
- 新提交的作业：所有日志都将存储在LTS中。

步骤2：查看LTS日志

请在Aura端点上运行任一作业。

查看作业ID。
1. 在左侧导航栏选择“引擎端点 > 多模数据引擎Aura”，进入Aura引擎端点列表页面。
2. 单击端点名称，进入端点详情页面。
3. 单击“作业运行历史”页签，记录作业ID。
查看日志。
1. 登录云日志服务控制台。
2. 在“日志组列表”，单击目标日志组前的，并单击日志流名称。
3. 搜索对应的作业ID，即可查看对应的作业日志。