使用LTS管理AI DataLake作业日志

约束与限制

• 仅AuraJob、AuraJobV2、RayCluster、RayJob端点支持配置AI DataLake对接LTS日志流。
• 每个端点仅支持对接一个LTS日志流。
• 一个日志流支持对接多个端点。
• 端点绑定LTS需要具备以下权限，请参考表1。

  表1 端点绑定LTS需要具备的权限

  权限类型	API	角色与策略授权	身份与策略授权
  创建端点权限	POST /v2/workspaces/{workspace_id}/endpoints	DataArtsFabric:endpoint:create	DataArtsFabric:endpoint:create
  读取日志组权限	GET /v2/{project_id}/groups	lts:groups:get	lts:logGroup:listLogGroup
  读取日志流权限	GET /v2/{project_id}/groups/{log_group_id}/streams	lts:topics:get	lts:logStream:listLogStream

使用须知

绑定LTS后存储在日志组和日志流中的数据将按照LTS计费规则进行计费，详细计费说明请参考LTS计费说明。

操作流程

使用LTS管理AI DataLake作业日志分为以下操作步骤：

1. 创建端点绑定LTS：创建端点时，同时创建日志组和日志流，所有使用端点提交作业的日志将通过绑定的LTS存储在对应的日志组和日志流中。
2. 查看LTS日志：绑定LTS后即可根据LTS支持存储的日志类型搜索和查看日志。

基本概念

本节介绍LTS相关的基本概念，便于您通过云日志服务快速高效地进行设备运维管理、用户业务趋势分析、安全监控审计等操作。

步骤1：创建引擎端点并绑定LTS

1. 登录AI DataLake管理控制台。
2. 在创建端点时，配置参数“日志对接LTS”。
   • 创建Aura引擎端点的具体操作，请参见创建Aura引擎端点。
   • 创建Ray引擎端点的具体操作，请参见创建Ray引擎端点。

   

   • 日志对接LTS：勾选此参数。
   • 日志组：选择日志组。
   • 日志流：选择日志流。
   如果没有创建日志组和日志流，您需要先创建。具体操作如下：

   1. 单击“日志组”后的“创建日志组”。
   2. 在弹出“创建日志组&日志流”面板中，配置参数。
      • 日志组名称：输入日志组名称。
      • 日志流名称：输入日志流名称。
      • 日志存储时间（天）：设置日志存储时间。默认存储30天。
      • 企业项目：选择企业项目。

      参数详细说明，请参见创建日志组和创建日志流。

   3. 单击“确定”，然后在选择日志组和日志流区域单击，刷新后选择日志组和日志流。
3. 单击“立即创建”，完成端点和LTS日志组与日志流的绑定。

   完成绑定后，所有使用该端点提交作业的日志将通过绑定的LTS存储在对应的日志组和日志流中：

   • 运行中的作业：从绑定开始后产生的日志将存储在LTS中。
   • 新提交的作业：所有日志都将存储在LTS中。

步骤2：查看LTS日志

请在端点上运行任一作业，然后通过作业ID查看对应的作业日志。

1. 在作业运行历史列表，查看作业ID。具体操作，请参见查看作业运行历史。
2. 查看日志。
   1. 登录云日志服务控制台。
   2. 单击“日志管理”，进入日志管理界面。
   3. 在“日志组列表”中，单击目标日志组前的，并单击日志流名称，进入日志流详细页面。
   4. 在“实时日志”页签，单击“搜索”输入对应的作业ID，即可查看对应的作业日志。

相关信息：LTS支持的存储日志类型

AuraJob作业日志为用户镜像中应用产生的运行日志，AI DataLake不单独提供日志类型。

相关操作：解绑LTS

绑定LTS后，端点上执行的所有作业日志都将存储至LTS日志组。

如果不再需要使用LTS存储，可随时解绑。

1. 登录AI DataLake管理控制台。
2. 选择目标端点，进入端点管理页面。
3. 单击右上角“编辑”，在编辑引擎端点页面中取消勾选“日志对接LTS”。
4. 单击“确定”，完成端点与LTS的解绑。

端点解绑LTS后，若不再使用日志组和日志流中的日志，请及时清理，以免产生额外费用。