更新时间:2024-11-21 GMT+08:00
分享

配置OBS桶

设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。

权限要求

请确保添加的目的端凭证最少拥有日志桶的如下操作权限:

  • obs:object:PutObject:PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段
  • obs:bucket:ListAllMyBuckets:获取桶列表
  • obs:bucket:ListBucket:列举桶内对象

更多权限介绍请参见权限管理

前提条件

操作步骤

  1. 使用注册的用户名、密码登录Edge控制台。
  2. 在左侧导航树选择“云边协同 > 大数据”,进入大数据页面。
  3. 在Edge凭证管理界面的桶配置区域,单击“配置”按钮,弹出“桶配置”窗口。

    图1 配置桶

  4. 根据表1,配置日志桶。

    表1 日志桶参数配置说明

    参数

    配置说明

    桶类型

    支持并行文件系统标准桶两种类型。

    对象存储终端节点

    填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。

    桶名称

    在下拉列表中,选择需要作为日志桶的桶名。

    自定义文件夹(可选)

    指定日志文件和内容校验结果在日志桶内的存放文件夹,填写以“/”开头的文件夹路径。例如:桶名为“mgc01”,填写的文件夹为“/test”,则日志文件存放路径为:obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件;内容校验结果存放路径为:obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件

    • 如果不指定文件夹(不填写),系统将在日志桶内自动创建一个名为“bigdata”的默认文件夹。
      • 日志文件存放路径为:obs://桶名/bigdata/task/日期/任务实例ID/日志文件
      • 内容校验结果存放路径为:obs://桶名/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件
    • 如果指定的文件夹不存在,上传日志文件时系统将自动创建该文件夹。

  5. 日志桶参数配置完成后,单击“确定”按钮,设置日志桶完成。

    删除桶配置,不会删除桶以及桶内已有文件,但无法继续使用日志上传功能。

相关文档