配置OBS桶
设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。
权限要求
请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
- obs:object:PutObject:PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段
- obs:bucket:ListAllMyBuckets:获取桶列表
- obs:bucket:ListBucket:列举桶内对象
更多权限介绍请参见权限管理。
操作步骤
- 使用注册的用户名、密码登录Edge控制台。
- 在左侧导航树选择“云边协同 > 大数据”,进入大数据页面。
- 在Edge凭证管理界面的桶配置区域,单击“配置”按钮,弹出“桶配置”窗口。
图1 配置桶
- 根据表1,配置日志桶。
表1 日志桶参数配置说明 参数
配置说明
桶类型
支持并行文件系统和标准桶两种类型。
对象存储终端节点
填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。
桶名称
在下拉列表中,选择需要作为日志桶的桶名。
自定义文件夹(可选)
指定日志文件和内容校验结果在日志桶内的存放文件夹,填写以“/”开头的文件夹路径。例如:桶名为“mgc01”,填写的文件夹为“/test”,则日志文件存放路径为:obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件;内容校验结果存放路径为:obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件
- 如果不指定文件夹(不填写),系统将在日志桶内自动创建一个名为“bigdata”的默认文件夹。
- 日志文件存放路径为:obs://桶名/bigdata/task/日期/任务实例ID/日志文件。
- 内容校验结果存放路径为:obs://桶名/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件
- 如果指定的文件夹不存在,上传日志文件时系统将自动创建该文件夹。
- 如果不指定文件夹(不填写),系统将在日志桶内自动创建一个名为“bigdata”的默认文件夹。
- 日志桶参数配置完成后,单击“确定”按钮,设置日志桶完成。
删除桶配置,不会删除桶以及桶内已有文件,但无法继续使用日志上传功能。