图3 创建OBS连接 单击“保存”回到连接管理界面。 步骤4：创建迁移作业 在 CDM 集群管理界面，单击集群后的“作业管理”，选择“表/文件迁移 > 新建作业”，开始创建从 MRS HDFS导出数据到OBS的任务。 图4 创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。

查看更多 →

任务日志进行合并，写入到HDFS中。 由于MapReduce的作业日志和任务日志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop

查看更多 →

任务日志进行合并，写入到HDFS中。 由于MapReduce的作业日志和任务日志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop

查看更多 →

象： static OBSClient *client; NSString *endPoint = @"your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和

查看更多 →

直读归档存储对象 使用场景 实际业务场景下，您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求，需要急速读取归档数据；或者在OBS与其他系统对接的情况下，因接口兼容问题，需要直接读取归档数据。 桶开启归档数据直读后，存储类别为归档存储的对象可以直接访问，无需提前恢复。开启直

查看更多 →

清理数据并归档 归档实例配置 数据归档清理 父主题： 管理AstroZero中已安装应用的资源

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题： 组件介绍

查看更多 →

</property> MRS服务的默认配置文件中已经添加了OBS的实现类来对接OBS，如下所示： <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value>

查看更多 →

动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级

查看更多 →

new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。

查看更多 →

获取跨域归档配置 功能介绍 获取跨域归档配置 URI GET /v1/{project_id}/system/archive-configs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1

查看更多 →

修改跨域归档设置 功能介绍 修改跨域归档设置 URI PUT /v1/{project_id}/system/archive-configs/{region_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。

查看更多 →

归档数据迁移方案 本节介绍各云服务商存在归档数据时，如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob

查看更多 →

下载数据集到OBS桶 一个租户下成功订阅数据集的第一个用户订阅完成后不需要手动下载该数据集到OBS桶，系统会自动下载到OBS桶，在数据集订阅到期时间之前该用户也可以多次手动下载该数据集到OBS桶，该租户下的其他用户需要手动下载该数据集到OBS桶。 操作步骤 在数据集服务首页界面上方，单击“个人中心”。

查看更多 →

Status number 参数解释： OBS服务端返回的HTTP状态码。 取值范围： 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 Code string 参数解释： OBS服务端返回的错误码。 Message

查看更多 →

险，并接受对集群可能造成的异常或影响。”，单击“确定”。 HDFS路径：选择“/tmp/test”，单击“确定”。 图5 从OBS导入数据到HDFS 单击“确定”，等待数据导入成功，此时数据文件已上传至MRS集群的HDFS文件系统内。 图6 数据导入成功 步骤3：创建Hive表

查看更多 →

下载归档存储对象 开发过程中，您有任何问题可以在github上提交issue，或者在华为云 对象存储服务 论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 如果要下载归档存储对象，需要先将归档存储对象恢复。恢复归档存储对象的恢复选项可支持两类，见下表： 选项 说明 OBS服务端对应值

查看更多 →

象： // 初始化配置参数 ObsConfig config = new ObsConfig(); config.Endpoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变

查看更多 →