险，并接受对集群可能造成的异常或影响。”，单击“确定”。 HDFS路径：选择“/tmp/test”，单击“确定”。 图5 从OBS导入数据到HDFS 单击“确定”，等待数据导入成功，此时数据文件已上传至 MRS 集群的HDFS文件系统内。 图6 数据导入成功 步骤3：创建Hive表

查看更多 →

动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级

查看更多 →

使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

使用Loader从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

图3 创建OBS连接 单击“保存”回到连接管理界面。 步骤4：创建迁移作业 在 CDM 集群管理界面，单击集群后的“作业管理”，选择“表/文件迁移 > 新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 图4 创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。

查看更多 →

清理数据并归档 归档实例配置 数据归档清理 父主题： 管理AstroZero中已安装应用的资源

查看更多 →

修改跨域归档设置 功能介绍 修改跨域归档设置 URI PUT /v1/{project_id}/system/archive-configs/{region_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。

查看更多 →

获取跨域归档配置 功能介绍 获取跨域归档配置 URI GET /v1/{project_id}/system/archive-configs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目ID，您可以从获取项目ID中获取。 最小长度：1

查看更多 →

归档数据迁移方案 本节介绍各云服务商存在归档数据时，如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob

查看更多 →

Status number 参数解释： OBS服务端返回的HTTP状态码。 取值范围： 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 Code string 参数解释： OBS服务端返回的错误码。 Message

查看更多 →

new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。

查看更多 →

下载数据集到OBS桶 一个租户下成功订阅数据集的第一个用户订阅完成后不需要手动下载该数据集到OBS桶，系统会自动下载到OBS桶，在数据集订阅到期时间之前该用户也可以多次手动下载该数据集到OBS桶，该租户下的其他用户需要手动下载该数据集到OBS桶。 操作步骤 在数据集服务首页界面上方，单击“个人中心”。

查看更多 →

DMS Kafka到OBS参数调优 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max

查看更多 →

RestoreObjectStatus 参数名称 参数类型 描述 statusCode int 参数解释： HTTP状态码。 取值范围： 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值： 无 responseHeaders

查看更多 →

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值： 无 reason str 参数解释： HTTP文本描述。 默认取值： 无 errorCode str 参数解释： OBS服务端错误码，当status参数小于300时为空。

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题： 组件介绍

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗？ 回答 Hive存储在OBS上的普通表，支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分

查看更多 →

高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受

查看更多 →