导入离线文件 操作场景 当您已获取到应用同步任务对应的离线文件后，您可以在应用运行态通过导入离线文件的方式，同步应用数据。 前提条件 已登录应用运行态。 操作步骤 在页面右上方，切换至目标租户。 图1 切换租户 在左侧导航栏中，单击“应用中心 > 应用同步”，进入应用同步页面。 单击“离线文件导入”。

查看更多 →

离线作业概述 离线处理集成作业作为数据开发的一个作业类型，支持跨集群下发数据迁移作业，实现常用的批作业迁移能力。 相比于传统的依靠 CDM 集群进行生命周期管理CDM迁移作业，离线处理集成作业依靠数据开发组件的生命周期管理，由数据开发进行集成作业的统一调度和CDM集群资源的统一支配，作业运行可靠性更高、使用体验更佳。

查看更多 →

离线日志下载 离线日志记录了所有播放 域名 被网络用户访问的详细日志，您可以通过下载指定时段的日志，对您的业务资源被访问情况进行详细分析。 日志中记录的数据仅供数据分析和参考使用，计费数据请以账单为准。 注意事项 此功能暂不支持“华北-北京一”区域使用。 下载说明 支持下载最近90天的日志。

查看更多 →

JAVA_HOME=/opt/jdk-23.0.1" >> /opt/hadoop-2.10.x/etc/hadoop/hadoop-env.sh 验证安装。 hadoop version 回显信息如下所示表示Hadoop安装成功。 Hadoop 2.10.x Subversion https://github

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

表/文件同步可以实现表或文件级别的数据同步。 支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示： 表1 离线作业不同数据源读写能力说明 数据源分类 数据源 单表读 单表写 数据仓库 DWS、 DLI 支持 支持 Hadoop MRS Hive、MRS Hudi、Doris、ClickHouse、MRS

查看更多 →

本实践基于华为云 MapReduce服务 ，用于指导您创建MRS集群后，使用Hive对原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的离线大数据分析。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive

查看更多 →

快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS Kafka作业配置 数据仓库：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi（公测中）

查看更多 →

SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink：提供一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。

查看更多 →

双方达成一致的业务保障目标，客户完成服务付款。 服务范围 本项目华为云数据仓库专家服务包括以下一项或多项内容： 华为云数据仓库产品咨询服务 华为云数据仓库平台安装部署规划与实施 数据仓库迁移方案设计与实施支持 基于华为云数据仓库平台的开发支持 本项目华为云数据仓库专家服务不包括以下内容： 应用程序改造、应用程序设计、数据库逻辑结构设计

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如Da

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

查看构建任务构建信息 功能介绍 查看构建任务构建信息 调用方法 请参见如何调用API。 URI GET /v1/job/{job_id}/info 表1 路径参数 参数 是否必选 参数类型 描述 job_id 是 String 构建的任务ID； 编辑构建任务时，浏览器URL末尾的32位数字、字母组合的字符串。

查看更多 →

向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HiveQL）中大多数的SQL-92功能，包括

查看更多 →

离线数据源 调用RES之前，您需要准备3种基础数据包并上传至OBS，离线数据源目前支持 CS V和JSON。具体数据包请参见表1 基础数据表。 表1 基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。

查看更多 →

Edge设备离线原因 MgC控制台显示设备状态为离线，请排查以下原因： 请检查安装Edge的主机是否仍然具备访问公网的能力。 请检查Edge运行进程是否正常。 父主题： 常见问题

查看更多 →

导出离线文件 操作场景 当您完成应用同步任务的创建和启动后，您可以在应用运行态导出离线文件。 前提条件 已登录应用运行态。 操作步骤 在左侧导航栏中，单击“应用中心 > 应用同步”，进入应用同步页面。 勾选需要导出离线文件的应用同步任务，单击“离线文件导出”。 如果勾选的应用同步

查看更多 →

关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS Kafka作业配置 数据仓库：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi 说明：

查看更多 →

向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HiveQ

查看更多 →

向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HiveQL）中大多数的SQL-92功能，包括

查看更多 →