String 生成对比结果报告文件的状态： INIT：初始状态。 EXPORTING：对比结果导出中。 EXPORT_COMPLETE：对比结果导出完成。 EXPORT_COMMON_FAILED：对比结果导出失败。 report_remain_seconds Long 对比结果报告文件

查看更多 →

表3 响应Body参数 参数 参数类型 描述 id String 对比任务ID。 type String 对比类型： object_comparison：对象对比。 lines：行对比。 account：用户对比。 start_time String 开始时间，UTC时间，例如：

查看更多 →

compare_type 否 String 对比任务类型： contents： 内容对比。 lines：行数对比。 random：抽样对比。 objects_comparison：对象对比。 compare_job_id 否 String 对比任务的ID，内容对比、抽样对比、行数对比场景必填。 请求参数

查看更多 →

实例进行对比，并给出对比结果及详情，方便用户快速定位不一致的数据。 API：使用“数据服务管理 > 全量数据服务 > 系统管理API”下的“属性对比API”，进行 数据实例 间的关系（包含关系属性）差异对比。具体操作请参见全量数据服务。 本文指导您如何在应用运行态页面上对比数据实例。

查看更多 →

更场景中。 在对比阶段页面，查看任务信息及对比项无误后，单击“提交对比”。 关于对比项，您也可根据需要，勾选“跳过”取消对比操作。 图2 设置对比项 查看对比进度。 在对比项列表中单击“查看日志”获取对比结果的详细信息，并支持下载DDL。 图3 查看对比进度 对比完成后，单击“下

查看更多 →

target_db_value String 在目标库的值。 status Integer 对比结果，0为不一致，2为一致，3为未完成。 error_message String 错误信息。 请求示例 查询对象对比任务表对象对比详情。 https://{endpoint}/v3/054ba152d4

查看更多 →

compare_type 是 String 对比任务类型： contents： 内容对比。 lines：行数对比。 random：抽样对比。 objects_comparison：对象对比。 compare_job_id 否 String 对比任务的ID，内容对比、抽样对比、行数对比场景必填。 time_zone

查看更多 →

本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 SparkPythonExample SparkScalaExample SparkRExample SparkLauncherJavaExample 使用Spark Launcher提交作业的Java/Scala示例程序。

查看更多 →

仓库服务 GaussDB （DWS），MapReduce服务 MRS ，云数据库RDS等。使用 DLI 的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《 数据湖探索 用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。 表格

查看更多 →

新建MRS SparkSQL数据连接 连接MRS SparkSQL前，需要满足以下条件： 已创建一个包含Spark组件的MRS 2.x之前版本集群，并且请确保MRS集群已关闭Kerberos认证。对于开启Kerberos认证的MRS SparkSQL数据源， DLV 暂不支持。 已获取MRS

查看更多 →

√ √ MapReduce服务 （MRS HBase） √ × × √ × × × MapReduce服务（MRS Hive） √ √ √ √ √ × √ MapReduce服务（MRS Kafka） √ × √ × × × √ MapReduce服务（MRS Spark）[1] √

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn

查看更多 →

等功能。 Spark spark-examples SparkHbasetoHbaseJavaExample Spark从HBase读取数据再写入HBase的Java/Scala示例程序。 本示例工程中，Spark应用程序实现两个HBase表数据的分析汇总。 SparkHbasetoHbaseScalaExample

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

MRS可以做什么？ 问： MapReduce Service（MRS）可以做什么？ 答： MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持 数据湖 、数

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

是 String 作业类型: MapReduce SparkSubmit SparkPython：该类型作业将转换为SparkSubmit类型提交，MRS控制台界面的作业类型展示为SparkSubmit，通过接口查询作业列表信息时作业类型请选择SparkSubmit。 HiveScript

查看更多 →

DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，

查看更多 →

作业管理 MRS作业简介 运行MapReduce作业 运行SparkSubmit或Spark作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 查看作业配置信息和日志 停止作业 克隆作业 删除作业 使用OBS加密数据运行作业

查看更多 →