adoop-mapreduce-examples-2.7.x.jar HDFS存储路径：以“/user”开头。Spark Script需要以“.sql”结尾，MapReduce和Spark需要以“.jar”结尾。sql、jar不区分大小写。 父主题： 使用Spark

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

版本对比分析 场景描述 同一个流程默认只有一个发布版本，但可以存在多个历史版本。版本对比分析功能是通过对比某个版本与其前一个版本话务和业务指标，分析版本变化前后对指标的影响，达到评估流程调整的效果。 前提条件 您必须具有“IVR分析 > 版本对比分析”的菜单权限。 您的租间需开启IVR分析特性、智能IVR特性。

查看更多 →

DDL工具测试对比 测试步骤 创建4张表，表结构如下： CREATE TABLE if not exists users ( `rid` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `nid` bigint(20) DEFAULT

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 SparkPythonExample SparkScalaExample SparkRExample SparkLauncherJavaExample 使用Spark Launcher提交作业的Java/Scala示例程序。

查看更多 →

√ √ MapReduce服务（ MRS HBase） √ × × √ × × × MapReduce服务（MRS Hive） √ √ √ √ √ × √ MapReduce服务（MRS Kafka） √ × √ × × × √ MapReduce服务（MRS Spark）[1] √

查看更多 →

String 生成对比结果报告文件的状态： INIT：初始状态。 EXPORTING：对比结果导出中。 EXPORT_COMPLETE：对比结果导出完成。 EXPORT_COMMON_FAILED：对比结果导出失败。 report_remain_seconds Long 对比结果报告文件

查看更多 →

表3 响应Body参数 参数 参数类型 描述 id String 对比任务ID。 type String 对比类型： object_comparison：对象对比。 lines：行对比。 account：用户对比。 start_time String 开始时间，UTC时间，例如：

查看更多 →

compare_type 否 String 对比任务类型： contents： 内容对比。 lines：行数对比。 random：抽样对比。 objects_comparison：对象对比。 compare_job_id 否 String 对比任务的ID，内容对比、抽样对比、行数对比场景必填。 请求参数

查看更多 →

实例进行对比，并给出对比结果及详情，方便用户快速定位不一致的数据。 API：使用“数据服务管理 > 全量数据服务 > 系统管理API”下的“属性对比API”，进行 数据实例 间的关系（包含关系属性）差异对比。具体操作请参见全量数据服务。 本文指导您如何在应用运行态页面上对比数据实例。

查看更多 →

DRS对比任务耗时预估 对象对比：根据源库查询性能，一般会在几分钟内返回结果，如果对象数据量特别巨大，对比时长可能达到几十分钟。 行数对比：使用select count方式，查询速度跟数据库性能相关。 内容对比：在数据库没有压力并且网络正常的情况下，对比速度大概是5M/s。 用户

查看更多 →

完成，单击“下一步”。 图3 创建任务 在对比阶段页面，您可查看对比对象信息及在对比列表中选择需跳过的对比项，单击“提交对比”。 查看对比进度，在对比项列表中单击“查看日志”获取对比详情信息，并支持下载DDL。 图4 查看日志 在“对比阶段”页面单击“下一步”，进入“同步阶段”，

查看更多 →

Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn

查看更多 →

等功能。 Spark spark-examples SparkHbasetoHbaseJavaExample Spark从HBase读取数据再写入HBase的Java/Scala示例程序。 本示例工程中，Spark应用程序实现两个HBase表数据的分析汇总。 SparkHbasetoHbaseScalaExample

查看更多 →

target_db_value String 在目标库的值。 status Integer 对比结果，0为不一致，2为一致，3为未完成。 error_message String 错误信息。 请求示例 查询对象对比任务表对象对比详情。 https://{endpoint}/v3/054ba152d4

查看更多 →

compare_type 是 String 对比任务类型： contents： 内容对比。 lines：行数对比。 random：抽样对比。 objects_comparison：对象对比。 compare_job_id 否 String 对比任务的ID，内容对比、抽样对比、行数对比场景必填。 time_zone

查看更多 →

更场景中。 在对比阶段页面，查看任务信息及对比项无误后，单击“提交对比”。 关于对比项，您也可根据需要，勾选“跳过”取消对比操作。 图2 设置对比项 查看对比进度。 在对比项列表中单击“查看日志”获取对比结果的详细信息，并支持下载DDL。 图3 查看对比进度 对比完成后，单击“下

查看更多 →

DLI 中的Spark组件与MRS中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。具体请参考《 数据湖探索 用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，

查看更多 →

MRS可以做什么？ 问： MapReduce Service（MRS）可以做什么？ 答： MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持 数据湖 、数

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →