开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

String 生成对比结果报告文件的状态： INIT：初始状态。 EXPORTING：对比结果导出中。 EXPORT_COMPLETE：对比结果导出完成。 EXPORT_COMMON_FAILED：对比结果导出失败。 report_remain_seconds Long 对比结果报告文件

查看更多 →

表3 响应Body参数 参数 参数类型 描述 id String 对比任务ID。 type String 对比类型： object_comparison：对象对比。 lines：行对比。 account：用户对比。 start_time String 开始时间，UTC时间，例如：

查看更多 →

compare_type 否 String 对比任务类型： contents： 内容对比。 lines：行数对比。 random：抽样对比。 objects_comparison：对象对比。 compare_job_id 否 String 对比任务的ID，内容对比、抽样对比、行数对比场景必填。 请求参数

查看更多 →

实例进行对比，并给出对比结果及详情，方便用户快速定位不一致的数据。 API：使用“数据服务管理 > 全量数据服务 > 系统管理API”下的“属性对比API”，进行 数据实例 间的关系（包含关系属性）差异对比。具体操作请参见全量数据服务。 本文指导您如何在应用运行态页面上对比数据实例。

查看更多 →

完成，单击“下一步”。 图3 创建任务 在对比阶段页面，您可查看对比对象信息及在对比列表中选择需跳过的对比项，单击“提交对比”。 查看对比进度，在对比项列表中单击“查看日志”获取对比详情信息，并支持下载DDL。 图4 查看日志 在“对比阶段”页面单击“下一步”，进入“同步阶段”，

查看更多 →

DRS对比任务耗时预估 对象对比：根据源库查询性能，一般会在几分钟内返回结果，如果对象数据量特别巨大，对比时长可能达到几十分钟。 行数对比：使用select count方式，查询速度跟数据库性能相关。 内容对比：在数据库没有压力并且网络正常的情况下，对比速度大概是5M/s。 用户

查看更多 →

target_db_value String 在目标库的值。 status Integer 对比结果，0为不一致，2为一致，3为未完成。 error_message String 错误信息。 请求示例 查询对象对比任务表对象对比详情。 https://{endpoint}/v3/054ba152d4

查看更多 →

compare_type 是 String 对比任务类型： contents： 内容对比。 lines：行数对比。 random：抽样对比。 objects_comparison：对象对比。 compare_job_id 否 String 对比任务的ID，内容对比、抽样对比、行数对比场景必填。 time_zone

查看更多 →

更场景中。 在对比阶段页面，查看任务信息及对比项无误后，单击“提交对比”。 关于对比项，您也可根据需要，勾选“跳过”取消对比操作。 图2 设置对比项 查看对比进度。 在对比项列表中单击“查看日志”获取对比结果的详细信息，并支持下载DDL。 图3 查看对比进度 对比完成后，单击“下

查看更多 →

开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

应用等待原因 如果应用程序尚未启动，则提供作业等待原因信息。 Superior Scheduler和YARN开源调度器作了对比分析，如表2所示： 表2 对比分析 领域 YARN开源调度器 Superior Scheduler 多租户调度 在同构集群上，只能选择容量调度器（Capacity

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

支持“独享型”和“内置负载均衡器”。 新增“访问控制”。 允许所有IP访问。 白名单。只允许白名单中放通的IP访问组件。 黑名单。禁止黑名单中的IP访问组件。 支持添加多 域名 。 内网访问界面对比图： 图1 旧版内网访问界面 图2 新版内网访问界面 负载均衡界面对比图： 图3 旧版负载均衡配置界面

查看更多 →

负载均衡 负载均衡概述 创建和管理负载均衡实例 创建和管理监听 创建和管理灰度服务 创建和管理过载控制服务 创建和管理资源 创建证书

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

起，不再需要跨节点读取数据就能完成计算，极大提高MapReduce Join性能。 图2 无同分布与同分布数据块分布对比 HDFS开源增强特性：硬盘坏卷设置 在开源版本中，如果为DataNode配置多个数据存放卷，默认情况下其中一个卷损坏，则DataNode将不再提供服务。配置项“dfs

查看更多 →