源库表类型校验 检查Microsoft SQL Server源库表类型，源库表不支持SQL_VARIANT、GEOMETRY、GEOGRAPHY数据类型，如果存在该类型的数据，则导致同步失败。 不通过原因 源库存在数据类型不支持同步的表。 处理建议 单击“上一步”，返回至对象选择页面，在同步对象中去除该对象。

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

driver进程出现log4j死锁。 commons-pool2版本冲突导致Spark访问kafka报错。 Sparkstreaming任务失败，但是Yarn WebUI中显示状态是succeeded。 Spark任务提交报Spark类序列化异常。 spark show tables不支持Ranger鉴权。

查看更多 →

基本概念 AI引擎 可支持用户进行机器学习、深度学习、模型训练作业开发的框架，如Tensorflow、Spark MLlib、MXNet、PyTorch、华为自研AI框架MindSpore等。 数据集 某业务下具有相同数据格式的数据逻辑集合。 特征操作 特征操作主要是对数据集进行特征处理。

查看更多 →

无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。 脱敏队列 *脱敏队列 选择对应执行DLI或 MRS 引擎下的队列。 执行引擎为DLI时，脱敏队列选择为DLI Spark通用队列。 DLI引擎的静态脱敏任务，当源端或目

查看更多 →

资产校验（API名称：checkAsset） 功能介绍 对资产进行校验 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL 请求方式 HTTPS地址 服务架构

查看更多 →

校验应用是否存在 功能介绍 校验指定条件的应用是否存在。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/instances

查看更多 →

同步对象名称校验 源数据库如果存在不符合要求的数据库名、schema名或或表名，可能会导致迁移失败。 不通过原因 源数据库存在不符合要求的数据库名、schema名或表名，源数据库中库名、schema名及表名只能包含字母、下划线、中划线和数字。 处理建议 请修改不符合要求的对象名称，确保对象符合命名要求。

查看更多 →

数据同步表配置校验 功能介绍 数据同步表配置校验。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/instances/{instance_id}/clickhouse/replication/table-check 表1 路径参数 参数 是否必选

查看更多 →

success_count Long 数据过滤规则校验成功的数量。 failed_count Long 数据过滤规则校验失败的数量。 db_object_filtering_result Array of objects 库表过滤规则校验结果。 详情请参见表5。 表5 db_obj

查看更多 →

校验消息验证码 功能介绍 功能介绍：校验消息验证码 接口约束 仅支持key_usage为GENERATE_VERIFY_MAC的密钥进行操作。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/kms/verify-mac 表1 路径参数 参数

查看更多 →

矩形框“bndbox”超出图片边界，但超出部分小于框面积50% 矩形框“bndbox”拉回到图片边界 数据校验过程不会改动原始数据，通过校验的图片或xml文件保存在指定的输出路径下。 参数说明 表3 数据校验-MetaValidation算子参数说明 参数名 是否必选 默认值 参数说明 image_max_width

查看更多 →

数据同步库配置校验 功能介绍 数据同步库配置校验。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/instances/{instance_id}/clickhouse/replication/database-check 表1 路径参数 参数

查看更多 →

数据同步表配置校验 功能介绍 数据同步表配置校验。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/instances/{instance_id}/clickhouse/replication/table-check 表1 路径参数 参数 是否必选

查看更多 →

Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →