中软国际数据治理专业服务解决方案实践

DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS

查看更多 →

__name__ == '__main__': # 创建一个名为"myj"的SparkSession对象 odps = create_spark_session() odps.execute_sql=execute_sql # 执行sql # sql_str="""select

查看更多 →

数据盘镜像中的数据可以导入到之前已有的数据盘内吗？ 不能直接导入。 数据盘镜像只能用于申请新的磁盘，无法直接导入到之前已有的磁盘内。您可以按如下指导操作： 使用数据盘镜像临时生成一个新磁盘。 将新磁盘挂载至旧磁盘所在的 云服务器 。 拷贝数据到旧磁盘内，再删除这个临时的磁盘。 父主题：

查看更多 →

云 堡垒机 如何将备份数据导入到主备实例中 CBH暂不支持将备份数据导入到主备实例。 请关注后续功能迭代刷新。 父主题： 备份/变更规格/升级

查看更多 →

删除数据源配置 功能介绍 删除数据源配置 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/edge-nodes/{ed

查看更多 →

如何将源数据库的用户与权限导出，再导入到目标数据库 选择一台可以访问源数据库的虚拟机。 执行如下命令后，输入密码并回车，将源库用户导出到临时文件“users.sql”中。 mysql -h 'host' -u 'user' -p -N $@ -e "SELECT CONCAT('SHOW

查看更多 →

获取项目ID。 edge_node_id 是 String 边缘节点ID 最小长度：1 最大长度：64 ds_id 是 String 采集数据源id，创建数据源配置时设置，节点下唯一。 最小长度：1 最大长度：64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token

查看更多 →

Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。 父主题： 大数据数据迁移

查看更多 →

获取项目ID。 edge_node_id 是 String 边缘节点ID 最小长度：1 最大长度：64 ds_id 是 String 采集数据源id，创建数据源配置时设置，节点下唯一。 最小长度：1 最大长度：64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token

查看更多 →

获取项目ID。 edge_node_id 是 String 边缘节点ID 最小长度：1 最大长度：64 ds_id 是 String 采集数据源id，创建数据源配置时设置，节点下唯一。 最小长度：1 最大长度：64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token

查看更多 →

Token。简要的获取方法样例请参见 Token认证。 响应参数 无 请求示例 无 响应示例 无 状态码 状态码 描述 200 修改数据库配置数据 400 Error response 404 Not Found 错误码 请参见错误码。 父主题： 边缘数采模板管理

查看更多 →

description String 描述 最小长度：0 最大长度：128 datasource_meta Object 数据源元数据 point_meta Object 点位表元数据 create_time String 创建时间 最小长度：0 最大长度：256 update_time String

查看更多 →

响应Body参数 参数 参数类型 描述 ds_id String 采集数据源id，节点下唯一 最小长度：1 最大长度：64 config Object 数据源的连接及采集信息 name String 采集数据源名称，允许中、数字、英文大小写、下划线、中划线 最小长度：1 最大长度：64

查看更多 →

参数 是否必选 参数类型 描述 ds_id 是 String 采集数据源id，节点下唯一 最小长度：1 最大长度：64 config 是 Object 数据源的连接及采集信息 name 是 String 采集数据源名称，允许中、数字、英文大小写、下划线、中划线 最小长度：1 最大长度：64

查看更多 →

采用了分布式架构和多线程技术，能够并行地从多个数据源抽取数据，并同时将数据加载到目标数据源中，大大提高了数据同步的效率。 易配置管理 DataX 提供了直观的 JSON 配置文件格式，用户只需编写简单的配置文件，指定数据源、目标数据源、数据转换规则等信息，即可启动数据同步任务。 数据转换处理灵活 在数据同步过程中，DataX

查看更多 →

最小长度：1 最大长度：64 ds_id 是 String 采集数据源id，创建数据源配置时设置，节点下唯一。 最小长度：1 最大长度：64 point_id 是 String 采集点位表id，创建点位表时设置，数据源下唯一。 最小长度：1 最大长度：64 表2 Query参数 参数

查看更多 →

是 String 描述 最小长度：0 最大长度：128 datasource_meta 是 Object 数据源元数据 point_meta 是 Object 点位表元数据 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 tpl_id String 模板id

查看更多 →

作业从旧集群导出，再导入到新的集群失败怎么解决？ 问题描述 旧 CDM 集群是2.6.0版本，新集群是2.8.6.1版本，导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的，通过查看老集群导出的作业json文件，包含throttlingConfig.con

查看更多 →

获取项目ID。 edge_node_id 是 String 边缘节点ID 最小长度：1 最大长度：64 ds_id 是 String 采集数据源id，创建数据源配置时设置，节点下唯一。 最小长度：1 最大长度：64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token

查看更多 →

获取项目ID。 edge_node_id 是 String 边缘节点ID 最小长度：1 最大长度：64 ds_id 是 String 采集数据源id，创建数据源配置时设置，节点下唯一。 最小长度：1 最大长度：64 表2 Query参数 参数 是否必选 参数类型 描述 update_type

查看更多 →

Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/templates/ots/data-sources/{tpl_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参见

查看更多 →