数据治理中心 DataArts Studio(原DGC)

 

数据治理中心(DataArts Studio)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。

 
 

    数据集成 更多内容
  • 步骤2:数据集成

    Studio服务进入数据集成界面可以看到。 进入 DataArts Studio 数据集成主页面,单击操作列的“作业管理”。 图2 作业管理 在作业管理界面,选择“连接管理 - 新建连接”,进入创建连接页面。 在创建连接页面,选择“ 对象存储服务 (OBS)”,新建 CDM 到OBS的连接,数据连接名称为“obs_link”。

    来自:帮助中心

    查看更多 →

  • 数据集成API概览

    数据集成API概览 表1 数据集成API类型 类型 说明 集群管理 集群管理类型接口。 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 表2 集群管理 API 说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b

    来自:帮助中心

    查看更多 →

  • 步骤3:数据集成

    步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群

    来自:帮助中心

    查看更多 →

  • CDL数据集成概述

    CDL数据集成概述 CDL是一种简单、高效的数据实时集成服务,能够从各种OLTP数据库中抓取Data Change事件,然后推送至Kafka中,最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中,从而实现数据的实时入湖。 CDL服务包含了两个重要

    来自:帮助中心

    查看更多 →

  • 数据集成应用示例

    数据集成应用示例 本节通过cURL调用CDM API,迁移本地MySQL数据库中的数据到云上服务DWS为例,介绍使用CDM API的基本流程。 获取token 获取用户的token,因为在后续的请求中需要将token放到请求消息头中作为认证。 创建CDM集群 如果您已经创建过CD

    来自:帮助中心

    查看更多 →

  • 启停数据集成任务

    启停数据集成任务 概述 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据

    来自:帮助中心

    查看更多 →

  • 集团应用与数据集成

    业将合作伙伴所需数据和信息上传到ROMA Connect,根据合作伙伴的要求转换数据格式,集成数据。企业完成数据和消息的集成之后,合作伙伴可以访问ROMA Connect获取相关信息。 图1 集团应用与数据集成 通过ROMA Connect完成集团应用与数据集成会给企业带来这些优势:

    来自:帮助中心

    查看更多 →

  • 数据集成开发指导

    数据集成开发指导 开发说明 连接器RESTful接口规范 自定义数据源开发示例(定时任务) 自定义数据源开发示例(实时任务)

    来自:帮助中心

    查看更多 →

  • 导入导出数据集成任务

    导入导出数据集成任务 概述 数据集成任务创建后,您可以通过导入导出功能,导入或导出数据集成任务。如果数据集成任务关联子任务,在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成

    来自:帮助中心

    查看更多 →

  • 配置系统间数据集成

    描述 填写任务的描述信息。 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 使用Kafka作为源端数据源时仅支持实时任务,此处选择“实时”。

    来自:帮助中心

    查看更多 →

  • 数据集成组合任务

    数据集成组合任务 源数据库重启等操作对组合任务是否有影响? 如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 父主题: 数据集成

    来自:帮助中心

    查看更多 →

  • 数据集成平台应用部署

    数据集成平台应用部署 将部署文件上传到 服务器 /usr/local/下,解压target4.0.tar tar -zxvf target4.0.tar 说明:需要java环境 检查环境:java -vrsion 图1 解压 进入/usr/local/target4.0/bin下启动服务;启动命令:

    来自:帮助中心

    查看更多 →

  • 数据集成组合任务

    数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误

    来自:帮助中心

    查看更多 →

  • 创建数据集成任务(普通任务)

    创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导

    来自:帮助中心

    查看更多 →

  • 创建数据集成任务(编排任务)

    创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导

    来自:帮助中心

    查看更多 →

  • 创建数据集成任务(组合任务)

    创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导

    来自:帮助中心

    查看更多 →

  • 数据集成参数说明

    数据集成参数说明 RawFormDataRequest RawFormDataResponse 父主题: 附录

    来自:帮助中心

    查看更多 →

  • 数据集成操作列表

    数据集成操作列表 云审计 服务(Cloud Trace Service,简称 CTS )为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster

    来自:帮助中心

    查看更多 →

  • 数据集成API错误码

    数据集成API错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。当调用出错时,HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系客服,并提供错误码,以便尽快帮您解决问题。

    来自:帮助中心

    查看更多 →

  • 数据集成API错误码

    数据集成API错误码 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 FDI.3002 Invalid parameters. 存在非法参数。 参考API文档修改非法参数。 400 FDI.3016 Failed to test the connectivity

    来自:帮助中心

    查看更多 →

  • 数据集成平台操作手册

    数据集成平台操作手册 平台界面 数据集成 数据调度 功能列表 父主题: 实施步骤

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了