本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导，每个实践我们提供了详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop： MRS Hudi MySQL同步到MRS

查看更多 →

支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS

查看更多 →

数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败

查看更多 →

数据源 创建数据源 查询数据源列表 查询数据源详情 修改数据源内容 修改数据源特征 删除数据源 查询数据源任务结果 父主题： API

查看更多 →

数据源 概述 MAS通过添加数据源和创建数据同步链路，来实现数据源之间的数据同步功能。数据源类型支持MySQL、PostgreSQL、Redis和OpenGauss。 添加数据源 登录MAS控制台，进入“数据源”页面。 在左上角命名空间下拉框选择所需命名空间。 单击右上角的“添加数据源”。

查看更多 →

可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。

查看更多 →

新建DWS数据源 参考登录AstroCanvas界面中操作，登录AstroCanvas界面。 在主菜单中，选择“数据中心”。 在左侧导航栏中，选择“数据源”。 在数据源管理页面，单击“新建数据源”。 选择“DWS”，配置数据源参数。 图1 新建DWS数据源 数据源名称：数据源的名称，

查看更多 →

源数据、 数据仓库 、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。

查看更多 →

数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定弹性公网IP DWS集群运维时间窗检查 DWS集群VPC检查 父主题： 系统内置预设策略

查看更多 →

库服务DDS，数据仓库服务 GaussDB （DWS）， MapReduce服务 MRS，云数据库RDS等。使用 DLI 的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《 数据湖探索 用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。

查看更多 →

务会对数据源和任务进行全面的管理和维护，用户只需关注数据迁移的具体逻辑，而不用关心环境等问题，极大降低了开发维护成本。 CDM 还提供了REST API，支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用 云监控服务 监控您的CDM集群，执行自动实时监控、告警和通知操

查看更多 →

导出清单和进入数据源中心 本节介绍如何导出数据中心的数据表清单，以及如何进入数据源中心。 操作步骤 登录ISDP系统，选择“运营中心 > 数据分析 > 数据中心”并进入。 图1 数据中心 如图2所示，单击“导出清单”。 图2 导出清单 如图3所示，在弹出的“导出数据表清单”对话框

查看更多 →

数据源 数据源主要包含两块：左侧树状导航展示数据源路径、右侧可进行新建数据源操作。 图1 数据源 单击“数据源”，展开列表，可看到该数据源下的所有表；右侧可以查看或编辑数据源配置信息，包含数据源连接串、用户名、密码、数据源名称、资源权限、责任人、数据源描述等； 图2 数据源信息

查看更多 →

数据源 RES的离线数据源包括什么？ 如何上传数据至OBS 如何上传实时数据？ 离线数据和近线实时数据如何配合使用？ 数据探索是什么？近线实时数据如何在数据探索中的报告体现？ 如何确定近线数据源导入实时数据成功？ 实时数据能否立即应用到推荐场景？

查看更多 →

数据源 数据源更新 获取数据源详情 删除数据源 获取数据源列表 数据源新增 验证终端节点服务并创建终端节点

查看更多 →

数据源 查询数据源 创建数据源 更新数据源 删除数据源 父主题： API说明

查看更多 →

数据源 创建数据源 查看数据源 修改数据源 删除数据源 父主题： 基础数据管理

查看更多 →

数据湖 ：企业内多种格式数据源汇聚的大数据平台，通过严格的数据权限和资源管控，将数据和算力开放给各种使用者，为数据湖。一份数据支持多种分析，是数据湖最大的特点。数据湖又分为三个阶段： 离线数据湖：将企业内多种格式数据源汇聚的大数据平台，通过严格的数据权限和资源管控，将数据和算力开放给各种使

查看更多 →

可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。

查看更多 →

进入新增汇总表编辑页面。填入所属主题、表名称、表编码、统计维度选择客户类型、数据连接类型、数据源、数据库和、Schema、资产责任人。 图6 汇总表2 指标配置，单击添加，选择之前创建的衍生指标和复合指标。最后单击右下角的发布，勾选自助审批。 图7 汇总表3 查看汇总表，状态为发布状态。

查看更多 →

集群架构说明 名称 描述 说明 CM 集群管理模块（Cluster Manager）。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。 CM由CM Agent、OM Monitor和CM Server组成。 CM Agent：负责监控所在主机上主备GTM、CN、主备DN的运行状态并将状态上报给CM

查看更多 →