odps回流数据库_方案概述-华为云

方案概述

用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。方案架构该解决方案基于华为云部署DataX数据库迁移环境，帮助您在华为云上快速实现异构数据源之间的高效同步迁移。解决方案架构图如下：

来自：帮助中心

查看更多 →
自定义参数说明

spark.sql.catalog.mc_catalog.tableReadProvider 填写tunnel spark.hadoop.odps.end.point 填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参

来自：帮助中心

查看更多 →
基于模板创建首条流

地址、数据库名、用户名、密码、语言。连接名称：定义连接名称(默认即可) 访问地址：输入项目Service Layer云服务地址：https://api-service.sperp.myhuaweicloud.com/XXXX(项目前缀，视具体项目而定) 数据库：输入数据库名用户名：输入用户名，注意用户名格式为

来自：帮助中心

查看更多 →
资源和成本规划

关系型数据库服务 8C32G 主备双实例 1 数据开放库备份数据库 RDSMySQL 关系型数据库服务 8C32G 主备双实例 2 备份数据库委办局前置库 RDSMySQL 关系型数据库服务 8C16G 主备双实例 36 各委办局前置库 RDSMySQL 关系型数据库服务 16C64G

来自：帮助中心

查看更多 →
配置函数流的服务控制器组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
配置冷量指标

既配置电量指标又配置冷量指标时，PUE = （总能耗 + 冷机耗电量）/ IT能耗，其中：冷机耗电量 = 冷机总电能 * 冷量系数，冷量系数=（输入输出冷量-回流输出冷量）/（输入消耗冷量-回流消耗冷量）。在“消耗冷量”、“输出冷量”或“冷机总电能”区域勾选需要删除的指标，单击“删除”，在弹出的确认框中，单击“是”，可删除该指标。

来自：帮助中心

查看更多 →
全量数据迁移

MaxCompute参数非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。数据范围按库筛选即按项目筛选，在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表，可以下载 CS V格式的“排除表”模板，参考b.~e.在模板中添加不需要迁移的表信息，然后上传至MgC。

来自：帮助中心

查看更多 →
利用ERP基础数据同步OA流模板创建流

地址、数据库名、用户名、密码、语言。连接名称：定义连接名称(默认即可) 访问地址：输入项目Service Layer云服务地址：https://api-service.sperp.myhuaweicloud.com/XXXX(项目前缀，视具体项目而定) 数据库：输入数据库名用户名：输入用户名，注意用户名格式为

来自：帮助中心

查看更多 →
配置函数流的时间等待控制器组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
配置函数流的并行分支控制器组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
配置函数流的异常处理控制器组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
配置函数流的循环控制器组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
增量数据迁移

MaxCompute参数非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。数据范围按库筛选即按项目筛选，在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b.~e.在模板中添加不需要迁移的表信息，然后上传至MgC。

来自：帮助中心

查看更多 →
删除流日志

进入流日志列表页面。在流日志列表中，单击目标流日志所在行的操作列下的“删除”。弹出删除确认对话框。确认无误后，单击“确定”，删除流日志。返回流日志列表页面。流日志删除后无法恢复，请谨慎操作。父主题：流日志

来自：帮助中心

查看更多 →
配置函数流的函数服务组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
查询所有表（废弃）

查询所有表（废弃）功能介绍该API用于查询指定数据库下符合过滤条件的或所有的表信息。当前接口已废弃，不推荐使用。调试您可以在 API Explorer 中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases/{database_name}/tables

来自：帮助中心

查看更多 →
配置函数流的条件分支控制器组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
DataX对接OBS

DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。

来自：帮助中心

查看更多 →
配置函数流的子流程控制器组件

FunctionGraph中对应的函数。说明：配置的函数节点返回的数据格式必须是json格式，否则会解析失败。仅对于Go函数支持返回流式数据：在函数详情页的“设置 > 高级设置”下，打开“返回流式数据”开关即可。 *版本 FunctionGraph中函数对应的版本。 *调用方式创建标准函数流时，需要

来自：帮助中心

查看更多 →
开启流日志

进入流日志列表页面。在流日志列表中，单击目标流日志所在行的操作列下的“开启”。弹出开启确认对话框。确认无误后，单击“确定”，开启流日志。返回流日志列表页面。在流日志列表页面，查看流日志状态。待流日志状态由“修改中”变为“已开启”，表示流日志开启成功。父主题：流日志

来自：帮助中心

查看更多 →
关闭流日志

进入流日志列表页面。在流日志列表中，单击目标流日志所在行的操作列下的“关闭”。弹出关闭确认对话框。确认无误后，单击“确定”，关闭流日志。返回流日志列表页面。在流日志列表页面，查看流日志状态。待流日志状态由“修改中”变为“未开启”，表示流日志关闭成功。父主题：流日志

来自：帮助中心

查看更多 →