计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

配置任务基本信息

更新时间:2023-07-26 GMT+08:00

概述

通过在ROMA Connect中创建数据集成任务,您可以实现不同数据源之间的数据集成转换。ROMA Connect根据您在数据集成任务中的配置,决定如何将指定的源端的一个数据表中的数据集成到目标端的一个数据表中。

数据集成任务的配置分为任务基本信息、制定计划(可选)、源端信息、目标端信息、Mapping信息和异常数据存储(可选)、任务完成后执行(可选)几个部分,本节及接下来的几个小节将对这几部分分别进行介绍。本节主要提供数据集成任务基本信息和任务计划的配置说明。

前提条件

  • ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源
  • ROMA Connect具备向目标端数据源写入数据的权限。
  • 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源

配置基本信息

  1. 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
  2. 在左侧的导航栏选择“数据集成 FDI > 任务管理”,单击页面的“创建任务”。
  3. 在创建任务页面中配置任务基本信息。
    表1 任务基本信息

    参数

    配置说明

    任务名称

    填写任务的名称,根据规划自定义。建议您按照一定的命名规则填写任务名称,方便您快速识别和查找。

    描述

    填写任务的描述信息。

    集成模式

    选择数据集成的模式。

    • 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。
    • 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。

    不同数据源所支持的数据集成模式有所不同,具体请参考表1

    任务标签

    添加任务标签,用来对任务进行分类,方便用户快速查询。可选择已有的标签进行关联,如果没有可单击添加按钮,添加新标签,新标签会在任务保存时被保存,再创建任务时可直接搜索该标签。

  4. 完成基本信息配置后,继续进行下一部分配置。

(可选)配置任务计划

如果任务的“集成模式”选择了“定时”,则您还需要为定时任务配置任务计划,告知ROMA Connect何时执行任务。

说明:
  • 在创建数据集成任务后,如需修改任务计划,请先停止任务。
  • 如果要集成同步的数据量较大,且任务的执行时间间隔较短,会出现上一次任务调度还没有执行完,下一次任务调度时间点已到的情况。此时ROMA Connect会暂停执行新的调度,等待上一次调度执行完成。
  1. 在创建任务页面中配置任务计划。ROMA Connect提供了两种配置任务计划的方式:
    • 简单界面配置

      界面配置当前仅支持配置简单的周期循环计划,例如每隔几分钟、几小时或几天执行一次。

      图1 简单界面配置
      表2 简单界面配置

      参数

      配置说明

      QuartZ Cron表达式

      选择“不使用”。

      单位

      任务执行周期的单位,与“调度周期”配合使用,可设置为“分”、“时”、“日”、“周”或“月”。

      调度周期

      任务执行周期,根据“单位”选择的不同,可设置值的范围不同。

      例如“单位”选择“日”,“调度周期”设置为“1”,则表示数据集成任务每天执行一次。

      生效时间

      任务的开始执行时间,但该时间点不会立即执行任务,而是等下一个调度周期才开始执行。

      例如生效时间为2020-2-2 02:02:02,调度周期为1日,则启动任务计划后,任务的首次执行时间为2020-2-3 02:02:02。

      描述

      填写任务计划的描述信息。

    • QuartZ Cron表达式配置

      QuartZ Cron表达式支持配置灵活多样的任务计划,例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务。这种计划,简单界面配置无法实现,必须通过QuartZ Cron表达式实现。

      0 0/15 1-4 * * ?
      图2 QuartZ Cron表达式配置
      表3 QuartZ Cron表达式配置

      参数

      配置说明

      QuartZ Cron表达式

      选择“使用”。

      表达式

      任务计划对应的QuartZ Cron表达式,ROMA Connect当前仅支持分钟级的计划,故表达式中的“秒”固定为“0”。

      例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务,该计划对应的QuartZ Cron表达式为:

      0 0/15 1-4 * * ?

      生效时间

      任务的开始执行时间,但该时间点不会立即执行任务,而是等下一个调度周期才开始执行。

      例如生效时间为2020-2-2 02:02:02,按照上述的QuartZ Cron表达式样例,则启动任务计划后,任务的首次执行时间为2020-2-3 02:15:00。

      描述

      填写任务计划的描述信息。

  2. 完成任务计划配置后,继续进行下一部分配置,配置源端数据信息

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容