使用教程 创建 MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到 云搜索 服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务

查看更多 →

使用教程 数据架构示例 父主题： 数据架构

查看更多 →

使用教程 概览 DRS任务切换到实时Migration MySQL同步到MRS Hudi MySQL同步到DWS MySQL同步到DMS Kafka DMS Kafka同步到OBS Apache Kafka同步到MRS Kafka SQLServer同步到MRS Hudi PostgreSQL同步到DWS

查看更多 →

使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务

查看更多 →

使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给 CDM 作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍

查看更多 →

使用教程 新建一个业务场景 新建一个质量作业 新建一个对账作业实例 父主题： 数据质量

查看更多 →

使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到 云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务

查看更多 →

可选择FTP或SFTP模式。 服务器 IP 输入FTP或SFTP服务器的IP地址。 端口 输入FTP或SFTP服务器的端口。 用户名 输入FTP或SFTP服务器上用户名，用于测试配置的FTP或SFTP服务器是否可达。 密码 输入FTP或SFTP服务器上用户密码，用于测试配置的FTP或SFTP服务器是否可达。

查看更多 →

件传输协议，它提供了一个安全的连接来传输文件，并在本地和远程系统上遍历文件系统。 默认情况下，FTP协议使用TCP端口中的20和21这两个端口，其中20端口用于传输数据，21端口用于传输控制信息（命令）。是否使用20端口作为传输数据的端口与FTP使用的传输模式有关。如果采用主动模

查看更多 →

FTP用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 写入文件 配置参数 参数 说明 目录路径 填写FTP服务器下文件的相对路径。 文件名 填写需要写入的文件名。 写入内容 填写需要写入的内容。 写入策略 选择需要写入的策略 覆写：覆盖同名文件内容; 追加：在同名文件末尾追加内容;

查看更多 →

填写连接器的描述信息，用于识别不同的连接器。 协议 选择FTP连接所使用的协议，当前支持选择“FTP”和“SFTP”。 主机IP FTP服务器的IP地址。 端口 FTP协议中，默认使用TCP端口中的20和21两个端口，其中20端口用于传输数据，21端口用于传输控制信息（命令）。 用户名 FTP用户名。 密码

查看更多 →

标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。

查看更多 →

标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。

查看更多 →

t_list # 设置被动模式下，可使用的端口范围，建议把端口范围设置在一段比较高的范围内，有助于提高访问FTP服务器的安全性。 # 可使用的端口范围的最小值 pasv_min_port=<port number> # 可使用的端口范围的最大值。 pasv_max_port=<port

查看更多 →

t_list # 设置被动模式下，可使用的端口范围，建议把端口范围设置在一段比较高的范围内，有助于提高访问FTP服务器的安全性。 # 可使用的端口范围的最小值 pasv_min_port=<port number> # 可使用的端口范围的最大值。 pasv_max_port=<port

查看更多 →

通配符使用input*/test* 正则表达式使用intput.*/test.* 文件过滤器 过滤类型为通配符或正则表达式时支持此参数。 用于过滤输入路径下的文件。 通配符使用*csv 正则表达式使用.*\.csv 时间过滤 用于过滤满足时间范围的文件。 文件的修改时间晚于输入的起始时间或早于输入的终止时间才会被传输。

查看更多 →

指定角色或用户组：仅指定的角色或用户组的成员才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的角色或用户组。 指定用户：仅指定的用户才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的用户。 权限：选择经过授权的用户的“读取”和“写入”权限。 绑定 弹性云服务器 的私网IP。

查看更多 →

户还需具备源文件的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从FTP服务器导入数据时，确保FTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列

查看更多 →

随机密码 普通用户。 ftpuser为FTP服务操作员用户帐户，用于NetEco 服务器与客户端、设备之间的文件传输。 nftpuser 随机密码 普通用户。 nftpuser用户帐户在北向网管通过局域网访问NetEco时使用，实现NetEco的文件传输功能。 操作步骤 选择“系统

查看更多 →

指定角色或用户组：仅指定的角色或用户组的成员才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的角色或用户组。 指定用户：仅指定的用户才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的用户。 权限：选择经过授权的用户的“读取”和“写入”权限。 绑定弹性云服务器的私网IP。

查看更多 →

重启 云服务器 使防火墙配置生效。 设置安全组及防火墙 搭建好FTP站点后，需要在云服务器安全组的入方向添加一条放行FTP端口的规则。 如果配置了“配置FTP防火墙支持”，需要在安全组中同时放行FTP站点使用的端口和FTP防火墙使用的数据通道端口。 服务器防火墙默认放行TCP的21端口

查看更多 →