构建FTP站点 快速构建FTP站点（Windows 2012） 快速构建FTP站点（Windows 2019） 快速构建FTP站点（Linux） 搭建FTP站点（Huawei Cloud EulerOS 2.0） 父主题： 搭建应用

查看更多 →

使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

使用Loader从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

10:15400/test（15400为样例端口） 用户名 表示连接数据库使用的用户名称。 密码 表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。

查看更多 →

登录Windows云 服务器 。 查看Windows云服务器的磁盘信息，如果有显示本地主机的磁盘设备，则表示您的本地主机与Windows云服务器之间可以互传数据了，如图5所示。 图5 查看磁盘设备 方法三：搭建FTP站点 通过搭建FTP站点，传输文件到云服务器。 搭建FTP站点，传输文件到云服务器。

查看更多 →

10:15400/test（15400为样例端口） 用户名 表示连接数据库使用的用户名称。 密码 表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。

查看更多 →

主要作用：对于数据导入到集群的场景来说，就是从外部数据源读取数据；对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下： 执行以下命令，进入到loader-tools-1

查看更多 →

CS V格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 说明： 当目的端为OBS数据源时，仅支持配置二进制格式。

查看更多 →

CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 说明： 当目的端为OBS数据源时，仅支持配置二进制格式。

查看更多 →

该解决方案基于华为云部署DataX数据库迁移环境，帮助您在华为云上快速实现异构数据源之间的高效同步迁移。解决方案架构图如下： 图1 方案架构图 部署该方案中需要使用的资源： 创建一台Flexus 云服务器 X实例，部署数据库迁移的DataX同步环境。 创建一个弹性公网IP EIP，并绑定到云服务器，用于提供访问公网和被公网访问能力。

查看更多 →

连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/ 云搜索 服务( CSS )连接 DLI 连接 DMS Kafka连接

查看更多 →

理的，每个iteration迁移数据量不超过10GB，每个iteration重新计算使用率的情况。 因此针对集群情况，可以大概估算每个iteration耗费的时间（可以通过执行Balancer的日志观察到每次iteration的时间），并用总数据量除以10GB估算任务执行时间。

查看更多 →

理的，每个iteration迁移数据量不超过10GB，每个iteration重新计算使用率的情况。 因此针对集群情况，可以大概估算每个iteration耗费的时间（可以通过执行Balancer的日志观察到每次iteration的时间），并用总数据量除以10GB估算任务执行时间。

查看更多 →

“目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。

查看更多 →

新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 图6 创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件：待迁移数据的目录或单个文件路径。

查看更多 →

选择“基于角色或基于功能的安装”，单击“下一页(N)”。 选择需要部署FTP的服务器，单击“下一页(N)”。 选择“ Web服务器（IIS）”，并在弹出的对话框中单击“添加功能”，然后单击“下一页(N)”。 连续单击“下一页(N)”，到“角色服务”页面。 选择“FTP服务器” 以及 “IIS管理控制台”，单击“下一页(N)”。

查看更多 →

主要作用：对于数据导入到集群的场景来说，就是从外部数据源读取数据；对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下： 执行以下命令，进入到loader-tools-1

查看更多 →

Oracle 支持导入数据到Oracle。 参见配置Oracle目的端参数。 数据湖探索（DLI） 支持导入数据到DLI服务。 参见配置DLI目的端参数。 Elasticsearch或云搜索服务 支持导入数据到云搜索服务。 参见配置Elasticsearch/云搜索服务（CSS）目的端参数。

查看更多 →

特征库升级”。筛选到对应的产品和版本。 下载安全云服务组件包文件。 请注意系统软件版本和组件包版本的配套关系，不配套的组件包无法加载成功，仅支持云管模式的防火墙型号会在华为安全智能中心显示“安全云服务”的页签。 图1 下载安全云服务组件包 上传云服务组件包。 假设存在一个FTP服务器，将下载

查看更多 →

连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/ 云搜索服务 (CSS)连接 DLI连接 CloudTable

查看更多 →

OBS 支持使用CSV或二进制格式批量传输大量文件到OBS。 参见配置OBS目的端参数。 MRS HDFS 导入数据到HDFS时，支持设置压缩格式。 参见配置HDFS目的端参数。 MRS HBase CloudTable 支持导入数据到HBase，创建新HBase表时支持设置压缩算法。

查看更多 →