# 使用CDM迁移数据至DLI CDM提供了可视化的迁移任务配置页面，支持多种数据源到数据湖的迁移能力。 本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1使用CDM迁移数据至DLI操作流程 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000002295795461.png "点击放大") #### 步骤1：创建CDM集群 CDM集群用于执行数据迁移作业，将数据从数据源迁移至DLI。 1. 登录CDM管理控制台，单击"购买云数据迁移服务"。 2. 配置集群参数。 - 其中CDM集群的区域、虚拟私有云、子网、安全组、企业项目建议选择与数据源和DLI一致。 - 集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。 更多CDM集群参数配置说明请参考[创建集群](https://support.huaweicloud.com/qs-cdm/cdm_01_0013.html)。 3. 确认无误后单击"立即购买"进入规格确认界面。 4. 单击"提交"，系统开始自动创建CDM集群，在"集群管理"界面可查看创建进度。 #### 步骤2：创建数据源与CDM的数据连接 本例以MySQL数据源为例，介绍创建数据源与CDM的数据连接的操作步骤。 1. 进入CDM主界面，单击左侧导航上的"集群管理"，找到[步骤1：创建CDM集群]章节创建的集群"cdm-aff1"。 2. 单击CDM集群后的"作业管理"，进入作业管理界面。 3. 选择"连接管理 \> 新建连接"，进入选择连接器类型的界面，如[图2]所示。 图2选择连接器类型 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001994485752.png "点击放大") 4. 选择"云数据库 MySQL"后单击"下一步"，配置云数据库 MySQL连接的参数。 单击"显示高级属性"可查看更多可选参数。 具体请参见[配置云数据库MySQL/MySQL数据库连接](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1211.html)。 这里保持默认，必填参数如[表1]所示。 表1MySQL连接参数 | 参数名 | 说明 | 取值样例 | |:---|:---|:---| | 名称 | 输入便于记忆和区分的连接名称。 | mysqllink | | 数据库服务器 | MySQL数据库的IP地址或域名。 | - | | 端口 | MySQL数据库的端口。 | 3306 | | 数据库名称 | MySQL数据库的名称。 | sqoop | | 用户名 | 拥有MySQL数据库的读、写和删除权限的用户。 | admin | | 密码 | 用户的密码。 | - | | 使用本地API | 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 | 是 | | 使用Agent | Agent功能待下线，无需配置。 | - | | local_infile字符集 | MySQL通过local_infile导入数据时，可配置编码格式。 | utf8 | | 驱动版本 | CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从选择5.1.48版本下载，从中获取mysql-connector-java-5.1.48.jar，然后进行上传。 | - | 5. 单击"测试"测试参数是否配置无误，"测试"成功后单击"保存"创建该连接，并回到连接管理界面。 图3创建MySQL连接成功 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001994645532.png "点击放大") #### 步骤3：创建CDM与DLI的数据连接 1. 进入CDM主界面，单击左侧导航上的"集群管理"，找到[步骤1：创建CDM集群]章节创建的集群"cdm-aff1"。 2. 单击CDM集群后的"作业管理"，进入作业管理界面。 3. 选择"连接管理 \> 新建连接"，进入选择连接器类型的界面，如[图4]所示。 图4选择连接器类型 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000002031125325.png "点击放大") 4. 选择"数据湖探索（DLI）"后单击"下一步"，配置DLI连接的参数。 单击"显示高级属性"可查看更多可选参数。具体请参见[配置DLI连接](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0050.html)。这里保持默认，必填参数如[表2]所示。 表2DLI连接参数 | 参数名 | 说明 | 取值样例 | |:---|:---|:---| | 名称 | 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 | dlilink | | 访问标识(AK) | 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 1. 登录控制台，在用户名下拉列表中选择"我的凭证"。 2. 进入"我的凭证"页面，选择"访问密钥 \> 新增访问密钥"，如[图5]所示。 图5新增访问密钥 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000002613707359.png "点击放大") 3. 单击"确定"，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为"credentials.csv"的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明： - 每个用户仅允许新增两个访问密钥。 - 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 | - | | 密钥(SK) | 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 1. 登录控制台，在用户名下拉列表中选择"我的凭证"。 2. 进入"我的凭证"页面，选择"访问密钥 \> 新增访问密钥"，如[图5]所示。 图5新增访问密钥 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000002613707359.png "点击放大") 3. 单击"确定"，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为"credentials.csv"的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明： - 每个用户仅允许新增两个访问密钥。 - 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 | - | | 项目ID | DLI服务所在区域的项目ID。 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 1. 注册并登录管理控制台。 2. 在用户名的下拉列表中单击"我的凭证"。 3. 在"API凭证"页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 | - | 5. 单击"测试"测试参数是否配置无误，"测试"成功后单击"保存"创建该连接，并回到连接管理界面。 #### 步骤4：在CDM上创建数据迁移作业 建立完成数据源与CDM、CDM与DLI的数据连接后，需要创建数据迁移作业将数据从数据源迁移至DLI。 1. 在集群管理界面，找到[步骤1：创建CDM集群]章节创建的集群"cdm-aff1"。 2. 单击该CDM集群后的"作业管理"，进入作业管理界面。 3. 选择"表/文件迁移 \> 新建作业"，配置作业基本信息。 - 作业名称：输入便于记忆、区分的作业名称，例如："mysql2dli"。 - 源端作业配置 - 源连接名称：选择已创建的MySQL连接"mysqllink"。 - 使用SQL语句：选择"否"。 - 模式或表空间：选择从MySQL的哪个数据库导出表。 - 表名：选择导出哪张表。 - 其他可选参数保持默认即可。 详细说明可参见[配置MySQL源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0358.html)。 - 目的端作业配置 - 目的连接名称：选择已创建的DLI连接"dlilink"。 - 模式或表空间：选择导入到DLI的哪个模式。 - 自动创表：这里选择"不存在时创建"，当下面"表名"参数中配置的表不存在时，CDM会自动在DLI中创建该表。 - 表名：选择导入到DLI的哪张表。 - 高级属性参数-"扩大字符字段长度"：这里选择"是"。 由于MySQL和DLI存储中文时编码不一样，所需的长度也不一样，一个中文字符在UTF-8编码下可能要占3个字节。该参数选择为"是"后，在DLI中自动创表时，会将字符类型的字段长度设置为原表的3倍，避免出现DLI表的字符字段长度不够的报错。 - 其他可选参数保持默认即可。 详细说明可参见[配置DLI目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0078.html)。 4. 单击"下一步"进入字段映射界面，CDM会自动匹配源端和目的端的数据表字段，需用户检查字段映射关系是否正确。 1. 如果字段映射关系不正确，用户单击字段所在行选中后，按住鼠标左键可拖拽字段来调整映射关系。 2. 导入到DLI时需要手动选择DLI的分布列，建议按如下顺序选取： 1. 有主键可以使用主键作为分布列。 2. 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 3. 在没有主键的场景下，如果没有选择分布列，DLI会默认第一列作为分布列，可能会有数据倾斜风险。 3. 如果需要转换源端字段内容，可在该步骤配置，详细请参见[字段转换](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0012.html)，这里选择不进行字段转换。 图6字段映射 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000002031204857.png "点击放大") 5. 单击"下一步"配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： - 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值"不重试"。 - 作业分组：选择作业所属的分组，默认分组为"DEFAULT"。在CDM"作业管理"界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 - 是否定时执行：如果需要配置作业定时自动执行可开启。这里保持默认值"否"。 - 抽取并发数：设置同时执行的抽取任务数，适当的抽取并发数可以提升迁移效率，配置原则请参见[性能调优](https://support.huaweicloud.com/pwp-cdm/cdm_03_0002.html)。这里保持默认值"1"。 - 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值"否"即可，不记录脏数据。 图7任务配置 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001994485756.png "点击放大") 6. 单击"保存并运行"，CDM立即开始执行作业。 图8作业执行 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001994645536.png "点击放大") #### 步骤5：查看数据迁移结果 作业完成后，可以查看作业执行结果及最近90天内的历史信息，包括写入行数、读取行数、写入字节、写入文件数和日志等信息。 - **在CDM查看迁移作业运行情况** 1. 在集群管理界面，找到[步骤1：创建CDM集群]章节创建的集群"cdm-aff1"。 2. 单击该CDM集群后的"作业管理"，进入作业管理界面。 3. 找到[步骤4：在CDM上创建数据迁移作业]创建的作业"mysql2dli"，查看该作业的执行状态。作业状态为Succeeded即迁移成功。 - **在DLI查看数据迁移结果** 1. 确认CDM迁移作业运行完成后，登录到DLI管理控制台。 2. 单击"SQL编辑器"。 在SQL编辑器中"执行引擎"选择"spark"，"队列"选择已创建的SQL队列，数据库选择已创建的数据库，执行DLI表查询语句，查询MySQL数据是否已成功迁移到DLI的表中。 ``` select * from tablename; ```