# 通过HTTP迁移MinIO存储数据到华为云OBS 本文介绍如何使用迁移中心（MgC）的存储迁移工作流，实现通过HTTP协议将MinIO存储的数据迁移至华为云对象存储服务（OBS）的方法。 #### 支持的区域 当前支持以下区域（Region）： - 华北-北京四 - 华北-乌兰察布一 - 华南-广州 - 华东-上海一 - 华东-上海二 - 华东-青岛 - 西南-贵阳一 - 中国-香港 - 亚太-新加坡 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/caution_3.0-zh-cn.png) 单个对象大小不能超过：500 MB x 10000 = 4.76837158203125 TB，否则可能会导致迁移失败。 #### 准备工作 - **华为账号准备** 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考[准备工作](https://support.huaweicloud.com/qs-mgc/mgc_02_0002.html)。 - **创建应用迁移项目** 在MgC控制台为本次迁移创建独立的项目，方法请参考[项目管理](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。项目类型选择"**应用迁移**"。 - **创建目的端OBS桶** 在华为云创建一个用于存放URL列表文件和接收源端数据的OBS标准存储桶，区域选择您希望迁移到的目的端区域。创建方法请参考[创建桶](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html#section1)。 如果使用IAM用户进行迁移，该IAM用户需要拥有目的端桶的读写权限。授权方法请参考[对单个IAM用户授予桶的读写权限](https://support.huaweicloud.com/perms-cfg-obs/obs_40_0015.html)。 - **创建集群** 通过集群可以创建Master节点、迁移节点和列举节点，确保存储工作流的顺利运行。创建方法请参考[创建集群](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0096.html)。 #### 步骤一：设置MinIO文件共享并生成下载链接 以下步骤中提到的minioLink、bucket-public01、http://100.85.xxx.xx:xxxx等应替换为您实际的MinIO服务别名、存储桶名称和MinIO服务的访问地址。 1. 在部署MinIO的服务器上，打开命令行界面。 2. 使用mc命令设置文件共享下载，命令格式如下： ``` mc share download --recursive --expire= // ``` - --recursive：递归地为子文件夹中的文件设置共享。 - --expire=\：设置共享链接的过期时间，单位为小时。最长不得超过7天（168小时）。 - \：部署MinIO服务时自定义的服务别名。 - \：存储桶名称。 例如，您的存储桶名为bucket-public01，桶中有2个文件(dragon.png, share2.txt)和1个子文件夹(urlpath)，子文件夹中有1个文件(share2.txt)。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002002101409.png "点击放大") ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001965700802.png "点击放大") 如果您希望生成存储桶中所有文件及子文件夹中文件的共享下载链接，过期时间为12小时，输出的结果保存到test2.txt文件中。您可以执行如下命令： ``` mc share download --recursive --expire=12h minioLink/bucket-public01/ >> test2.txt ``` 执行命令后，将生成3个文件的共享下载链接并保存在test2.txt文件中。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002002105781.png "点击放大") 3. 打开生成的URL列表文件（在本文示例中为test2.txt），您将看到每个文件的共享下载链接。通过浏览器尝试访问这些链接，以验证生成的URL是否有效。 如果链接无法访问，请检查文件的访问权限是否设置为可读，并重新生成链接。 4. 根据MgC的要求，编辑URL列表文件内容，使其包含文件的共享下载链接和文件名，格式为： ``` ``` **共享下载链接和文件名之间用制表符隔开，子文件夹的文件名需要包含子文件夹名称** 。关于URL列表文件的更多要求和限制，请查看[存储迁移的约束与限制有哪些？](https://support.huaweicloud.com/mgc_faq/mgc_04_9002.html)。 例如： ``` http://100.85.xxx.xx:xxxx/bucket-public01/dragon.png dragon.png http://100.85.xxx.xx:xxxx/bucket-public01/share2.txt share2.txt http://100.85..xxx.xx:xxxx/bucket-public01/urlpath/share2.txt urlpath/share2.txt ``` 5. 按要求编辑完所有URL链接并检查无误后，保存该URL列表文件。 #### 步骤二：上传URL列表文件至OBS桶 1. 登录[OBS管理控制台](https://console.huaweicloud.com/console/?locale=zh-cn#/obs/manager/buckets)，在左侧导航栏选择"桶列表"。 2. 在桶列表中，单击[创建的目的端OBS桶]，进入"对象"页面。 3. 单击"新建文件夹"，在"文件夹名称"中输入自定义名称（例如：minioUrl），单击"确定"。 4. 单击上一步创建的文件夹名称，进入该文件夹，单击"上传对象"，系统弹出"上传对象"对话框。 5. 通过以下任意方式，将待迁移对象的[URL列表文件]（在本文示例中为test2.txt）上传至文件夹。 - 拖拽URL列表文件至"上传对象"区域框内，单击"上传"。 - 单击"上传对象"区域框内的"添加文件"，选择URL列表文件进行添加，单击"上传"。 #### 步骤三：创建通用存储迁移工作流 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的项目下拉列表中选择在完成准备工作时所创建的应用迁移项目。 2. 在左侧导航栏单击"迁移工作流 NEW"，进入"迁移工作流"页面。 3. 在"工作流列表"页签，单击"创建迁移工作流"按钮，弹出"请选择对应创建类型执行工作流"窗口。 4. 选择**通用存储迁移模板** ，单击"**确定**"按钮，进行工作流配置。 5. 根据[表1]，配置基础信息参数。 表1基础信息参数配置说明 | 参数 | 说明 | |:---|:---| | 名称 | 用户自定义。 | | 区域 | 在下拉菜单中选择[创建的目的端桶]所在区域。 | | 描述 | 用户自定义。 | | 集群 | 选择在完成准备工作时，[创建的集群]作为迁移集群。 | 6. 根据[表2]、[表3]，配置源端、目的端信息。 表2源端信息参数说明 | 参数 | 说明 | |:---|:---| | 数据站点类型 | 选择"HTTP/HTTPS数据源"。 | | 列表路径 | 填写在[步骤二存放URL列表文件]的文件夹名称（在本文示例中为minioUrl/），**注意要在文件夹名称后面加上"/"**。 | 表3目的端信息参数说明 | 参数 | 说明 | |:---|:---| | 数据站点类型 | 选择"华为云OBS". | | 凭证 | 单击下拉选择凭证。如未提前添加凭证，请单击"**新增凭证** "，填写凭证名称、选择认证方式、输入AK、SK，单击"**校验并保存**"，完成添加。 | | 桶 | 选择[创建的目的端OBS桶]。 | | 桶类型 | 根据桶的实际类型选择。桶类型可以通过[查看桶的基本信息](https://support.huaweicloud.com/browsertg-obs/obs_03_1043.html)获取。 | | 对象存储终端地址 | 输入目的端桶所在区域的终端节点（Endpoint）信息。 例如：目的端桶所在区域为**华北-北京四**，则输入"obs.cn-north-4.myhuaweicloud.com"。 说明： 可在OBS桶的基本信息查看。 | | 指定前缀 | 可选参数。将对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 [设置"保存到指定前缀"参数](https://support.huaweicloud.com/bestpractice-oms/oms_05_0506.html)中的功能介绍**。** | 7. 根据[表4]，进行迁移配置。 表4迁移配置参数说明 | 参数 | 子参数 | 说明 | |:---|:---|:---| | 迁移任务类型 | 全量迁移 | 迁移源端桶/文件夹内的全部数据。 | | 迁移任务类型 | 列表迁移 | 通过列表文件过滤迁移，只迁移列表文件中的对象。 在"**列表路径**"输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： - 目的端为OBS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型，并且元数据ContentType只能为text/plain。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件元数据中不能设置ContentEncoding，否则迁移失败。 - 对象列表文件行数不超过10,000行。 - 目的端为NAS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件行数不超过10,000行。 注意： 列表迁移源端为NAS时注意事项： - 如果文件存储服务地址是以冒号加斜杠（:/）结尾，请确保在列表文件中的路径是相对于挂载地址的绝对路径。 例如，文件存储服务地址为"192.1.1.1:/"，挂载地址为"/mnt/turbo"，则填写"/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移"test2.log"文件，则应在列表中填写路径：/mgc/filter_test/test2.log - 如果文件存储服务地址在冒号加斜杠（:/）之后还包含其他路径，配置列表路径单时，除了填写挂载地址下的绝对路径外，还要加上文件存储服务地址:/之后的部分。 例如，文件存储服务地址为"192.1.1.1:/mgc-test"，挂载地址为"/mnt/turbo"，则填写"mgc-test+/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移迁移"test2"文件，则应在列表中填写路径：/mgc-test/autotest/filter_test/test2。 | | 迁移任务类型 | 前缀迁移 | 仅支持云平台数据类型。 在"前缀路径"输入对象名称或者名称前缀，则只迁移与输入对象名称或名称前缀一致的对象。 须知： - 输入对象前缀路径时，如果对象文件在源端桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：文件夹/对象前缀。 - 多个前缀之间用英文逗号分隔。 | | 列举方式 说明： 全量迁移和前缀迁移时选择 | 串行列举 | 源端非并行文件系统（PFS）桶的默认列举方式。 | | 列举方式 说明： 全量迁移和前缀迁移时选择 | 并行列举 | 源端并行文件系统（PFS）桶的默认列举方式，非并行文件系统（PFS）桶选择该列举形式可能会导致列举性能降低。 | | 并发子任务数 | - | 用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | | 同名覆盖方式 说明： 推荐采用与一致性校验策略相同的同名覆盖方式，以避免在暂停重启或失败重试等场景下出现数据未迁移或数据重复迁移的问题。 | 不覆盖 | 对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。 警告： - 首次迁移时选择"不覆盖"，不会迁移源端中父文件夹的属性到目的端，可能会造成文件夹属性不完整。为规避这一风险，首次迁移时请谨慎使用"不覆盖"策略。 - 选择"不覆盖"策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用"不覆盖"策略。 | | 同名覆盖方式 说明： 推荐采用与一致性校验策略相同的同名覆盖方式，以避免在暂停重启或失败重试等场景下出现数据未迁移或数据重复迁移的问题。 | 直接覆盖 | 对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。 | | 同名覆盖方式 说明： 推荐采用与一致性校验策略相同的同名覆盖方式，以避免在暂停重启或失败重试等场景下出现数据未迁移或数据重复迁移的问题。 | 对象大小与最后修改时间覆盖 | - 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过； - 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹； 说明： 对于空文件夹，覆盖策略与文件相同。 | | 同名覆盖方式 说明： 推荐采用与一致性校验策略相同的同名覆盖方式，以避免在暂停重启或失败重试等场景下出现数据未迁移或数据重复迁移的问题。 | CRC64对比覆盖 | 迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。 说明： - 目前仅支持华为云、阿里云、腾讯云。 - 目的端OBS桶需开启CRC64特性白名单。 | | 一致性校验 | 对象大小与最后修改时间校验 | 默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。 | | 一致性校验 | CRC64校验 | 通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。 说明： - 目前仅支持华为云、阿里云和腾讯云。 - 目的端OBS桶需开启CRC64特性白名单。 | | 迁移元数据 | - | 选择是否迁移元数据。 - 勾选，则迁移源端对象元数据。 - 不勾选时，仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据（如优刻得未提供Content-Encoding），则该元数据将不会被迁移。 | | 清理集群 | - | 选择工作流是否创建清理集群步骤。 - 勾选，迁移工作流将自动创建清理集群步骤，您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。 - 不勾选，迁移工作流不创建清理集群步骤，工作流创建30天后系统会自动清除集群。 | 8. （可选）根据[表5]，配置高级选项。 表5高级选项参数说明 | 参数 | 说明 | |:---|:---| | 目的端存储类型 | 选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 说明： 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。 | | KMS加密 | - 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。 - 勾选，所有对象在迁移到OBS桶后都将被加密存储。 说明： - 使用KMS服务端加密可能会降低迁移速率10%左右。 - 目的端桶所在区域支持KMS加密时，此参数才可用。 | | 过滤配置 | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3194.html#section5#section3)。 | | SMN消息发送配置 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。 | | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，不进行流量控制。 - 勾选，进行流量控制。分别设置"开始时间"、"结束时间"和"限速"数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | | 定时迁移 | 设置迁移任务在指定时间内迁移。 - 不勾选，手动启动/暂停迁移任务。 - 勾选，设置任务在指定时间范围内进行迁移，指定时间以外则暂停迁移。 例如： - 设置开始时间08：00、结束时间12：00，则迁移任务会在每天早晨08:00至中午12:00该时间段进行迁移。该时间段以外，则迁移任务暂停。 - 设置开始时间12：00、结束时间08：00，则迁移任务会在每天中午12：00至次日早晨08：00该时间段进行迁移。该时间段以外，则迁移任务暂停。 | 9. 工作流配置完成后，单击"**下一步：确认并创建**"按钮，进入确认并创建页面。 10. 确认配置信息无误后，单击"**确认创建工作流** "，弹出**启动工作流** 窗口，单击"**确认**"按钮，立即运行工作流。 11. 在工作流列表，单击工作流名称，进入工作流详情页面，可以查看该迁移工作流的**配置信息** 和**资源迁移进度**。