# 标准存储迁移旅程 #### 什么是标准存储迁移旅程 标准存储迁移流程适用于将其他云厂商或自建IDC中的对象存储数据或文件存储数据迁移至华为云对象存储服务（OBS）或弹性文件服务（SFS）。 #### 约束与限制 - 一个旅程只能迁移同一云平台的数据。 - 如果目的端是文件存储类型，则仅支持使用独享集群迁移。 - 存储迁移校验任务仅支持独享集群单独创建。 - 共享集群迁移方式下，每条源端-目的地迁移链路最多创建100个任务。 - 独享集群迁移方式下，最多创建10条源端到目的端迁移链路。 - 关于标准存储迁移（共享集群）的约束与限制与对象存储迁移服务OMS相同，详细信息请参见[OMS约束与限制](https://support.huaweicloud.com/productdesc-oms/oms_01_0038.html)。 - 关于标准存储迁移（独享集群）的约束与限制与存储迁移相同，详细信息请查看[存储迁移的约束与限制有哪些？](https://support.huaweicloud.com/mgc_faq/mgc_04_9002.html) #### 使用须知 表1使用须知详情 | 集群类型 | 须知 | |:---|:---| | 共享集群 | 面向所有用户的免费基础集群。 - 系统默认会将等待超过30天未调度的任务自动设置为失败，并自动清除该任务的AK/SK。为避免大量任务阻塞在等待队列中，请合理控制任务创建频率。 - 在迁移过程中，系统将自动在目的端桶创建一个名为"OMS"的临时文件夹。**严禁手动操作此文件夹**，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。 - 过去24小时内已创建的迁移任务未满1,000,000个，名下处于"等待中"状态的迁移任务未满1,000,000个。 - 带宽说明：全量迁移速率上限为 500 Mbit/s，适用于常规迁移场景。 - 费用说明：集群本身免费，迁移过程中产生的具体费用请参考[计费说明](https://support.huaweicloud.com/productdesc-oms/oms_01_0028.html)。 | | 独享集群 | 用户自行搭建的专用集群，可提供更高的灵活性与控制力。 - 选择"**不覆盖** "策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会出现部分数据未完全迁移，但任务显示"成功"的情况，影响数据的完整性。为规避这一风险，**请谨慎使用"** **不覆盖** **"策略**。 - 带宽说明：支持动态扩展迁移性能，最高带宽可达 20 Gbit/s，专为大规模数据迁移设计。 - 费用说明：涉及集群费用，具体计费标准请参考[计费说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0094.html)。 | #### 操作流程 标准存储迁移旅程的完整操作流程，请参见[标准存储迁移旅程操作流程]。 表2标准存储迁移旅程操作流程 | 步骤 | 说明 | |:---|:---| | [准备工作] | - 账号和权限准备：使用MgC之前，您需要拥有一个华为账号或一个能够访问MgC的IAM用户，并配置相应的权限。 - 创建应用迁移项目：在获取目的端华为云账号和权限后，需要在迁移中心MgC控制台创建用于存储迁移的项目。 - 创建目的端对象桶或目的端弹性文件系统：用于迁移后的数据存储和管理，确保存储迁移旅程顺利运行。 - 获取源端账号AK/SK和目的端账号AK/SK，以便进行权限认证。 | | [步骤一：创建标准存储迁移旅程任务] | 创建标准存储迁移旅程任务。该步骤仅创建了标准存储迁移旅程任务，还需要完成旅程任务配置。 | | [步骤二：配置标准存储迁移任务] | 配置标准存储旅程任务，包括三个阶段：迁移前准备、迁移实施和结束旅程等操作。 | #### 准备工作 在创建标准存储迁移旅程之前，请参照[表3]提前完成准备工作。 表3准备事项的方法和要求 | 事项 | 方法和要求 | |:---|:---| | 账号和权限准备 | 1. 注册华为账号开通华为云并完成实名认证。**如果您已开通华为云并进行实名认证，请忽略此步骤** 。 1. 访问[华为云](https://www.huaweicloud.com/)，单击"**注册**"。 2. 根据提示信息完成注册开通，详细操作请参见[注册华为账号并开通华为云](https://support.huaweicloud.com/usermanual-account/account_id_001.html)。 3. 完成个人或企业账号实名认证。 - 个人账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914254.html) - 企业账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914253.html) 2. 创建IAM用户并授权。**如果您使用华为账号（管理员账号）进行迁移，则跳过该步骤。** 1. 创建IAM用户。创建方法请参考[创建IAM用户](https://support.huaweicloud.com/usermanual-iam/iam_02_0001.html)或[创建IAM用户（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1144.html)。 2. 创建自定义策略。 请参考[基于角色与策略的IAM用户自定义权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html)或[基于身份策略的IAM用户自定义权限（新版）](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3115.html)中的"**迁移旅程（新版）\> 标准存储迁移旅程**"创建相应的自定义策略。 3. 为IAM用户授权。 为IAM用户授予上一步创建的自定义策略，以及"OMS Administrator"、"OBS Administrator"、"KMS Administrator"和"MgC MigrateAccess"等系统策略。授权方法请参考[给IAM用户授权](https://support.huaweicloud.com/usermanual-iam/iam_01_0652.html)或[给IAM用户授权（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1145.html)。 说明： 如果以上系统策略不满足您的授权要求，您还可以选择创建自定义策略进行授权。自定义策略内容和创建方法，请参见[自定义策略样例](https://support.huaweicloud.com/usermanual-oms/oms_01_0051.html#section2)。 3. 获取源端桶和目的端桶账号的AK/SK。 - 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取源端账号AK/SK的方法请参见 [如何获取云平台凭证（AK/SK）？](https://support.huaweicloud.com/mgc_faq/mgc_04_5012.html) - 目的端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取目的端账号AK/SK的方法请参见[新增访问密钥](https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html)或[新增访问密钥（新版）](https://support.huaweicloud.com/usermanual-ca/ca_05_0003.html)。 | | 创建应用迁移项目 | 创建独立的迁移项目，将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。具体操作，请参见[创建应用迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html#mgc_03_0006__section182421717526)。 | | 创建目的端对象桶或目的端弹性文件系统 | 根据需要迁移的目的端选择。 - 创建目的端对象桶，确保存储迁移旅程顺利运行。具体操作请参见[目的端对象桶](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html#section1)。 - 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见[创建弹性文件系统](https://support.huaweicloud.com/usermanual-sfs/zh-cn_topic_0034428727.html)或[创建SFS Turbo文件系统](https://support.huaweicloud.com/usermanual-sfsturbo/sfsturbo_01_0359.html)。 | #### 步骤一：创建标准存储迁移旅程任务 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的**项目** 下拉列表中选择[应用迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。 2. 单击左侧导航栏"迁移旅程"，进入"迁移旅程"页面。 3. 在"创建迁移旅程"区域，选择标准存储迁移旅程卡片，单击"创建旅程"按钮，弹出"创建旅程"窗口。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002589143356.png "点击放大") 4. 系统会默认创建旅程名称，默认名称规则为：任务类型-时间。您也可以自定义旅程名称。 5. 单击"确认"，标准存储迁移旅程任务创建完成并进入迁移旅程页面的"迁移前准备"阶段。 #### 步骤二：配置标准存储迁移任务 标准存储迁移任务包括三个阶段：迁移前准备、迁移实施和结束旅程。 #### 阶段一：迁移前准备 1. 在"旅程配置"页面，根据[表4]配置源端选择。 表4源端选择参数说明 | 源端存储类型 | 源端平台 | |:---|:---| | 对象存储 | 目前支持迁移的源端存储类型包括： - 华为云 - 亚马逊云（中国） - 阿里云 - 微软云 - 腾讯云 - 谷歌云 - 七牛云 - 青云 - 百度云 - 金山云 - 优刻得 - HTTP/HTTPS数据源 | | 文件存储 | 目前支持迁移的源端存储类型包括： - NAS_GFS（谷歌云文件系统） - NAS_SMB（SMB/CIFS文件系统） - NAS_NFS_V3_MOUNT（非标准NFSV3协议的文件系统） - NAS_NFS_V3_PROTOCOL（标准NFSV3协议的文件系统） | 2. 根据[表5]配置迁移工具部署模块。 表5迁移工具部署参数说明 | 参数 | 说明 | |:---|:---| | 是否使用专线网络进行迁移或校验 | 选择是否使用专线网络。 如果源端与目的端之间已部署或正在部署专线网络，请选择"使用专线网络"。其余情况请选择"不使用专线网络"。如选择使用专线网络，迁移前请确保专线已成功打通。 | | 集群类型 | 共享型集群：该模式下为用户免费试用，但是带宽和资源配额有限，迁移速率上限为500Mbit。 选择共享集群时无需创建集群，直接执行步骤[5]。 | | 集群类型 | 独享型集群：用户创建和管理自己的独享集群，同时提供专线迁移等高级特性，实现高效高速迁移。 | | 请选择迁移工具部署区域 | 下拉菜单中选择迁移工具所部署区域。 - 共享型集群时，迁移工具部署区域必须与目的端区域一致，否则会无法创建迁移任务。 - 独享型集群时，创建迁移任务时选择的源端或目的端区域，至少有一处与该区域一致；否则迁移过程中可能会产生额外流量费用。 | 3. 创建集群。仅独享型集群时使用。通过集群可以创建和管理迁移节点、列举节点，部署和升级迁移插件，确保存储迁移旅程顺利使用。根据[表6]，配置参数。 表6集群参数配置说明 | 参数 | 子参数 | 配置说明 | 限制说明 | |:---|:---|:---|:---| | 集群名称 | - | 自定义名称。 | 同一账户下集群名称不可重名。 | | 密钥对 | - | 用于远程登录集群的弹性云服务器时进行身份认证。需要提前创建账号密钥对，方法请参考[创建密钥对](https://support.huaweicloud.com/usermanual-dew/dew_01_0034.html)。 | - | | 企业项目 | - | 该参数针对企业用户使用。可以将ECS加入已启用的企业项目。如果当前账号无可用企业项目，则默认创建并使用"default"企业项目。 企业项目管理提供了一种按企业项目管理云资源的方式，帮助您实现以企业项目为基本单元的资源及人员的统一管理，默认项目为default。 关于创建和管理企业项目的详情，请参见[《企业管理用户指南》](https://support.huaweicloud.com/usermanual-em/zh-cn_topic_0131965280.html)。 | - | | 标签 | 标签键 | - 不能为空。 - 对于同一资源键值唯一 - 长度不超过128个字符 - 字符集：A-Z、a-z、0-9、"-"、"_"、UNICODE字符（\\u4E00-\\u9FFF） - 不能包含"="、"\*"、"\<"、"\>"、"\\"、","、"\|"、"/" | - 最多可输入10个标签。 - 如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在TMS中[创建预定义标签](https://support.huaweicloud.com/usermanual-tms/zh-cn_topic_0144368884.html)。 | | 标签 | 标签值 | - 长度不超过255个字符 - 字符集：A-Z、a-z、0-9、"."、"-"、"_"、UNICODE字符（\\u4E00-\\u9FFF） - 不能包含"="、"\*"、"\<"、"\>"、"\\"、","、"\|" | - 最多可输入10个标签。 - 如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在TMS中[创建预定义标签](https://support.huaweicloud.com/usermanual-tms/zh-cn_topic_0144368884.html)。 | | 集群规模 | 快速创建节点配置 | - 小规模：最小规格集群，适用于简单、快速的存储迁移场景。 - 中规模：适用于大文件迁移场景。 - 大规模：适用于海量小文件迁移场景。 | - | | 集群规模 | 自定义创建节点配置 | 迁移管理节点ECS规格：用于管理迁移节点和列举节点。 | 节点数量为1，无法修改。 | | 集群规模 | 自定义创建节点配置 | 迁移节点ECS规格：迁移节点用于执行迁移和对比的动作，推荐规格8U16G。 | - 规格选定后，后续无法更改。 - 设置的节点数量需要同时满足如下要求： - 迁移节点数+列举节点数+1 ≤100 - 迁移节点数+列举节点数+1 ≤子网可用IP数 | | 集群规模 | 自定义创建节点配置 | 列举节点ECS规格：列举节点用于执行列举动作，推荐规格8U16G。 | - 规格选定后，后续无法更改。 - 设置的节点数量需要同时满足如下要求： - 迁移节点数+列举节点数+1 ≤100 - 迁移节点数+列举节点数+1 ≤子网可用IP数 | | 网络配置 | 虚拟私有云 | 在下拉列表中选择虚拟私有云。 | - | | 网络配置 | 子网 | 选择与虚拟私有云网段相同且满足可用IP数的子网。 | 子网的可用IP数≥迁移节点数+列举节点数+1。 | | 网络配置 | 模式 | - 公网：使用公网迁移，并选择公网网关。如果没有可用网关，选择"新建网关"，选择网关规格和EIP（EIP最多支持同时勾选20个）。 - 内网：使用内网迁移，适用于同一区域内的迁移场景。 - 专线：使用专线迁移，通过专线直接访问源端数据。搭建云专线的方法可参考[云专线最佳实践](https://support.huaweicloud.com/bestpractice-dc/dc_05_1000.html)。 | - | | 高级设置 | DNS配置（可选） | 填写DNS服务器IP地址，用于追加/etc/resolv.conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔，例如：192.0.2.1,192.0.2.2 | 最多可输入3个DNS服务器地址。 | | 高级设置 | 域名映射配置（可选） | 添加域名到IP地址的映射，用于修改/etc/hosts文件。 | 最多可添加500个IP地址映射。 | | 高级设置 | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，则不进行流量控制 - 勾选，进行流量控制。在"开始时间"、"结束时间"和"限速"文本框中输入数值。 须知： 例如：设置开始时间08：00、结束时间12：00、限制最大流量20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 | - 最多可添加五条流量控制规则。 - 时区时间以控制台所选Region的当地时间为准。 | | 高级设置 | 启用LTS服务 | - 启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。 - 不启用：不记录存储迁移过程中的日志。 | - | 4. 单击"确认"，完成创建。集群更多操作请参考[表7]。 表7集群相关操作 | 功能 | 操作 | |:---|:---| | 升级插件版本 | 当集群的插件版本有更新时，可以一键升级集群插件版本。在集群列表中，单击操作列的"更多 \> 升级插件版本"，即可将集群插件升级为最新版本。 | | 重试 | 对于创建失败的集群，在解决失败原因后，可以尝试重新创建集群。在集群列表中，单击操作列的"更多 \> 重试"，即可重新创建集群资源。 | | 删除 | 相关操作请参考[删除集群](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0096.html#section4)。 | | 管理 | 相关操作请参考[集群管理](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0095.html)。 | | 流量控制 | 相关操作请参考[添加流量控制规则](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0095.html#section1)。 | 5. 配置完成，单击页面右下角"下一步"。进入下一阶段：[迁移实施]。 #### 阶段二：迁移实施 迁移实施包含迁移任务和校验任务。任务说明如下： - 迁移任务：将源端数据迁移到目的端，同时也支持对迁移后的数据进行校验。 - 校验任务：不执行数据迁移，仅对源端和目的端已有数据进行校验。 以下介绍创建迁移任务并校验的操作步骤。关于创建校验任务的操作步骤，请参考[创建校验任务]。 1. 进入"迁移与校验 "页面，任务列表模块单击"创建迁移任务"，对象存储迁移任务和文件存储迁移任务的参数配置存在差异，请参考相应的配置说明配置迁移任务参数。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/note_3.0-zh-cn.png) 迁移方案模块展示多次同步方案、回源配置方案、源端/目的端双写方案和停机迁移方案等最佳业务割接方案和流程。 - [对象存储迁移任务参数说明] - [文件存储迁移任务参数说明] 表8对象存储迁移任务参数说明 | 参数名称 | 子参数 | 配置说明 | 备注 | |:---|:---|:---|:---| | 集群 | - | 下拉选择迁移集群，健康或亚健康状态下可支持选择创建工作流。 | 集群类型为**独享集群**时配置。 | | 源端认证方式 | 密钥 | - 源端访问密钥（Access Key）：源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 - 源端私有访问密钥（Secret Access Key）：源端云服务提供商的私有访问密钥（SK），与AK相匹配。其他最大长度是100个字符。 | 源端平台类型为**云平台** 时配置。**谷歌云**仅输入源端私有访问密钥（Secret Access Key），限制65535个字符。 | | 源端认证方式 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | 源端平台类型为**云平台** 时配置。**谷歌云**仅输入源端私有访问密钥（Secret Access Key），限制65535个字符。 | | 源端认证方式 | 密钥 | APP_ID：填写腾讯云appId。您可以在腾讯云控制台账号信息页面查看appId。 | 源端平台类型为**腾讯云COS**时配置。 | | 源端认证方式 | 密钥 | 鉴权类型的选择支持以下两种： - 连接字符串。 - 存储账户名称+密钥。 获取以上两种鉴权类型的方式请参考：[如何获取微软云的访问凭证](https://support.huaweicloud.com/mgc_faq/mgc_04_9013.html)。 | 源端平台类型为**微软云BLOB**时配置。 | | 源端认证方式 | 凭据 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"。 - 源端平台类型为**微软云BLOB** 时输入凭据名称、鉴权类型选择账户名称+密钥/连接字符串，获取以上两种鉴权类型的方式请参考：[如何获取微软云的访问凭证](https://support.huaweicloud.com/mgc_faq/mgc_04_9013.html)。 - 源端平台类型为**谷歌云**时输入凭据名称和SK。 - 源端平台类型为**腾讯云COS**时输入凭据名称、AK、SK和APP_ID。 - 源端平台类型为**其他云平台**时输入凭据名称、AK和SK。 单击"**保存**"完成添加。 | 源端平台类型为**云平台**时配置。 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | | 列表路径 | - | 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。将源端待迁移的文件URL和对象名称写入列表文件（每行只能写一个URL和对象名称），列表文件需要提前创建。 列表文件约束与限制： - 列表文件类型必须为".txt"，其他文件类型不做处理，并且该文件元数据中的"ContentType"只能为："text/plain"。 - txt文件行数不超过100,000行。 - 单个列表文件大小不能超过300MB。 - 列表文件存放目录下的列表文件个数不能超过10,000个。 - 列表文件必须是UTF-8无BOM格式编码格式。 - 列表文件中每行长度不要超过16K，否则会导致迁移失败。 - 列表文件的元数据中不能设置"ContentEncoding"，否则会导致迁移失败。 - 列表文件中每行使用制表符（键盘上Tab键）"\\t"分隔URL和目的端对象名称，请勿使用空格。格式为：\[URL\]\[制表符\]\[目的端对象名称\]，其中源端对象名称如果包含中文、特殊字符必须使用URL Encode对URL编码；目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。 - 列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 说明： 出于安全考虑，若您的源端同时支持HTTP和HTTPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 | 源端平台类型为**HTTP/HTTPS数据源**时配置。 | | 创建模式 | 创建单任务 | 单击下拉框仅支持选择一个源端桶。 | 源端平台类型为**云平台**时配置。 | | 创建模式 | 创建多任务 | 单击下拉框可选择多个源端桶，并同时创建迁移任务。同一旅程下目前仅支持创建10条不同源端-目的端链路的任务，如需增加链路，请提工单联系。 | 源端平台类型为**云平台**时配置。 | | 源端桶 | - | 下拉选择源端需要迁移的桶。 | 源端平台类型为**云平台**时配置。 | | 源端区域 | - | 展示源端桶所在区域。 | 源端平台类型为**云平台**时配置。 | | 源端桶类型 | - | 集群类型为**独享集群**时展示桶类型。共享集群时不展示。 | 源端平台类型为**华为云OBS**时展示。 | 表9文件存储迁移任务参数说明 | 参数名称 | 子参数 | 配置说明 | |:---|:---|:---| | 集群 | - | 下拉选择迁移集群，健康或亚健康状态下可支持选择创建工作流。 集群类型为**独享集群**时配置。 | | 文件存储服务地址 | - | 输入源端文件系统的挂载地址，格式为：IP地址+:/或IP地址+:/ xxx，例如：192.1.1.1:/或192.1.1.1:/0001 | | 路径 | - | 输入待迁移文件路径，格式为：/文件夹。 | | 源端认证方式 说明： 源端平台选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | 密钥 | - 用户名（可选）：输入具有访问源端文件系统所有文件权限的用户名，例如：administrator。 - 密码（可选）：输入用户名对应的密码。 - Windows上的域（可选）：输入对应的域名。只需输入.com之前的内容，例如：域名为test.com，则输入test。 | | 源端认证方式 说明： 源端平台选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | | 源端认证方式 说明： 源端平台选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | 凭据 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"，输入凭据名称、输入用户名、密码，单击"**保存**"完成添加。 | 2. 根据[表9 目的端信息参数说明]配置目的端信息。 表10目的端信息参数说明 | 参数 | 子参数 | 说明 | 备注 | |:---|:---|:---|:---| | 目的端平台 | - | 选择要迁移到的目的端平台。 - 独享集群时支持迁移到**华为云OBS** 、**NAS_SMB** 和**NAS_NFS_V3_MOUNT**。 - 共享集群默认迁移到**华为云OBS**。 | - | | 目的端认证方式 | 密钥 | - 目的端访问密钥（Access Key）：华为云的访问密钥（AK）。最大长度是100个字符。 - 目的端私有访问密钥（Secret Access Key）：华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 | 目的端平台类型选择**华为云OBS**时填写。 | | 目的端认证方式 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | 目的端平台类型选择**华为云OBS/NAS_SMB**时填写。 | | 目的端认证方式 | 密钥 | - 用户名（可选）：输入具有访问源端文件系统所有文件权限的用户名，例如：administrator。 - 密码（可选）：输入用户名对应的密码。 - Windows上的域（可选）：输入对应的域名。只需输入.com之前的内容，例如：域名为test.com，则输入test。 | 目的端平台类型选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | | 目的端认证方式 | 凭据 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"。 - 目的端平台类型选择**华为云OBS**时输入凭据名称、输入AK、SK。 - 目的端平台类型选择**NAS_SMB**时输入凭据名称、输入用户名、密码。 单击"**保存**"完成添加。 | 目的端平台类型选择**华为云OBS/NAS_SMB** 时填写。**NAS_SMB**时为可选参数。 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | | 目的端区域 | - | 独享集群时下拉菜单中选择目的端所在区域。 共享集群时展示目的端桶所在区域，无法选择。 | 目的端平台类型选择**华为云OBS**时填写展示。 | | 目的端桶 | - | 下拉列表选择已创建的目的端OBS桶。如果未提前创建，请参见[目的端对象桶](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html#section1)进行创建。 说明： 桶存储类别只支持标准存储和低频访问存储。 | 目的端平台类型选择**华为云OBS**时填写展示。 | | 目的端桶类型 | - | 集群类型为**独享集群**时展示桶类型。共享集群时不展示。 | 目的端平台类型选择**华为云OBS**时填写展示。 | | 目的端前缀（可选） | - | 将对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 [设置"保存到指定前缀"参数](https://support.huaweicloud.com/bestpractice-oms/oms_05_0506.html)中的功能介绍**。** | 目的端平台类型选择**华为云OBS**时填写展示。 | | 文件存储服务地址 | - | 输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面，单击**挂载地址** 后面的![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002532310004.png)图标复制获取。 | 目的端平台类型选择**NAS_SMB/NAS_NFS_V3_MOUNT**时填写。 | | 路径 | - | 输入目的端接收文件的路径，格式为：/文件夹。 | 目的端平台类型选择**NAS_SMB/NAS_NFS_V3_MOUNT**时填写。 | 3. 迁移配置模块，共享集群和独享集群的参数配置存在差异，请参考相应的配置说明配置迁移配置参数。 - [独享集群迁移配置参数说明] - [共享集群迁移配置参数说明] 表11独享集群迁移配置参数说明 | 参数 | 子参数 | 配置说明 | |:---|:---|:---| | 迁移方式 | 全量迁移 | 迁移源端桶/文件夹内的全部数据。 | | 迁移方式 | 列表迁移 | 通过列表文件过滤迁移，只迁移列表文件中的对象。 在"**列表路径**"输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： - 目的端为OBS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型，并且元数据ContentType只能为text/plain。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件元数据中不能设置ContentEncoding，否则迁移失败。 - 对象列表文件行数不超过10,000行。 - 目的端为NAS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件行数不超过10,000行。 注意： 列表迁移源端为NAS时注意事项： - 如果文件存储服务地址是以冒号加斜杠（:/）结尾，请确保在列表文件中的路径是相对于挂载地址的绝对路径。 例如，文件存储服务地址为"192.1.1.1:/"，挂载地址为"/mnt/turbo"，则填写"/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移"test2.log"文件，则应在列表中填写路径：/mgc/filter_test/test2.log - 如果文件存储服务地址在冒号加斜杠（:/）之后还包含其他路径，配置列表路径单时，除了填写挂载地址下的绝对路径外，还要加上文件存储服务地址:/之后的部分。 例如，文件存储服务地址为"192.1.1.1:/mgc-test"，挂载地址为"/mnt/turbo"，则填写"mgc-test+/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移迁移"test2"文件，则应在列表中填写路径：/mgc-test/autotest/filter_test/test2。 | | 迁移方式 | 列表迁移 | 选择是否启用轻量对比。仅源端选择**华为云OBS**时支持配置。 - 不勾选，迁移准备时读源端元数据，迁移完成后读目的端元数据并再读一次源端元数据，进行校验对比。 - 勾选，迁移准备时读源端元数据，迁移完成后读目的端元数据，用准备时读的源端元数据进行校验对比。适用于海量小文件场景，显著提升迁移效率。 | | 迁移方式 | 前缀迁移 | 仅支持云平台数据类型。 在"前缀路径"输入对象名称或者名称前缀，则只迁移与输入对象名称或名称前缀一致的对象。 - 输入对象前缀路径时，如果对象文件在源端桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：文件夹/对象前缀。 - 多个前缀之间用英文逗号分隔。 | | 列举方式 说明： 同时满足以下场景时适用： - 源端类型为对象存储 - 全量迁移或前缀迁移。 | 串行列举 | 源端非并行文件系统（PFS）桶的默认列举方式。 | | 列举方式 说明： 同时满足以下场景时适用： - 源端类型为对象存储 - 全量迁移或前缀迁移。 | 并行列举 | 源端并行文件系统（PFS）桶的默认列举方式，非并行文件系统（PFS）桶选择该列举形式可能会导致列举性能降低。 | | 并发子任务数 | - | 默认5，支持用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | | 配置存储策略 | - | 选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 | | 同名对象覆盖方式 | - | - **大小/最后修改时间对比覆盖**：默认配置。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象大小和最后修改时间，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间，目的端对象的最后修改时间晚于源端对象的最后修改时间，则代表该对象目的端已存在或目的端发生修改，跳过不迁移；目的端对象的最后修改时间早于源端对象的最后修改时间，则代表源端对象发生修改，迁移覆盖目的端；如果最后修改时间相同，源端与目的端大小不同，则执行覆盖。 - **不覆盖**：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 - **CRC64对比覆盖**：目前仅支持华为/阿里/腾讯。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象元数据中CRC64值是否相同，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值，则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。 - **全覆盖**：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。 | | 迁移元数据 | - | 选择是否迁移元数据。 - 勾选，则迁移源端对象元数据。 - 不勾选时，仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据（如优刻得未提供Content-Encoding），则该元数据将不会被迁移。 | 表12共享集群迁移配置参数说明 | 参数 | 子参数 | 配置说明 | |:---|:---|:---| | 迁移方式 | 选择文件/文件夹 | 单击"选择"，选择待迁移的文件或文件夹后，单击"确定"。对于已选择的文件或文件夹，您可以单击![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002533356100.png)从已选文件/文件夹列表中删除。 说明： - 若不设置该参数，则默认迁移全桶数据。 - 针对每个迁移任务，在同一目录层级下，您最多可以选择500个文件或文件夹。 - 由于OBS服务的规格限制，请确认对象迁移到目的端后的名称不超过1023个字符，否则将导致任务失败。 | | 迁移方式 | 指定对象列表 | 指定对象列表方式，一般用于增量迁移场景，用户需要将待迁移的源端对象名称逐一写入一个对象列表文件。再将这个对象列表文件放在华为云obs桶中，对象存储迁移服务会读取这个对象列表文件，并迁移文件中列出的所有对象。 1. 选择"列表文件所在桶"。 说明： 此参数中列出的桶是通过[3]中输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 2. 在"对象列表文件"区域内单击"选择"，选择用户指定的对象列表文件，单击"提交"。 说明： - 对象列表文件大小不能超过1024MB。 - 对象列表文件中的首个对象必须存在，否则会预校验不通过。 - 对象列表文件必须是".txt"类型的文件，并且该文件元数据中的"ContentType"只能为："text/plain"。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 在对象列表文件中，每一行只能包含一个对象名称。如果对象名称包含特殊字符或空格，为了确保迁移过程的正确性，需要使用URL编码进行转换。 例如：待迁移对象为"6-objs.txt"和"oms/考试计划.docx"，则对象列表文件中应写入如下内容： ``` 6-objs.txt oms%2F%E8%80%83%E8%AF%95%E8%AE%A1%E5%88%92.docx ``` - 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 - 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。 - 对象列表文件的元数据中不能设置"ContentEncoding"，否则会导致迁移失败。 - 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。 | | 迁移方式 | 输入对象前缀 | 在"输入对象前缀"输入框输入对象数据名称或者名称前缀，单击"添加"，系统会自动匹配出数据。您可以单击![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002601384509.png)，从这些匹配到的迁移数据列表中删除不需要迁移的数据。 说明： - 添加对象前缀时，如果对象文件在桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：文件夹/对象前缀。 - 若不添加该参数，则默认迁移全桶的数据。 | | 迁移方式 | 指定URL列表 | 指定URL列表方式，一般适用于HTTP或HTTPS源端的迁移场景，用户需要将待迁移的文件URL和目的端对象名称写入URL列表文件，并将生成的URL列表文件放在华为云OBS桶中，对象存储迁移服务将会迁移指定URL列表文件中的所有对象。 1. 选择"列表文件所在桶"。 说明： - 此参数中列出的桶是通过[3]中输入的目的端AK/SK得到的桶列表。 - 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 - 出于安全考虑，若您的源端同时支持HTTP和HTTPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 - 如果待迁移内容为非公开内容时，建议不要将源端数据公开，采用其他非HTTP/HTTPS方式进行迁移。 - URL列表迁移不支持URL重定向。 2. 在"选择URL列表文件"区域内单击"选择"，选择用户指定的URL列表文件，单击"确定"。 说明： - URL列表文件大小不能超过1024MB。 - URL列表文件必须是".txt"类型的文件，并且该文件元数据中的"ContentType"只能为："text/plain"。 - URL列表文件必须是UTF-8无BOM格式编码格式。 - URL列表文件中每行只能包含一个URL和目的端对象名称。 - URL列表文件中每行长度不要超过65535，否则会导致迁移失败。 - URL列表文件的元数据中不能设置"ContentEncoding"，否则会导致迁移失败。 - URL列表文件中的首行格式必须正确，否则会预校验不通过。 - URL列表文件中每行使用制表符\\t分隔URL和目的端对象名称，格式为：**\[URL\]\[制表符\]\[目的端对象名称\]** ，其中源端对象名称如果包含中文、特殊字符必须使用URL Encode对URL编码；目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。 **注意：** **URL编码仅从域名后第二个字符开始，不要将协议头、域名以及域名两侧的斜线转码，否则将导致格式校验错误。** **URL与目的端对象名称之间使用一个制表符（键盘上Tab键）进行分隔，请勿使用空格。** 例如： ``` http://xxx.xxx.xxx.xxx.com/doc/%e6%96%87%e4%bb%b61.txt doc/%e6%96%87%e4%bb%b61.txt http://xxx.xxx.xxx.xxx.com/doc/thefile2.txt doc/thefile2.txt http://xxx.xxx.xxx.xxx.com/the%20file.txt the%20file.txt http://xxx.xxx.xxx.xxx.com/the%20file2.txt the+file2.txt http://xxx.xxx.xxx.xxx.com/doc/thefile.txt doc/thefile.txt ``` 以上示例中，URL所表示的文件，被复制到目的端桶后，对象会被分别命名为：doc/文件1.txt、doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。 - URL列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 - URL列表文件中的URL需确保可通过HEAD和GET请求正常访问。 | | 配置存储策略 | - | 选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 | | 一致性校验 | - | - **大小/最后修改时间校验**：默认配置。迁移前后，通过对比源端和目的端对象大小+最后修改时间，判断对象是否已存在或迁移后数据是否完整。源端与目的端同名对象大小相同，且目的端对象的最后修改时间不早于源端对象的最后修改时间，则代表该对象已存在/迁移成功。 - **CRC64校验：**目前仅支持华为/阿里/腾讯。迁移前后，通过对比源端和目的端对象元数据中CRC64值是否相同，判断对象是否已存在/迁移完成。如果源端与目的端对象元数据中不存在CRC64值，则系统会默认使用大小/最后修改时间校验方式来校验。 | 4. （可选）高级选项模块，共享集群和独享集群的参数配置存在差异，请参考相应的配置说明配置高级选项参数。 - [独享集群高级选项参数说明] - [共享集群高级选项参数说明] 表13独享集群高级选项参数说明 | 参数 | 说明 | |:---|:---| | KMS加密 | 仅目的端选择**华为云OBS**时支持配置。 - 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。 - 勾选，所有对象在迁移到OBS桶后都将被加密存储。 说明： - 使用KMS服务端加密可能会降低迁移速率10%左右。 - 目的端桶所在区域支持KMS加密时，此参数才可用。 | | 解冻归档数据 | - 不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。 - 勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 说明： 在数据迁移的列举阶段，系统会对列举出的所有数据发起取回操作，源端云服务商会收取相应的API调用费用和存储费用。为了避免产生多余的解冻费用，建议您优先在源端手动操作解冻后再开始迁移。 | | 过滤配置 | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#mgc_03_3603__section156053217566)。 | | CDN迁移支持 | 当默认域名不能满足您的迁移需求，比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用，可以勾选此选项。在域名输入框中输入自定义域名，并选择传输协议。HTTP协议安全级别低于HTTPS协议，推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时，如果使用了CDN鉴权，还需要选择"鉴权类型"并输入"鉴权密钥"。 | | SMN消息发送配置 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。 | | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，不进行流量控制。 - 勾选，进行流量控制。分别设置"开始时间"、"结束时间"和"限速"数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | | 定时迁移 | 设置迁移任务在指定时间内自动迁移。 - 不勾选，手动启动/暂停迁移任务。 - 勾选，设置任务在指定时间范围内进行迁移，指定时间以外则暂停迁移。 例如： - 设置开始时间08：00、结束时间12：00，则迁移任务会在每天早晨08:00至中午12:00该时间段进行迁移。该时间段以外，则迁移任务暂停。 - 设置开始时间12：00、结束时间08：00，则迁移任务会在每天中午12：00至次日早晨08：00该时间段进行迁移。该时间段以外，则迁移任务暂停。 | 表14共享集群高级选项参数说明 | 参数 | 说明 | |:---|:---| | 元数据迁移方式 | 选择是否迁移元数据。 - 选择"**忽略元数据**"，OMS只迁移源端Content-Type、Content-Encoding元数据。 - 选择"**保留元数据** "，OMS会迁移支持范围内的元数据。支持的元数据类型范围：Content-Type，Content-Encoding，Content-Disposition，Content-Language，Cache-Control，Expires，WebsiteRedirectLocation，Storage-Class和自定义元数据。 须知： - 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外，其他所有字符均不支持。 - 如果选择"忽略元数据迁移"，为保证迁移任务正常运行，仍将迁移Content-Type、Content-Encoding元数据。 | | 迁移指定时间后的对象 | 选择是否迁移在指定时间后的对象。 - 选择"关闭"，不过滤源端待迁移对象。 - 选择"开启"，设置迁移指定时间后，OMS服务仅迁移在指定时间之后修改的源端待迁移对象。 | | 记录失败对象 | 选择是否记录迁移失败的对象。 - 不勾选，则不记录迁移失败的对象。如果迁移失败，只能全量重传。 - 勾选，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。 说明： - 单个迁移任务或迁移任务组任务，都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中，并将该文件上传到目的端桶的"oms/failed_object_lists/"路径下。 - 失败对象列表文件，最多记录10万个失败对象。 失败对象超过10万个的场景，建议基于已有失败对象列表，分析处理后重新迁移。 - 该文件记录了迁移任务失败的摘要信息，包括：失败原因、发生时间（参照当前区域所属时区）、失败对象（经过URL编码）、失败对象（未经过URL编码）、源端SDK返回的错误码。 - 当迁移失败对象重传成功后，失败对象列表文件仍会保留在目的端。您如果不再需要该文件，请手动删除。 | | 解冻归档数据 | 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。 - 勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 说明： - 目前支持以下云服务提供商的归档数据的自动解冻：华为云（归档存储（COLD））、阿里云（归档存储（Archive））、金山云（归档存储（ARCHIVE））、腾讯云（归档存储（ARCHIVE））、优刻得（归档存储（ARCHIVE））。 - 解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。 - 解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。 - 归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 - 默认取回时间为3天，当迁移对象数超过300 w或容量大小超过3 TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。 - 在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。 - 对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 - 不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。 | | 发送通知 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。勾选后，会默认您已同意"OMS服务向主题发布消息"委托授权（SMN FullAccess）。您可以在委托权限后，随时[取消授权](https://support.huaweicloud.com/usermanual-iam/iam_01_0730.html)。 需要执行以下步骤： 1. 单击"选择主题"所在行的"添加"，弹出"选择SMN主题"对话框。 2. 选择接收SMN消息的主题，单击"确定"完成选择。 3. 单击"SMN模板"所在行的"添加"，弹出"选择SMN模板"对话框。如果设置此值，则表示用模板方式发送SMN信息。模板名称下必须有default协议的模板。 4. 选择接收SMN信息的模板，单击"确定"完成选择。 5. 设置"触发条件"参数。您可以只勾选其中一个参数或者两个参数都勾选。 - "迁移成功"表示迁移任务成功时发送SMN消息通知。 - "迁移失败"表示迁移任务失败时发送SMN消息通知。 如果您无法正常使用SMN消息通知功能，请参见[SMN消息通知功能无法正常使用怎么办？](https://support.huaweicloud.com/oms_faq/oms_faq_0005.html)。 | | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，不进行流量控制。 - 勾选，进行流量控制。分别设置"开始时间"、"结束时间"和"限制最大流量"数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： - 限制最大流量的数值范围：1\~ 200MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | | 同名对象覆盖方式 | - **大小/最后修改时间对比覆盖**：默认配置。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象大小和最后修改时间，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间，目的端对象的最后修改时间晚于源端对象的最后修改时间，则代表该对象目的端已存在或目的端发生修改，跳过不迁移；目的端对象的最后修改时间早于源端对象的最后修改时间，则代表源端对象发生修改，迁移覆盖目的端；如果最后修改时间相同，源端与目的端大小不同，则执行覆盖。 - **不覆盖**：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 - **CRC64对比覆盖**：目前仅支持华为/阿里/腾讯。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象元数据中CRC64值是否相同，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值，则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。 - **全覆盖**：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。 | | 任务优先级 | 任务较多时，可以通过设置任务优先级制定迁移顺序。 | | 描述 | 输入本次迁移任务的简单描述信息。 最多可输入255个字符。 | 5. 配置完成后，在右侧配置概要区域确认配置信息无误后，勾选"我已阅读并同意《服务声明》"。 6. 单击右下角"确认并创建"后，自动启动迁移。单击右侧"刷新"按钮更新任务列表数据。 7. 在迁移任务列表，单击任务名称，还可以进行如下操作： - 当是独享集群时，右侧弹出"资源迁移详情"窗口，可以查看该资源的迁移"基础信息"和"运行状态"等信息。还可以进行如下操作： | 操作 | 步骤 | |:---|:---| | 修改定时迁移 | 1. 在**基础信息** 区域，单击**定时迁移** 下的"**修改**"。 2. 设置**开始时间** 和**结束时间** ，单击"**确认**"。 | | 修改并发子任务数 | 1. 在**迁移进度** 区域，单击期望并发子任务数上方的"**修改**"，配置期望并发的子任务数。配置要求：配置的数目不能超过可用迁移节点数x10。例如，可用的迁移节点数为2，则配置数目需要≤20。 2. 单击"**确认**"，完成并发子任务数修改。 | | 添加迁移限速规则 | 1. 在**迁移速度** 区域，单击"**添加** "按钮，可以增加一条限速规则，用于限制该资源在某个时间段内的迁移速度。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 2. 设置完成后，单击"**保存**"，完成添加。 | | 获取迁移**失败** /**跳过** /**成功**资源列表文件 | 在**迁移统计** 区域，可以查看存放迁移**失败** /**跳过** /**成功**的资源列表文件路径。单击路径，可以进入存放文件的OBS桶，获取对应列表文件。 | | 查看迁移流量统计 | 在**流程统计**区域，可以查看该资源近1小时、近6小时、近24小时、整个周期迁移流量使用情况。 | - 当是共享集群时，任务详情页面可查看已迁移对象数/对象总数、任务进度、迁移速率、源端/目的端信息以及您在创建迁移任务时设置的各项参数信息，还可以**设置流量控制规则** ：可以添加、编辑或删除流量控制规则，以确保集群内的流量按照需求进行管理。单击"**流量控制** "下的![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002575058080.png)按钮。 - 如需新增流量控制，单击"**新增流量控制** "，设置"**开始时间** "、"**结束时间** "和"**时间段限速**"。 - 如需修改流量控制，根据您的实际要求，修改"**开始时间** "、"**结束时间** "和"**时间段限速**"。 - 如需删除流量控制，单击对应记录操作列的"删除"。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/note_3.0-zh-cn.png) - 限制最大流量的数值范围：1\~ 200MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 8. 当任务状态为已完成时，表示该迁移任务已完成。 9. （可选）创建校验任务。如果是独享集群迁移任务您可以创建校验任务校验迁移数据的完整性。详细步骤如下： 1. 单击迁移任务操作列的"创建校验任务"。 2. 根据[表15]，配置校验任务页面。 表15校验任务参数说明 | 参数 | 子参数 | 说明 | |:---|:---|:---| | 集群 | - | 下拉选择迁移集群，支持选择健康或亚健康状态下的集群。 | | 源端认证方式 | 密钥 说明： - 源端平台类型为**云平台**时配置源端访问密钥、源端私有访问密钥、KMS加密。 - 源端平台类型为**腾讯云COS**时配置APP_ID。 - 源端平台类型为**微软云BLOB**时配置鉴权类型。 | - 源端访问密钥（Access Key）：源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 - 源端私有访问密钥（Secret Access Key）：源端云服务提供商的私有访问密钥（SK），与AK相匹配。其他最大长度是100个字符。 | | 源端认证方式 | 密钥 说明： - 源端平台类型为**云平台**时配置源端访问密钥、源端私有访问密钥、KMS加密。 - 源端平台类型为**腾讯云COS**时配置APP_ID。 - 源端平台类型为**微软云BLOB**时配置鉴权类型。 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | | 源端认证方式 | 密钥 说明： - 源端平台类型为**云平台**时配置源端访问密钥、源端私有访问密钥、KMS加密。 - 源端平台类型为**腾讯云COS**时配置APP_ID。 - 源端平台类型为**微软云BLOB**时配置鉴权类型。 | APP_ID：填写腾讯云appId。您可以在腾讯云控制台账号信息页面查看appId。 | | 源端认证方式 | 密钥 说明： - 源端平台类型为**云平台**时配置源端访问密钥、源端私有访问密钥、KMS加密。 - 源端平台类型为**腾讯云COS**时配置APP_ID。 - 源端平台类型为**微软云BLOB**时配置鉴权类型。 | 鉴权类型的选择支持以下两种： - 连接字符串。 - 存储账户名称+密钥。 获取以上两种鉴权类型的方式请参考：[如何获取微软云的访问凭证](https://support.huaweicloud.com/mgc_faq/mgc_04_9013.html)。 | | 源端认证方式 | 凭据 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"。 - 源端平台类型为**微软云BLOB** 时输入凭据名称、鉴权类型选择账户名称+密钥/连接字符串，获取以上两种鉴权类型的方式请参考：[如何获取微软云的访问凭证](https://support.huaweicloud.com/mgc_faq/mgc_04_9013.html)。 - 源端平台类型为**谷歌云**时输入凭据名称和SK。 - 源端平台类型为**腾讯云COS**时输入凭据名称、AK、SK和APP_ID。 - 源端平台类型为**其他云平台**时输入凭据名称、AK和SK。 单击"**保存**"完成添加。 | | 目的端认证方式 | 密钥 | - 目的端访问密钥（Access Key）：华为云的访问密钥（AK）。最大长度是100个字符。 - 目的端私有访问密钥（Secret Access Key）：华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 | | 目的端认证方式 | 密钥 | - 用户名（可选）：输入具有访问源端文件系统所有文件权限的用户名，例如：administrator。 - 密码（可选）：输入用户名对应的密码。 - Windows上的域（可选）：输入对应的域名。只需输入.com之前的内容，例如：域名为test.com，则输入test。 | | 目的端认证方式 | 凭据 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"。 - 目的端平台类型选择**华为云OBS**时输入凭据名称、输入AK、SK。 - 目的端平台类型选择**NAS_SMB**时输入凭据名称、输入用户名、密码。 单击"**保存**"完成添加。 | | 校验范围 | 仅校验迁移成功列表 | 仅校验迁移任务中迁移成功的列表。 | | 校验范围 | 重新扫描源端 | 校验源端所有迁移对象。 | | 校验任务类型 | 普通校验任务 | 性能低，提供了便捷的校验配置操作，并且支持对象大小与最后修改时间、内容和元数据校验。 | | 校验方式 | 全量校验 | 校验源端桶/文件夹内的全部数据。 | | 校验方式 | 列表校验 | 在"列表路径"输入列表文件路径过滤，只校验列表文件中的对象。 | | 校验方式 | 前缀校验 | 在"前缀路径"输入对象名称或者名称前缀，只校验与输入对象名称或名称前缀一致的对象。 | | 列举方式 说明： 同时满足以下场景时适用： - 源端类型为对象存储 - 全量迁移或前缀迁移。 | 串行列举 | 源端非并行文件系统（PFS）桶的默认列举方式。 | | 列举方式 说明： 同时满足以下场景时适用： - 源端类型为对象存储 - 全量迁移或前缀迁移。 | 并行列举 | 源端并行文件系统（PFS）桶的默认列举方式，非并行文件系统（PFS）桶选择该列举形式可能会导致列举性能降低。 | | 并发子任务数 | - | 默认5，支持用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | | 一致性校验 | 对象大小与最后修改时间校验 | 默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。 | | 一致性校验 | 内容校验 | 通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见[一致性校验说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#mgc_03_3603__section17939184019586)。 说明： - 目前仅支持华为云、阿里云、腾讯云。 - 源端目的端OBS桶均需开启CRC64特性白名单。 | | 一致性校验 | 元数据校验 | 校验文件的元数据。 | | 过滤配置 | - | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#mgc_03_3603__section156053217566)。 | 3. 配置完成后，在右侧配置概要区域确认配置信息无误，单击右下角"确认并创建"后，任务创建成功，并开始校验。 4. 当校验任务状态为已完成时，表示该校验任务已完成。 10. 迁移并校验完成单击右下角"结束旅程"。结束旅程后，无法在该旅程中再次执行任何操作。系统将自动为您生成旅程报告，在弹框确认须知及风险提示后单击"确认"。进入[生成报告]页面，查看旅程报告。 #### 阶段三：生成报告 生成标准存储的迁移旅程总结报告，该页面展示迁移数据总览、校验数据总览、任务统计和旅程信息。 表16生成报告页面部分数据说明 | 模块 | 说明 | |:---|:---| | 迁移数据总览 | 总数据量：迁移成功对象总数据量 | | 迁移数据总览 | 总文件数：迁移成功对象总文件数 | | 迁移数据总览 | 迁移任务数：旅程中迁移任务总数 | | 迁移数据总览 | 任务总时长：旅程中多个迁移任务执行时间总和 | | 迁移数据总览 | 迁移平均速率：总数据量/任务总时长=旅程中任务迁移的平均速率 | | 校验数据总览 | 总数据量：校验完成对象的总数据量，包括校验成功对象和校验失败对象 | | 校验数据总览 | 总文件数：校验完成对象的总文件数，包括校验成功对象和校验失败对象 | | 校验数据总览 | 校验任务数：旅程中校验任务总数 | | 校验数据总览 | 校验总时长：旅程中多个校验任务执行时间总和 | | 校验数据总览 | 校验平均速率：总数据量/校验总时长=旅程中任务校验的平均速率 | 单击右下角"退出"，旅程结束，返回迁移旅程列表页面。 #### 创建校验任务 校验任务不执行数据迁移，仅对源端和目的端已有数据进行校验。仅支持独享集群下创建。 1. 请先完成[步骤一：创建标准存储迁移旅程任务]以及步骤二中的[阶段一：迁移前准备]等配置。 2. 进入"迁移与校验 "页面，任务列表模块单击"创建校验任务"，对象存储校验任务和文件存储校验任务的参数配置存在差异，请参考相应的配置说明配置校验任务参数。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/note_3.0-zh-cn.png) 迁移方案模块展示多次同步方案、回源配置方案、源端/目的端双写方案和停机迁移方案等最佳业务割接方案和流程。 - [对象存储校验任务参数说明] - [文件存储校验任务参数说明] 表17对象存储校验任务参数说明 | 参数名称 | 子参数 | 配置说明 | 备注 | |:---|:---|:---|:---| | 集群 | - | 下拉选择迁移集群，健康或亚健康状态下可支持选择创建工作流。 | 集群类型为**独享集群**时配置。 | | 源端认证方式 | 密钥 | - 源端访问密钥（Access Key）：源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 - 源端私有访问密钥（Secret Access Key）：源端云服务提供商的私有访问密钥（SK），与AK相匹配。其他最大长度是100个字符。 | 源端平台类型为**云平台** 时配置。**谷歌云**仅输入源端私有访问密钥（Secret Access Key），限制65535个字符。 | | 源端认证方式 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | 源端平台类型为**云平台** 时配置。**谷歌云**仅输入源端私有访问密钥（Secret Access Key），限制65535个字符。 | | 源端认证方式 | 密钥 | APP_ID：填写腾讯云appId。您可以在腾讯云控制台账号信息页面查看appId。 | 源端平台类型为**腾讯云COS**时配置。 | | 源端认证方式 | 密钥 | 鉴权类型的选择支持以下两种： - 连接字符串。 - 存储账户名称+密钥。 获取以上两种鉴权类型的方式请参考：[如何获取微软云的访问凭证](https://support.huaweicloud.com/mgc_faq/mgc_04_9013.html)。 | 源端平台类型为**微软云BLOB**时配置。 | | 源端认证方式 | 凭据 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"。 - 源端平台类型为**微软云BLOB** 时输入凭据名称、鉴权类型选择账户名称+密钥/连接字符串，获取以上两种鉴权类型的方式请参考：[如何获取微软云的访问凭证](https://support.huaweicloud.com/mgc_faq/mgc_04_9013.html)。 - 源端平台类型为**谷歌云**时输入凭据名称和SK。 - 源端平台类型为**腾讯云COS**时输入凭据名称、AK、SK和APP_ID。 - 源端平台类型为**其他云平台**时输入凭据名称、AK和SK。 单击"**保存**"完成添加。 | 源端平台类型为**云平台**时配置。 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | | 列表路径 | - | 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。将源端待迁移的文件URL和对象名称写入列表文件（每行只能写一个URL和对象名称），列表文件需要提前创建。 列表文件约束与限制： - 列表文件类型必须为".txt"，其他文件类型不做处理，并且该文件元数据中的"ContentType"只能为："text/plain"。 - txt文件行数不超过100,000行。 - 单个列表文件大小不能超过300MB。 - 列表文件存放目录下的列表文件个数不能超过10,000个。 - 列表文件必须是UTF-8无BOM格式编码格式。 - 列表文件中每行长度不要超过16K，否则会导致迁移失败。 - 列表文件的元数据中不能设置"ContentEncoding"，否则会导致迁移失败。 - 列表文件中每行使用制表符（键盘上Tab键）"\\t"分隔URL和目的端对象名称，请勿使用空格。格式为：\[URL\]\[制表符\]\[目的端对象名称\]，其中源端对象名称如果包含中文、特殊字符必须使用URL Encode对URL编码；目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。 - 列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 说明： 出于安全考虑，若您的源端同时支持HTTP和HTTPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 | 源端平台类型为**HTTP/HTTPS数据源**时配置。 | | 源端桶 | - | 下拉选择源端需要迁移的桶。 | 源端平台类型为**云平台**时配置。 | | 源端区域 | - | 展示源端桶所在区域。 | 源端平台类型为**云平台**时配置。 | | 源端桶类型 | - | 集群类型为**独享集群**时展示桶类型。共享集群时不展示。 | 源端平台类型为**华为云OBS**时展示。 | 表18文件存储校验任务参数说明 | 参数名称 | 子参数 | 配置说明 | |:---|:---|:---| | 集群 | - | 下拉选择迁移集群，健康或亚健康状态下可支持选择创建工作流。 集群类型为**独享集群**时配置。 | | 文件存储服务地址 | - | 输入源端文件系统的挂载地址，格式为：IP地址+:/或IP地址+:/ xxx，例如：192.1.1.1:/或192.1.1.1:/0001 | | 路径 | - | 输入待迁移文件路径，格式为：/文件夹。 | | 源端认证方式 说明： 源端平台选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | 密钥 | - 用户名（可选）：输入具有访问源端文件系统所有文件权限的用户名，例如：administrator。 - 密码（可选）：输入用户名对应的密码。 - Windows上的域（可选）：输入对应的域名。只需输入.com之前的内容，例如：域名为test.com，则输入test。 | | 源端认证方式 说明： 源端平台选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | | 源端认证方式 说明： 源端平台选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | 凭据（可选） 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"，输入凭据名称、输入用户名、密码，单击"**保存**"完成添加。 | 3. 根据[目的端信息参数说明]配置目的端信息。 表19目的端信息参数说明 | 参数 | 子参数 | 说明 | 备注 | |:---|:---|:---|:---| | 目的端平台 | - | 选择要迁移到的目的端平台。 独享集群时支持迁移到**华为云OBS** 、**NAS_SMB** 和**NAS_NFS_V3_MOUNT**。 | - | | 目的端认证方式 | 密钥 | - 目的端访问密钥（Access Key）：华为云的访问密钥（AK）。最大长度是100个字符。 - 目的端私有访问密钥（Secret Access Key）：华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 | 目的端平台类型选择**华为云OBS**时填写。 | | 目的端认证方式 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | 目的端平台类型选择**华为云OBS/NAS_SMB**时填写。 | | 目的端认证方式 | 密钥 | - 用户名（可选）：输入具有访问源端文件系统所有文件权限的用户名，例如：administrator。 - 密码（可选）：输入用户名对应的密码。 - Windows上的域（可选）：输入对应的域名。只需输入.com之前的内容，例如：域名为test.com，则输入test。 | 目的端平台类型选择**NAS** _**SMB**时，如果Windows系统支持"匿名/来宾"模式，可选择填写；如果是"用户认证"模式，则需要填写。 | | 目的端认证方式 | 凭据 | 创建凭据时会将凭据信息保存至密码安全中心DEW并产生一定费用，计费详情请参考[计费模式概述](https://support.huaweicloud.com/price-dew/dew_03_0003.html)。 启用该功能，需要同意委托授权OMS访问KMS和CSMS。同意后会授予oms_trust_agency_to_csms自定义策略，自定义策略权限请参考[存储迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0121.html#mgc_03_0121__section68921555201216)。如果您有授权资格，则可直接授权。如果没有授权资格请参考[IAM用户委托授权权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html#mgc_03_0145__section56481853213)配置。授权成功后，进行如下操作： 单击下拉选择凭据。如未提前添加凭据，请单击"创建凭据"。 - 目的端平台类型选择**华为云OBS**时输入凭据名称、输入AK、SK。 - 目的端平台类型选择**NAS_SMB**时输入凭据名称、输入用户名、密码。 单击"**保存**"完成添加。 | 目的端平台类型选择**华为云OBS/NAS_SMB** 时填写。**NAS_SMB**时为可选参数。 说明： 创建的凭据仅在当前旅程内有效，旅程结束后，凭据将自动删除。旅程结束前请勿删除凭据。 | | 目的端区域 | - | 下拉菜单中选择目的端所在区域。 | 目的端平台类型选择**华为云OBS**时填写展示。 | | 目的端桶 | - | 下拉列表选择已创建的目的端OBS桶。如果未提前创建，请参见[目的端对象桶](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html#section1)进行创建。 说明： 桶存储类别只支持标准存储和低频访问存储。 | 目的端平台类型选择**华为云OBS**时填写展示。 | | 目的端桶类型 | - | 展示桶类型。 | 目的端平台类型选择**华为云OBS**时填写展示。 | | 目的端前缀（可选） | - | 将对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 [设置"保存到指定前缀"参数](https://support.huaweicloud.com/bestpractice-oms/oms_05_0506.html)中的功能介绍**。** | 目的端平台类型选择**华为云OBS**时填写展示。 | | 文件存储服务地址 | - | 输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面，单击**挂载地址** 后面的![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002532310004.png)图标复制获取。 | 目的端平台类型选择**NAS_SMB/NAS_NFS_V3_MOUNT**时填写。 | | 路径 | - | 输入目的端接收文件的路径，格式为：/文件夹。 | 目的端平台类型选择**NAS_SMB/NAS_NFS_V3_MOUNT**时填写。 | 4. 校验配置模块，请参考[校验任务参数说明]配置参数。 表20校验任务参数说明 | 参数 | 子参数 | 说明 | 备注 | |:---|:---|:---|:---| | 校验任务类型 | 普通校验任务 | 性能低，提供了便捷的校验配置操作，并且支持对象大小与最后修改时间、内容和元数据校验。 | - | | 校验任务类型 | 快速校验任务 | 校验性能极大提升，不支持内容和元数据校验。适用于海量小文件场景，实现增量识别迁移。 | 说明： 源端是华为云并且桶类型为非"并行文件系统桶"时，才支持这两种校验任务类型。 | | 校验任务类型 | 分组校验任务 | 在普通校验任务的基础上，性能有一定优化，不支持内容和元数据校验。 适用于海量小文件场景，实现迁移后一致性校验。 | 说明： 源端是华为云并且桶类型为非"并行文件系统桶"时，才支持这两种校验任务类型。 | | 校验方式 | 全量校验 | 校验源端桶/文件夹内的全部数据。 | 普通校验任务时配置 | | 校验方式 | 列表校验 | 在"列表路径"输入列表文件路径过滤，只校验列表文件中的对象。 | 普通校验任务时配置 | | 校验方式 | 前缀校验 | 在"前缀路径"输入对象名称或者名称前缀，只校验与输入对象名称或名称前缀一致的对象。 | 普通校验任务时配置 | | 列举方式 说明： 同时满足以下场景时适用： - 源端类型为对象存储 - 全量迁移或前缀迁移。 | 串行列举 | 源端非并行文件系统（PFS）桶的默认列举方式。 | 普通校验任务时配置 | | 列举方式 说明： 同时满足以下场景时适用： - 源端类型为对象存储 - 全量迁移或前缀迁移。 | 并行列举 | 源端并行文件系统（PFS）桶的默认列举方式，非并行文件系统（PFS）桶选择该列举形式可能会导致列举性能降低。 | 普通校验任务时配置 | | 并发子任务数 | - | 默认5，支持用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | - | | 一致性校验 | 对象大小与最后修改时间校验 | 默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。 | 普通校验任务时配置 | | 一致性校验 | 内容校验 | 通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见[一致性校验说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#mgc_03_3603__section17939184019586)。 说明： - 目前仅支持华为云、阿里云、腾讯云。 - 源端目的端OBS桶均需开启CRC64特性白名单。 | 普通校验任务时配置 | | 一致性校验 | 元数据校验 | 校验文件的元数据。 | 普通校验任务时配置 | | 过滤配置 | - | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#mgc_03_3603__section156053217566)。 | 普通校验任务时配置 | | 输入对象前缀 | - | 不填写使用全量校验。如果对象文件或文件夹在源端桶的根目录下，则直接添加前缀；如果对象文件或文件夹存在目录路径，则需要在对象前缀前添加对象文件或文件夹所在的目录路径。格式为：文件夹/对象前缀。--备注：注意'/'的使用，例如输入logs/只包含logs文件夹，而logs包含logs对象和logs文件夹。 | 快速校验任务和分组校验任务时配置 | | 前缀后开始字符 (可选) | - | 前缀后第一个开始字符，用字符进行任务分段，分段区间包含该字符，支持填写0-9，a-z，A-Z，允许为空。 | 快速校验任务时配置 | | 前缀后结束字符(可选) | - | 前缀后第一个结束字符，用字符进行任务分段，分段区间不包含该字符，支持填写0-9，a-z，A-Z，允许为空。 | 快速校验任务时配置 | | 前缀后字符分段点 (可选) | - | 前缀后字符分段点，用于通过分段点将任务拆分成多个子任务，提高校验效率，支持填写0-9，a-z，A-Z字符组合，多个值使用英文分号分隔。示例：0;01;12a;a0;aa;aB;ac;bbC;Bcd。 分段数：集群列举节点数\*5与并发子任务数取最小值，除以2并减去1。举例：集群2个列举节点，并发子任务数设置20，则建议分段数=min{2\*5, 20}/2-1=4，建议将任务分成4组 | 分组校验任务时配置 | | 黑名单 (可选) | - | 命中黑名单规则，则文件不进行迁移/一致性对比。支持精确匹配和模糊匹配。 黑名单规则和约束说明参见[过滤策略参数说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#mgc_03_3603__zh-cn_topic_0000001850814005_table57711342192619) | 快速校验任务和分组校验任务时配置 | 5. 配置完成后，在右侧配置概要区域确认配置信息无误，单击右下角"确认并创建"后，任务创建成功，并开始校验。 6. 当校验任务状态为已完成时，表示该校验任务已完成。 7. （可选）下拉箭头展开当校验任务运行状态为"失败"时，操作列支持"迁移失败文件"任务，迁移对象列表。操作详情请参考步骤二中的[阶段二：迁移实施]。 8. 迁移并校验完成单击右下角"结束旅程"。结束旅程后，无法在该旅程中再次执行任何操作。系统将自动为您生成旅程报告，在弹框确认须知及风险提示后单击"确认"。进入[生成报告](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31423.html#mgc_03_31423__section131631501907)页面，查看旅程报告。 #### 创建列举任务 列举任务是针对海量小文件场景提供的性能提升特性。列举任务不执行数据迁移或校验，仅对源端待迁移对象进行列举后，将源端列举清单放入目的端桶，再通过创建迁移任务进行迁移。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/note_3.0-zh-cn.png) - 仅支持源端平台为华为云OBS且集群类型为独享型集群时创建。 - 列举任务无法显示任务进度，请耐心等待任务执行完毕。 - 当列举任务为"暂停"、"异常"、"失败"等运行状态时不支持重试。 1. 请先完成[步骤一：创建标准存储迁移旅程任务](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31423.html#mgc_03_31423__section6391446173813)以及步骤二中的[阶段一：迁移前准备](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31423.html#mgc_03_31423__section63188368324)等配置。 2. 进入"迁移与校验 "页面，任务列表模块单击"创建列举任务"，请参考[表21]配置。 表21源端任务参数说明 | 参数名称 | 子参数 | 配置说明 | |:---|:---|:---| | 源端认证方式 | 密钥 | - 源端访问密钥（Access Key）：源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 - 源端私有访问密钥（Secret Access Key）：源端云服务提供商的私有访问密钥（SK），与AK相匹配。其他最大长度是100个字符。 | | 源端认证方式 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | | 源端桶 | - | 下拉选择源端需要迁移的桶。不支持并行文件系统桶。 | | 源端区域 | - | 展示源端桶所在区域。 | | 源端桶类型 | - | 展示桶类型。 | 3. 根据[目的端信息参数说明]配置目的端信息。 表22目的端信息参数说明 | 参数 | 子参数 | 说明 | |:---|:---|:---| | 目的端平台 | - | 默认选择华为云OBS。 | | 目的端认证方式 | 密钥 | - 目的端访问密钥（Access Key）：华为云的访问密钥（AK）。最大长度是100个字符。 - 目的端私有访问密钥（Secret Access Key）：华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 | | 目的端认证方式 | 密钥 | 开启KMS加密 - 不勾选：不启用KMS密钥来加密您的源端凭证。 - 勾选：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | | 目的端区域 | - | 下拉菜单中选择目的端所在区域。 | | 目的端桶 | - | 下拉列表选择已创建的目的端OBS桶。如果未提前创建，请参见[目的端对象桶](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html#section1)进行创建。 说明： 桶存储类别只支持标准存储和低频访问存储。 | | 目的端桶类型 | - | 展示桶类型。 | 4. 高级选择模块，请参考[高级选项参数说明]配置参数。 表23高级选项参数说明 | 参数 | 说明 | |:---|:---| | 输入对象前缀 | 不填写使用全量校验。如果对象文件或文件夹在源端桶的根目录下，则直接添加前缀；如果对象文件或文件夹存在目录路径，则需要在对象前缀前添加对象文件或文件夹所在的目录路径。格式为：文件夹/对象前缀。--备注：注意'/'的使用，例如输入logs/只包含logs文件夹，而logs包含logs对象和logs文件夹。 | | 前缀后开始字符 (可选) | 前缀后第一个开始字符，用字符进行任务分段，分段区间包含该字符，支持填写0-9，a-z，A-Z，允许为空。 | | 前缀后结束字符(可选) | 前缀后第一个结束字符，用字符进行任务分段，分段区间不包含该字符，支持填写0-9，a-z，A-Z，允许为空。 | | 黑名单 (可选) | 命中黑名单规则，则文件不进行迁移/一致性对比。支持精确匹配和模糊匹配。 黑名单规则和约束说明参见[过滤策略参数说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#mgc_03_3603__zh-cn_topic_0000001850814005_table57711342192619) | 5. 配置完成后，在右侧配置概要区域确认配置信息无误后，勾选"我已阅读并同意《服务声明》"。 6. 单击右下角"确认并创建"后，自动启动列举任务。单击右侧"刷新"按钮更新任务列表数据。 7. 当列举任务状态为已完成时，表示该列举任务已完成。 8. （可选）下拉箭头展开当列举任务运行状态为"已完成"或"已暂停"时，操作列支持创建迁移任务，迁移列举出来的对象列表。操作详情请参考步骤二中的[阶段二：迁移实施]。 9. 迁移并校验完成单击右下角"结束旅程"。结束旅程后，无法在该旅程中再次执行任何操作。系统将自动为您生成旅程报告，在弹框确认须知及风险提示后单击"确认"。进入[生成报告](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31423.html#mgc_03_31423__section131631501907)页面，查看旅程报告。