# 使用镜像回源获取源站数据 一般情况下，当客户端访问OBS时（使用GET请求获取OBS资源），如果OBS中没有被访问的数据，将会返回404错误。OBS提供数据回源功能，可以在被请求的数据不存在时，通过回源规则从源站获取对应数据。 #### 镜像回源流程 用户为桶定义镜像回源规则后，如果客户端访问OBS桶中不存在的资源，且该资源符合镜像回源规则，OBS将以镜像回源的方式去数据源站获取资源，将该资源上传到OBS中并返回给客户端。整个过程不中断业务，适用于客户源站无缝迁移数据到OBS，用户可以在无感知的情况下，低成本地迁移业务到OBS上来。镜像回源流程如[图1]所示。 图1镜像回源流程 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002635948642.png "点击放大") ![](https://support.huaweicloud.com/usermanual-obs/public_sys-resources/caution_3.0-zh-cn.png) 在镜像回源的过程中，OBS充当代理的角色，但源站的文件存储至OBS后，如果源站的文件发生变化，OBS不会自动更新对应文件。 #### 回源规则 | 规则项 | 说明 | |:---|:---| | 回源规则触发条件 | 只有当GetObject本应该返回404的情况下，OBS才会执行镜像回源，向源站请求文件。 | | 回源文件命名规则 | OBS向源站请求的URL为http(s)://MirrorURL/ObjectName，回源到OBS的文件名为ObjectName。例如某Bucket设置的回源地址为https://yun.com，某用户请求的文件example.jpg不在该Bucket中。则OBS会通过https://yun.com/example.jpg获取文件，存储到OBS的文件名为example.jpg。 | | 回源请求失败返回规则 | 如果从镜像源获取文件失败，OBS默认返回404给客户端。 | | 回源文件更新规则 | **若某个文件已经通过镜像回源存储到** **OBS，源站的源文件发生了变化，OBS** **不会更新该文件。** | | HTTP请求规则 | 传给OBS的Header信息以及QueryString信息默认不会传递给源站，是否会传递给源站取决于回源规则中的配置。 | #### 约束与限制 表1约束与限制 | 限制分类 | 说明 | |:---|:---| | **桶版本限制** | 仅桶版本号为3.0及以上的桶支持镜像回源。 | | **时间限制** | 修改镜像回源规则，需要5分钟之后才能生效。 | | **规则数量限制** | 最多创建10条镜像数据回源规则。 | | **功能限制** | - 不支持匿名用户配置镜像回源规则。 - 不支持企业联邦用户使用镜像回源功能，更多关于联邦用户的相关信息请参考[华为云账号概述](https://support.huaweicloud.com/iam_faq/iam_01_0615.html)和[身份提供商概述](https://support.huaweicloud.com/usermanual-iam/iam_08_0001.html)。 - 不支持给并行文件系统配置镜像回源规则。 - 不支持OBS静态网站，即通过OBS静态网站域名下载对象出现404，不会触发镜像回源规则。 - 不支持在镜像回源规则中指定当前OBS桶域名，即源桶与目标桶不能是同一个桶。 - 私有桶的镜像回源当前仅支持部分云厂商。 - 设置回源策略时，不支持两个桶相互配置为回源桶，即A桶配置回源桶为B桶时，不支持再配置B桶的回源桶为A桶。 - 不支持源站使用Transfer-Encoding: chunked方式传输数据，即从源站下载对象的响应中必须包含Content-Length头域来指明源对象大小，使用Transfer-Encoding: chunked方式会导致回源失败。 此种场景在数据回源中的配置方式为：创建/编辑数据回源规则 \> HTTP header传递规则 \> 允许传递所有参数 \> 打开"禁止传递指定参数"开关 \> 输入"Accept-Encoding"。 - 如果同时配置了CDN加速域名和镜像回源规则，且CDN侧开启了Range回源，则需要源站至少返回Etag和Last-Modified两个Header的其中一个，否则可能会导致请求中断。 - 如果回源源站中使用Nginx反向代理源站，请关闭Nginx的chunked_transfer_encoding配置项： ``` location / { chunked_transfer_encoding off; } ``` | | **权限限制** | - 需要使用IAM的角色与策略授权功能，增加Tenant Administrator权限后才能设置、获取和删除镜像回源规则。 - 镜像回源需使用IAM的角色与策略授权功能，创建云服务委托，委托OBS获取源站数据。委托需要给OBS服务授予obs:object:PutObject、obs:object:GetObject、obs:bucket:ListBucket、obs:object:AbortMultipartUpload权限。 - 如果桶开启了SSE-KMS服务端加密功能，对OBS的云服务委托中还需要使用IAM的角色与策略授权功能，配置kms:cmk:get、kms:cmk:list、kms:cmk:create、kms:dek:create、kms:dek:encrypt、kms:dek:decrypt权限。 | | **其他限制** | - 镜像回源暂时不收费。 - 不允许多条镜像回源规则配置的文件名前缀存在相互包含或重叠的关系，即对同一个对象的请求不能同时匹配两条镜像回源规则。 - 针对镜像回源配置未遵循[RFC Range Requests标准](https://www.rfc-editor.org/rfc/rfc7233)的源站，客户在使用分段（Range）回源时，HTTP请求需携带Range头域并检查Range头域取值的有效性。 Range头域指定回源获取的内容范围，取值不能超过文件大小。例如，对大小为1024字节的对象做分段回源，可以指定回源前512字节（Range值为0\~511），Range值有效。指定回源2048个字节（Range值为0\~2048），超过对象大小，Range值无效，回源失败。 | #### 注意事项 - 若某个文件已经通过镜像回源存储到OBS，源站的源文件发生了变化，OBS不会同步更新该文件。可通过以下方式间接实现OBS中的文件和源站文件同步： - **手动删除回源文件：**通过控制台或API等方式手动删除回源存储至桶中的文件，便于下次再触发回源规则，从源站获取最新数据。 - **通过生命周期规则定期删除回源文件：**为回源文件配置生命周期规则，使其在指定时间后自动过期删除，便于下次再触发回源规则，从源站获取最新数据。 - **将源站文件名称按照版本命名：**源站文件有更新时，使用版本名称或时间戳作区分（如：testv1.txt或test20260617181156.txt），便于快速识别更新的文件。 - 在使用镜像回源做数据迁移时，需要确保源站有足够的带宽来应对回源请求，建议选择业务并发量较小时间段做数据迁移并实时对源站进行负载监控。 - 回源过程中，会不断从源站获取数据存储至桶中，将会产生存储费用，建议设置费用预警，避免产生过高的存储费用。 - 如果回源地址使用HTTPS协议，请确保源站配置的证书为受信任证书且未过期。 #### 创建镜像回源规则 OBS支持通过[管理控制台](https://console.huaweicloud.com/console/?locale=zh-cn#/obs/manager/buckets)、API、obsutil方式创建镜像回源规则，不支持通过SDK、OBS Browser+方式创建镜像回源规则。 #### 使用OBS控制台 1. 在OBS[管理控制台](https://console.huaweicloud.com/console/?locale=zh-cn#/obs/manager/buckets)左侧导航栏选择"桶列表"。 2. 在桶列表中，单击待操作的桶，进入"对象"页面。 3. 在左侧导航栏选中"数据管理\>数据回源"，进入"数据回源"页面。 4. 单击"创建"。 5. 配置"**回源条件** "。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002636108554.png) 表2"回源条件"参数说明 | 参数 | 说明 | |:---|:---| | HTTP状态码 | 当回源失败时，OBS返回404给客户端。 | | 文件名前缀 | 指定需要进行回源的文件，并通过输入的文件名前缀进行匹配。如果您需要指定回源规则对指定前缀的文件匹配生效时，可以设置该参数。 文件名前缀输入规则： - 不能超过1023个字符。 - 不能与已有回源规则配置的文件名前缀存在相互包含或重叠的关系。 - 如果不输入，则表示配置到尚未匹配桶内任何回源规则的文件。仅能配置一条文件名前缀为空的回源规则。 示例：配置file/test，表示访问桶中前缀为file/test的文件不存在时会触发回源规则。 | 6. 配置"**回源地址** "。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002666227745.png "点击放大") 表3"回源地址"参数说明 | 参数 | 说明 | |:---|:---| | 前后缀设置 | OBS向源站请求数据时，是否在客户端请求的对象名前后增加前后缀。 - **不设置：**OBS将以客户端请求的对象名向源站请求数据。 - **添加前后缀：** OBS向源站请求数据时，在客户端请求的对象名前后增加前后缀。**最终返回给OBS与客户端的对象名与此前后缀无关，仍保持客户端请求的对象名。** 选择该参数后，还需要设置前缀或后缀，也可以两个同时设置。前缀和后缀的输入规则如下： - 不能包括\\:\*?"\<\>\|等特殊字符。 - 不能两个/相邻。 示例：客户端请求abc.txt时触发回源规则，如果添加前缀为123，则OBS向源端请求的对象名变为123abc.txt，该对象下载到OBS中仍以abc.txt名称保存并返回给客户端。 - **替换前缀：** OBS向源站请求数据时，替换回源条件中的文件名前缀。**最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。** 示例：回源条件配置文件名前缀为123，替换前缀配置为abc，客户端请求123456.txt时触发回源规则，OBS向源端请求的对象名变为abc456.txt，该对象下载到OBS中仍以123456.txt名称保存并返回给客户端。 | | 源站类型 | 设置回源地址（源站）的类型。 - 公有类型：源站数据来源于公有对象存储，可以直接通过公网域名访问的数据。 - 私有类型：源站数据来源于部分云厂商的私有对象存储。 | | 主站 | 设置回源地址（源站地址）的主站。 回源时会优先使用主站地址，如果同时配置多个主站，会轮询访问所有主站。如果配置2个及以上主站，第一次请求主站失败，并且满足重试条件时，会选用另一个主站重试一次；主站全部回源失败时，会使用备站地址进行重试。 - 主站配置约束限制如下： - **需要至少配置一个主站。** - **最多同时配置5个主站。** - **设置回源策略时，不支持两个桶相互配置为回源桶，即A桶配置回源桶为B桶时，不支持再配置B桶的回源桶为A桶。** - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：** 源站的域名或IP。支持填写源站IP，但仅支持公网IP。 - 如果源端为HTTP公共可访问的桶，则此地址为桶域名地址。 - 如果源端为其他云厂商的私有桶，则此地址为区域域名地址。当前仅支持部分云厂商的私有桶。 如果源端为华为云OBS公共桶或私有桶，关于桶域名地址和区域域名地址查询，请参见[OBS访问规则](https://support.huaweicloud.com/usermanual-obs/obs_41_0003.html#ZH-CN_TOPIC_0000001946494161)。 其他云厂商的公共桶或私有桶的域名地址和区域域名地址查询，请参见云厂商相关文档。 - **静态路径：**为目标文件所在的目录信息。例如：静态路径配置123/，表示目标文件在123/目录下。 | | 备站 | 设置回源地址（源站地址）的备站。 回源时会优先使用主站地址，如果同时配置多个主站，会轮询访问所有主站。如果配置2个及以上主站，第一次请求主站失败，并且满足重试条件时，会选用另一个主站重试一次；主站全部回源失败时，会使用备站地址进行重试。 - 备站配置约束限制如下： - **最多同时配置5个备站。** - **设置回源策略时，不支持两个桶相互配置为回源桶，即A桶配置回源桶为B桶时，不支持再配置B桶的回源桶为A桶。** - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：** 源站的域名或IP。支持填写源站IP，但仅支持公网IP。 - 如果源端为HTTP公共可访问的桶，则此地址为桶域名地址。 - 如果源端为其他云厂商的私有桶，则此地址为区域域名地址。当前仅支持部分云厂商的私有桶。 如果源端为华为云OBS公共桶或私有桶，关于桶域名地址和区域域名地址查询，请参见[OBS访问规则](https://support.huaweicloud.com/usermanual-obs/obs_41_0003.html#ZH-CN_TOPIC_0000001946494161)。 其他云厂商的公共桶或私有桶的域名地址和区域域名地址查询，请参见云厂商相关文档。 - **静态路径：**为目标文件所在的目录信息。例如：静态路径配置123/，表示目标文件在123/目录下。 | | 源桶服务商 | 源站地址来源的对象存储服务商。当源站类型选择"私有类型"时，主站和备站均需要选择源桶服务商。 - **源桶服务商：**桶所属的服务商，目前支持选择阿里、字节跳动、华为云。 - **源桶名：**私有桶作为源站时的桶名称。 - **AK：**作为源站的桶所属账号的AK。 - **SK：**作为源站的桶所属账号的SK。 如果源端为华为云OBS桶，关于AK和SK的获取，请参见[获取访问密钥（AK/SK）](https://support.huaweicloud.com/api-obs/obs_04_0116.html)。 其他云厂商的公共桶或私有桶的域名地址和区域域名地址查询，请参见云厂商相关文档。 | 7. 配置"**回源设置** "。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002636108558.png "点击放大") 表4"回源设置"参数说明 | 参数 | 说明 | |:---|:---| | 重试条件 | 选择回源地址重试的条件。设置源站返回指定的状态码，则重新请求源站地址。 **支持配置4开头和5开头的状态码，最多支持同时配置20个错误码。** **4XX和4开头的具体状态码不能同时配置，5XX和5开头的具体状态码不能同时配置。** | | 携带请求字符串 | 勾选后，会将请求URL中查询参数传递到源站。 | | 重定向请求响应策略 | 勾选后，如果源站配置了重定向，会跟踪源站的3xx重定向请求，前往重定向的目标获取资源，并将该资源保存到OBS上。最多跟随10次重定向。 | 8. **设置HTTP header传递规则** 。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002666227749.png "点击放大") 表5"**HTTP header传递规则** "参数说明 | 参数 | 说明 | |:---|:---| | HTTP header传递规则 | 可以通过设置HTTP header传递规则，规定客户端发送给OBS的请求经过镜像回源由OBS传递给源站时，允许传递的HTTP header参数。[从源站获取数据并透传客户端指定参数至源站]中提供了一个配置示例供参考。 - **允许传递所有参数/允许传递指定参数**：设置允许传递的HTTP header参数。 - **禁止传递指定参数**：设置禁止传递的HTTP header参数。当客户端请求携带此header时，OBS不会传递给源站。当禁止和允许规则冲突时，禁止规则优先。 - **设置自定义参数**：给指定header设置自定义取值，如果客户端请求携带此header，OBS在传递给源站时会将header取值修改为自定义的取值。 | **镜像回源过程中透传HTTP header情况：** - 从源站透传到客户端仅支持以下HTTP header：Content-Type、Content-Language、Content-Encoding、Content-Disposition、Cache-Control、Expires - 从客户端透传到源站不支持以下HTTP header： - 以下前缀开头的HTTP header：x-obs- - 所有标准HTTP header，例如：Content-Length、Authorization、Range、Date - **其他配置** 。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002636108560.png) 表6"其他配置"参数说明 | 参数 | 说明 | |:---|:---| | IAM委托 | 镜像回源需使用IAM委托功能，委托OBS获取源站数据并将获取的数据存储至OBS。 委托需要给OBS服务授予**obs:object:PutObject** 、**obs:object:GetObject** 、**obs:bucket:ListBucket** 、**obs:object:AbortMultipartUpload**权限。 如果无合适的IAM委托，请单击"查看委托"，进入IAM的委托页面创建一个新的委托，详情请参见[创建用于数据回源的委托](https://support.huaweicloud.com/usermanual-obs/obs_03_0006.html#ZH-CN_TOPIC_0000001858185970__zh-cn_topic_0000001874795321_section1945623414330)。 | | HTTP状态码4XX时透传错误 | 如果源站返回的状态码是4XX，则OBS会透传源站的头域和错误信息至客户端。 | | 重定向时不携带Referer | 开启后，如果源站配置了重定向，处理源站重定向时会去掉请求中的Referer头域。 | | 关闭主动健康探测 | 是否主动健康探测，默认需要主动健康探测，勾选该选项表示不主动健康探测。 OBS会定期向源站发送健康探测请求，根据响应判断服务是否健康。 | 9. 单击"确定"。创建完成后，您可以在数据回源页面列表中看到新创建的规则。 #### 使用API [设置镜像回源规则](https://support.huaweicloud.com/api-obs/obs_04_0119.html) #### 使用命令行工具obsutil **命令结构** - Windows操作系统 ``` obsutil mirror-back-to-source obs://bucket -method=put -localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] ``` - macOS/Linux操作系统 ``` ./obsutil mirror-back-to-source obs://bucket -method=put -localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] ``` **运行示例** - 以Windows操作系统为例，运行**obsutil mirror-back-to-source obs://test-bucket -method=put -localfile=d:\\temp\\mirror.json** ，指定基于mirror.json文件为桶test-bucket设置桶的镜像回源规则。 ``` obsutil mirror-back-to-source obs://test-bucket -method=put -localfile=d:\temp\mirror.json Start at 2024-09-30 07:59:28.8675681 +0000 UTC Put mirrorBackToSource rule succeed for bucket [test-bucket], requestId is [000001997666389E4016EA797FAC6033] ``` **参数说明** | **参数** | **约束** | **描述** | |:---|:---|:---| | bucket | 必选 | 桶名。 | | method | 必选 | 指定方法，设置镜像回源规则时该值为put。 | | localfile | 必选 | 指定镜像回源规则配置文件。 | | config | 附加参数，可选 | 运行当前命令时的自定义配置文件。可支持的配置参数请参考[配置参数说明](https://support.huaweicloud.com/utiltg-obs/obs_11_0035.html)。 | | e | 附加参数，可选 | 指定终端节点。 | | i | 附加参数，可选 | 指定用户的AK。 | | k | 附加参数，可选 | 指定用户的SK。 | | t | 附加参数，可选 | 指定用户的securitytoken。 | #### 复制镜像回源规则 OBS支持通过[管理控制台](https://console.huaweicloud.com/console/?locale=zh-cn#/obs/manager/buckets)方式复制镜像回源规则，不支持通过API、SDK、OBS Browser+、obsutil方式复制镜像回源规则。 1. 在OBS[管理控制台](https://console.huaweicloud.com/console/?locale=zh-cn#/obs/manager/buckets)左侧导航栏选择"桶列表"。 2. 在桶列表中，单击待操作的桶，进入"对象"页面。 3. 在左侧导航栏选中"数据管理 \> 数据回源"，进入"数据回源"页面。 4. 单击"复制"。 5. 选择复制源，即数据回源规则所在的源桶。 图2复制数据回源规则 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000001919698242.png "点击放大") - 从源桶复制数据回源规则的操作为增量复制，不会删除当前桶已存在的数据回源规则，与已存在的数据回源规则冲突的规则不会复制。 - 源桶和目标桶的桶版本号都必须是3.0。查询桶版本号，请参见[OBS 2.0和OBS 3.0的判断方法](https://support.huaweicloud.com/usermanual-obs/obs_41_0003.html#ZH-CN_TOPIC_0000001946494161__zh-cn_topic_0000001875345461_zh-cn_topic_0176132495_section105141866239)。 - 复制时支持修改回源地址，回源地址配置说明请参见本章节"创建镜像回源规则"部分的"[表3]"。 - 您可以按需移除不需要复制的数据回源规则。 - 单桶数据回源规则上限为5条，如果已有规则+复制规则的数量超过上限，将会复制失败，请先删除多余规则再进行复制。 6. 单击"确定"，将源桶的数据回源规则复制到当前桶。 #### 镜像回源配置示例 #### 从指定网站获取OBS缺失的文件 本示例演示访问**华北-北京四** **桶test-bucket** 中的**test-file/** **test.txt** 文件时，自动从源站**https://testexample.com/**获取文件。 **步骤一：在桶test-bucket配置回源规则** 1. 在左侧导航栏选中"数据管理\>数据回源"，进入"数据回源"页面。 2. 单击"创建"。 3. 配置以下参数，其他参数保持默认。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002666323823.png "点击放大") 表7参数说明 | 参数 | 示例 | 说明 | |:---|:---|:---| | 文件名前缀 | **test-file** **/** | 指定需要进行回源的文件前缀。 此处配置**test-file** **/** ，表示访问桶中**test-file**文件夹下的文件不存在时会触发回源规则。 | | 主站 | 协议：**https** 回源域名：**testexample.com** 静态路径：**置空** | 设置回源地址（源站地址）的主站。 - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：**源站的域名。 - **静态路径：**为目标文件所在源站的目录信息。例如：静态路径配置123/，表示目标文件在源站的123/目录下。 | 4. 单击"确定"。 **步骤二：验证规则** 1. 访问**https://test-bucket.obs.cn-north-4.myhuaweicloud.com/** **test-file** **/** **test.txt。** 2. 如果桶**test-bucket** 中不存在**test-file** **/** **test.txt** 文件，则OBS会向源站**https://testexample.com/test-file** **/** **test.txt**发请求获取文件。 3. 源站返回目标文件给OBS后，OBS将**test.txt** 文件保存至桶**test-bucket** 中**test-file**文件夹下，并将目标文件返回给请求方。 #### 回源时替换请求的文件前缀 在某些业务场景下，OBS桶中的文件路径和源站中的文件路径不同，为保证回源返回文件的准确性，需要通过在回源规则中配置替换前缀，来实现文件在桶中存放路径和源站中存放路径的映射。 本示例演示访问**华北-北京四** **桶test-bucket** 中的**test-file/** **test.txt** 文件时，自动从源站**https://testexample.com/** 中的**file**目录下获取文件。 **步骤一：在桶test-bucket配置回源规则** 1. 在左侧导航栏选中"数据管理\>数据回源"，进入"数据回源"页面。 2. 单击"创建"。 3. 配置以下参数，其他参数保持默认。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002666323825.png "点击放大") 表8参数说明 | 参数 | 示例 | 说明 | |:---|:---|:---| | 文件名前缀 | **test-file** **/** | 指定需要进行回源的文件前缀。 此处配置**test-file** **/** ，表示访问桶中**test-file**文件夹下的文件不存在时会触发回源规则。 | | 前后缀设置 | 前后缀设置：**替换前缀** 替换前缀名：**file** **/** | OBS向源站请求数据时，是否在客户端请求的对象名前后增加前后缀。 **替换前缀：** OBS向源站请求数据时，替换回源条件中的文件名前缀。**最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。** 示例：回源条件配置文件名前缀为**test-file** **/** ，替换前缀配置为**file** **/** ，客户端请求**test-file** **/** **test.txt** 时触发回源规则，OBS向源端请求的对象名变为**file** **/** **test.txt** ，该对象下载到OBS中仍以**test-file** **/** **test.txt**名称保存并返回给客户端。 | | 主站 | 协议：**https** 回源域名：**testexample.com** 静态路径：**置空** | 设置回源地址（源站地址）的主站。 - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：**源站的域名。 - **静态路径：**为目标文件所在源站的目录信息。例如：静态路径配置123/，表示目标文件在源站的123/目录下。 | 4. 单击"确定"。 **步骤二：验证规则** 1. 访问**https://test-bucket.obs.cn-north-4.myhuaweicloud.com/** **test-file** **/** **test.txt。** 2. 如果桶**test-bucket** 中不存在**test-file** **/** **test.txt** 文件，则OBS会向源站**https://testexample.com/file** **/** **test.txt**发请求获取文件。 3. 源站返回目标文件给OBS后，OBS将**test.txt** 文件保存至桶**test-bucket** 中**test-file**文件夹下，并将目标文件返回给请求方。 #### 根据请求文件目录的不同回源至不同源站 在某些涉及多业务场景下，OBS需要访问不同的源站获取对应资源，同时要求对获取到的业务资源做整合分类，方便后续做业务迁移。 例如：源站A**https://testexample01.com/** 用于存放文本文件，源站B**https://testexample02.com/**用于存放图片文件。 需要实现： - 当客户端访问**华北-北京四** **桶test-bucket** 中的**test-txt** **/** **test.txt** 文件不存在时，则从**源站A** 的**txt/**路径下获取文本文件。 - 当客户端访问**华北-北京四** **桶test-bucket** 中的**test-image** **/** **myimage.jpg** 文件不存在时，则从**源站B** 的**image** **/**路径下获取图片文件。 以下为需要配置的回源规则内容： **步骤一：在桶test-bucket配置回源规则** 需要在桶**test-bucket**中配置两条回源规则，一条规则的源站配置为源站A，另一条规则的源站配置为源站B。 1. 在左侧导航栏选中"数据管理\>数据回源"，进入"数据回源"页面。 2. 单击"创建"。 3. 配置以下参数，其他参数保持默认。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002666323827.png "点击放大") 表9参数说明 | 参数 | 示例 | 说明 | |:---|:---|:---| | 文件名前缀 | **test-txt** **/** | 指定需要进行回源的文件前缀。 此处配置**test-txt** **/** ，表示访问桶中**test-txt**文件夹下的文件不存在时会触发回源规则。 | | 前后缀设置 | 前后缀设置：**替换前缀** 替换前缀名：**txt** **/** | OBS向源站请求数据时，是否在客户端请求的对象名前后增加前后缀。 **替换前缀：** OBS向源站请求数据时，替换回源条件中的文件名前缀。**最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。** 示例：回源条件配置文件名前缀为**test-txt** **/** ，替换前缀配置为**txt** **/** ，客户端请求**test-txt** **/** **test.txt** 时触发回源规则，OBS向源端请求的对象名变为**txt** **/** **test.txt** ，该对象下载到OBS中仍以**test-txt** **/** **test.txt**名称保存并返回给客户端。 | | 主站 | 协议：**https** 回源域名：**testexample01.com** 静态路径：**置空** | 设置回源地址（源站地址）的主站。 - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：**源站的域名。 - **静态路径：**为目标文件所在源站的目录信息。例如：静态路径配置123/，表示目标文件在源站的123/目录下。 | 4. 单击"确定"。 5. 重复[1]\~[4]执行，配置第二条回源规则。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002636164708.png "点击放大") 表10参数说明 | 参数 | 示例 | 说明 | |:---|:---|:---| | 文件名前缀 | **test-image** **/** | 指定需要进行回源的文件前缀。 此处配置**test-image** **/** ，表示访问桶中**test-image**文件夹下的文件不存在时会触发回源规则。 | | 前后缀设置 | 前后缀设置：**替换前缀** 替换前缀名：**image** **/** | OBS向源站请求数据时，是否在客户端请求的对象名前后增加前后缀。 **替换前缀：** OBS向源站请求数据时，替换回源条件中的文件名前缀。**最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。** 示例：回源条件配置文件名前缀为**test-image** **/** ，替换前缀配置为**image** **/** ，客户端请求**test-image** **/** **myimage.jpg** 时触发回源规则，OBS向源端请求的对象名变为**image** **/** **myimage.jpg** ，该对象下载到OBS中仍以**test-image** **/** **myimage.jpg**名称保存并返回给客户端。 | | 主站 | 协议：**https** 回源域名：**testexample02.com** 静态路径：**置空** | 设置回源地址（源站地址）的主站。 - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：**源站的域名。 - **静态路径：**为目标文件所在源站的目录信息。例如：静态路径配置123/，表示目标文件在源站的123/目录下。 | **步骤二：验证规则** 1. 访问文本文件**https://test-bucket.obs.cn-north-4.myhuaweicloud.com/** **test-txt** **/** **test.txt。** 1. 如果桶**test-bucket** 中不存在**test-txt** **/** **test.txt** 文件，则OBS会向源站**https://testexample01.com/txt** **/** **test.txt**发请求获取文件。 2. 源站返回目标文件给OBS后，OBS将**test.txt** 文件保存至桶**test-bucket** 中**test-txt**文件夹下，并将目标文件返回给请求方。 2. 访问图片文件**https://test-bucket.obs.cn-north-4.myhuaweicloud.com/** **test-image** **/** **myimage.jpg。** 1. 如果桶**test-bucket** 中不存在**test-image** **/** **myimage.jpg** 文件，则OBS会向源站**https://testexample02.com/** **image** **/** **myimage.jpg**发请求获取文件。 2. 源站返回目标文件给OBS后，OBS将**myimage.jpg** 文件保存至桶**test-bucket** 中**test-image**文件夹下，并将目标文件返回给请求方。 #### 从源站获取数据并透传客户端指定参数至源站 需要实现： 1. 当客户端访问**华北-北京四** **桶test-bucket** 中的**test-file** **/** **test.txt** 文件不存在时，则从源站**https://testexample.com/** 的**file/**路径下获取文件。 2. **允许** 将客户端请求URL中携带的**header1、header2、header3**三个HTTP header传递到源站。 3. **禁止** 将客户端请求URL中携带的**header4** 、**header5**两个HTTP header传递到源站。 以下为需要配置的回源规则内容： **步骤一：在桶test-bucket配置回源规则** 1. 在左侧导航栏选中"数据管理\>数据回源"，进入"数据回源"页面。 2. 单击"创建"。 3. 配置以下参数，其他参数保持默认。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002636164714.png "点击放大") ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002636004820.png "点击放大") 表11参数说明 | 参数 | 示例 | 说明 | |:---|:---|:---| | 文件名前缀 | **test-file** **/** | 指定需要进行回源的文件前缀。 此处配置**test-file** **/** ，表示访问桶中**test-file**文件夹下的文件不存在时会触发回源规则。 | | 前后缀设置 | 前后缀设置：**替换前缀** 替换前缀名：**file** **/** | OBS向源站请求数据时，是否在客户端请求的对象名前后增加前后缀。 **替换前缀：** OBS向源站请求数据时，替换回源条件中的文件名前缀。**最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。** 示例：回源条件配置文件名前缀为**test-file** **/** ，替换前缀配置为**file** **/** ，客户端请求**test-file** **/** **test.txt** 时触发回源规则，OBS向源端请求的对象名变为**file** **/** **test.txt** ，该对象下载到OBS中仍以**test-file** **/** **test.txt**名称保存并返回给客户端。 | | 主站 | 协议：**https** 回源域名：**testexample.com** 静态路径：**置空** | 设置回源地址（源站地址）的主站。 - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：**源站的域名。 - **静态路径：**为目标文件所在源站的目录信息。例如：静态路径配置123/，表示目标文件在源站的123/目录下。 | | HTTP header传递规则 | 允许传递指定参数：**header1** **header2** **header3** 禁止传递指定参数： **header4** **header5** | 可以通过设置HTTP header传递规则，规定客户端发送给OBS的请求经过镜像回源由OBS传递给源站时，允许传递的HTTP header参数。 - **允许传递指定参数**：设置允许传递的HTTP header参数。 - **禁止传递指定参数**：设置禁止传递的HTTP header参数。当客户端请求携带此header时，OBS不会传递给源站。当禁止和允许规则冲突时，禁止规则优先。 | 4. 单击"确定"。 **步骤二：验证规则** 1. 访问**https://test-bucket.obs.cn-north-4.myhuaweicloud.com/** **test-file** **/** **test.txt。** 请求的header部分如下所示： ``` GET /ObjectName HTTP/1.1 Host: test-bucket.obs.cn-north-4.myhuaweicloud.com header1:aaa header2:bbb header3:ccc header4:ddd header5:eee ``` 2. 如果桶**test-bucket** 中不存在**test-file** **/** **test.txt** 文件，则OBS会向源站**https://testexample.com/file** **/** **test.txt** 发请求获取文件。 根据回源规则中配置的HTTP header传递规则，OBS向源站发送请求的header部分如下所示： ``` GET /ObjectName HTTP/1.1 Host: source.com header1:aaa header2:bbb header3:ccc ``` 3. 源站返回目标文件给OBS后，OBS将**test.txt** 文件保存至桶**test-bucket** 中**test-file**文件夹下，并将目标文件返回给请求方。 #### 源站轮询后根据重定向地址获取文件 需要实现： 1. 当客户端访问**华北-北京四** **桶test-bucket** 中的**test-file** **/** **test.txt** 文件不存在时，则从**源站A** **https://testexample01.com/** 的**file/**路径下获取文件。 2. 如果源站A的file/路径下没有对应文件，则去**源站B** **https://testexample02.com/** 的**file/**路径下获取文件。 3. 如果从源站B也没有获取到文件，则根据源站A和源站B是否设置重定向策略，向重定向地址请求文件。 以下为需要配置的回源规则内容： **步骤一：在桶test-bucket配置回源规则** 1. 在左侧导航栏选中"数据管理\>数据回源"，进入"数据回源"页面。 2. 单击"创建"。 3. 配置以下参数，其他参数保持默认。 ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002666323845.png "点击放大") ![](https://support.huaweicloud.com/usermanual-obs/figure/zh-cn_image_0000002666443931.png "点击放大") 表12参数说明 | 参数 | 示例 | 说明 | |:---|:---|:---| | 文件名前缀 | **test-file** **/** | 指定需要进行回源的文件前缀。 此处配置**test-file** **/** ，表示访问桶中**test-file**文件夹下的文件不存在时会触发回源规则。 | | 前后缀设置 | 前后缀设置：**替换前缀** 替换前缀名：**file** **/** | OBS向源站请求数据时，是否在客户端请求的对象名前后增加前后缀。 **替换前缀：** OBS向源站请求数据时，替换回源条件中的文件名前缀。**最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。** 示例：回源条件配置文件名前缀为**test-file** **/** ，替换前缀配置为**file** **/** ，客户端请求**test-file** **/** **test.txt** 时触发回源规则，OBS向源端请求的对象名变为**file** **/** **test.txt** ，该对象下载到OBS中仍以**test-file** **/** **test.txt**名称保存并返回给客户端。 | | 主站 | - 主站1： - 协议：**https** - 回源域名：**testexample01.com** - 静态路径：**置空** - 主站2： - 协议：**https** - 回源域名：**testexample02.com** - 静态路径：**置空** | 设置回源地址（源站地址）的主站。 - 配置格式：**http://回源域名/静态路径** 或 **https://回源域名/静态路径** - **协议：**支持选择http或https。 - **回源域名：**源站的域名。 - **静态路径：**为目标文件所在源站的目录信息。例如：静态路径配置123/，表示目标文件在源站的123/目录下。 | | 重定向请求响应策略 | 开启 | 开启后，如果源站配置了重定向，会跟踪源站的3xx重定向请求，前往重定向的目标获取资源，并将该资源保存到OBS上。最多跟随10次重定向。 | 4. 单击"确定"。 **步骤二：验证规则** 1. 访问**https://test-bucket.obs.cn-north-4.myhuaweicloud.com/** **test-file** **/** **test.txt。** 2. 如果桶**test-bucket** 中不存在**test-file** **/** **test.txt** 文件，则OBS会向源站A **https://testexample.com01/file** **/** **test.txt** 发请求获取文件。 - 如果源站A不存在**test.txt** 文件返回404，则OBS会向源站B **https://testexample.com02/file** **/** **test.txt**发请求获取文件。 - 如果源站A或源站B返回3xx，则OBS会向源站重定向规则指定的地址重新发起请求，获取到文件后会将文件命名为**test-file** **/** **test.txt** 保存至桶**test-bucket**中，并返回给客户端。 #### 相关文档 #### 创建用于数据回源的委托 1. 在OBS[管理控制台](https://console.huaweicloud.com/console/?locale=zh-cn#/obs/manager/buckets)"创建数据回源规则"对话框，单击"查看委托"，进入"统一身份认证服务"控制台"委托"页面。 2. 单击"创建委托"，在"创建委托"页面，设置用于数据回源委托相关的参数，其他参数保持默认。 表13参数说明 | 参数名称 | 说明 | |:---|:---| | 委托名称 | 创建的委托名称。 委托名称不能为空。 | | 委托类型 | 选择将账号内资源的操作权限委托给其他账号或云服务。 **创建用于数据回源的委托，此处选择"云服务"。** | | 云服务 | 选择将账号内资源的操作权限委托给某个云服务。当"委托类型"选择"云服务"时，需配置该参数。 **创建用于数据回源的委托，此处选择"对象存储服务 OBS"。** | 3. 单击"完成"，并在"创建成功"弹窗单击"暂不授权"。在委托列表页面可以看到新创建的委托，即表示委托创建成功。 4. 创建自定义策略，用来给委托授予OBS相关权限。如果已有符合的策略，请跳过该步骤。 1. 在[IAM控制台](https://console.huaweicloud.com/iam/?locale=zh-cn#/iam/users)左侧导航栏选择"权限管理 \> 权限"。 2. 在权限页面右上角单击"创建自定义策略"。 3. 在创建自定义策略页面，按照如下设置参数内容，其他参数保持默认。 - 策略名称：根据需要设置简单易于记忆的名称。 - 云服务：选择"对象存储服务（OBS）"。 - 操作：请选择下表中的操作。 表14委托需要的OBS权限 | 操作 | 描述 | |:---|:---| | obs:object:GetObject | 获取对象内容、获取对象元数据。 | | obs:object:PutObject | PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段、修改写对象、截断对象、重命名对象。 | | obs:object:AbortMultipartUpload | 取消多段上传任务。 | | obs:bucket:ListBucket | 列举桶内对象。 | - 资源：选择"所有资源"。 4. 单击"确定"，在权限列表页面可以看到新创建的自定义策略，即表示创建成功。 5. 给创建的委托授予OBS相关权限。 1. 在"统一身份认证服务 IAM"控制台左侧导航栏选择"委托"。 2. 单击[2]创建的委托操作列的"授权"。 3. 在"选择策略"页面，选择[4]创建的自定义策略，单击"下一步"。 4. 在"设置最小权限范围"页面选择"全局服务资源"，单击"确定"。 5. 在"权限生效时间提醒"弹窗，单击"知道了"。 6. 在"完成"页面，单击"完成"。 #### 常见问题 - [为什么镜像回源文件和源站文件的大小不一致？](https://support.huaweicloud.com/obs_faq/obs_faq_121901.html) - [回源失败应该如何排查？](https://support.huaweicloud.com/obs_faq/obs_faq_121902.html) - [为什么在桶中没有找到回源文件？](https://support.huaweicloud.com/obs_faq/obs_faq_121903.html) - [为什么源站文件更新了而OBS桶中的文件未更新？](https://support.huaweicloud.com/obs_faq/obs_faq_121904.html) - [可以使用镜像回源至内网服务或内网IP吗？](https://support.huaweicloud.com/obs_faq/obs_faq_121905.html)