使用镜像回源获取源站数据

1. 在OBS管理控制台左侧导航栏选择“对象存储”。
2. 在桶列表中，单击待操作的桶，进入“对象”页面。
3. 在左侧导航栏选中“数据回源”，进入“数据回源”页面。
4. 单击“创建”。
   图4 创建镜像回源规则
   

5. 配置镜像回源规则参数，参数说明如表2。

   表2 镜像回源规则参数说明

   参数	说明
   资源类型	设置回源地址（源站）的类型。 公有类型：源站数据来源于公有对象存储。 私有类型：源站数据来源于部分云厂商的私有对象存储。
   回源条件	设置回源规则的触发条件。 回源条件由HTTP状态码和文件名前缀共同确定，表示访问桶中符合文件名前缀要求的对象时，如果对象不存在（返回404错误），则满足回源条件。 文件名前缀输入规则： 不能超过1023个字符。 不能与已有回源规则配置的文件名前缀存在相互包含或重叠的关系。 如果不输入，则表示配置到尚未匹配桶内任何回源规则的文件。仅能配置一条文件名前缀为空的回源规则。 示例：配置123/前缀，访问桶中123/456.txt文件时会触发回源规则。
   添加前后缀	OBS向源站请求数据时，在客户端请求的对象名前后增加前后缀。最终返回给OBS与客户端的对象名与此前后缀无关，仍保持客户端请求的对象名。 示例：客户端请求abc.txt时触发回源规则，如果添加前缀为123，则OBS向源端请求的对象名变为123abc.txt，该对象下载到OBS中仍以abc.txt名称保存并返回给客户端。
   替换前缀	OBS向源站请求数据时，替换回源条件中的文件名前缀。最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。 示例：回源条件配置文件前缀为123，替换前缀配置为abc，客户端请求123456.txt时触发回源规则，OBS向源端请求的对象名变为abc456.txt，该对象下载到OBS中仍以123456.txt名称保存并返回给客户端。
   回源地址	设置回源地址（源站地址），支持配置主站和备站。 回源时会优先使用主站地址，如果同时配置多个主站，会轮询访问所有主站。如果配置2个及以上主站，第一次请求主站失败，并且满足重试条件时，会选用另一个主站重试一次。至少配置一个主站，最多同时配置5个主站。主站全部回源失败时，会使用备站地址进行重试。 格式：http或https://回源域名/静态路径 回源域名为源站的域名。 如果源端为HTTP公共可访问的桶，则此地址为桶域名地址。 如果源端为其他云厂商的私有桶，则此地址为区域域名地址。当前仅支持部分云厂商的私有桶。 静态路径为目标文件所在的目录信息，例如静态路径配置123/，表示目标文件在123/目录下。 回源地址支持填写源站IP，但仅支持公网IP。
   重试条件	选择回源地址重试的条件。 4XX和4开头的具体错误码不能同时配置，5XX和5开头的具体错误码不能同时配置。最多支持同时配置20个错误码。
   携带请求字符串	开启后，会将请求URL中查询参数传递到源站。
   重定向请求响应策略	开启后，如果源站配置了重定向，会跟踪源站的3xx重定向请求，前往重定向的目标获取资源，并将该资源保存到OBS上。最多跟随10次重定向。
   重定向时不携带Referer	开启后，如果源站配置了重定向，处理源站重定向时会去掉请求中的Referer头域。
   HTTP header传递规则	可以通过设置HTTP header传递规则，规定客户端发送给OBS的请求经过镜像回源由OBS传递给源站时，允许传递的HTTP header参数。镜像回源的HTTP header传递规则参数配置示例中提供了一个配置示例供参考，同时列出了不支持的HTTP header。 允许传递所有参数/允许传递指定参数：设置允许传递的HTTP header参数。 禁止传递指定参数：设置禁止传递的HTTP header参数。当客户端请求携带此header时，OBS不会传递给源站。当禁止和允许规则冲突时，禁止规则优先。 设置自定义参数：给指定header设置自定义取值，如果客户端请求携带此header，OBS在传递给源站时会将header取值修改为自定义的取值。
   IAM委托	镜像回源需使用IAM委托功能，委托OBS获取源站数据。委托需要给OBS服务授予obs:object:PutObject、obs:object:GetObject、obs:bucket:ListBucket、obs:object:AbortMultipartUpload权限。如果无合适的IAM委托，则可创建一个新的IAM委托，请参考创建用于数据回源的委托。
   重定向配置	配置重定向地址后，当OBS在源站获取资源失败时，OBS会返回302和重定向地址给客户端，客户端可直接向重定向地址请求资源。 重定向匹配条件： 正向匹配：当错误码在下方选项中时，执行重定向回源。 反向匹配：当错误码不在下方选项中时，执行重定向回源。 重定向地址：http或https://回源域名/静态路径 回源域名为重定向的源站域名。 静态路径为目标文件所在的目录信息，例如静态路径配置123/，表示目标文件在123/目录下。

6. 单击“确定”。创建完成后，您可以在数据回源页面列表中看到新创建的规则。

设置镜像回源规则

OBS支持通过控制台方式复制镜像回源规则，不支持通过API、SDK、OBS Browser+、obsutil方式复制镜像回源规则。

1. 在OBS管理控制台左侧导航栏选择“对象存储”。
2. 在桶列表中，单击待操作的桶，进入“对象”页面。
3. 在左侧导航栏选中“数据回源”，进入“数据回源”页面。
4. 单击“复制”。
5. 选择复制源，即数据回源规则所在的源桶。
   

   • 从源桶复制数据回源规则的操作为增量复制，不会删除当前桶已存在的数据回源规则，与已存在的数据回源规则冲突的规则不会复制。
   • 源桶和目标桶的桶版本号都必须是3.0。
   • 复制时支持修改回源地址，回源地址配置说明请参见本章节“创建镜像回源规则”部分的“表2”。
   • 您可以按需移除不需要复制的数据回源规则。
   • 单桶数据回源规则上限为5条，如果已有规则+复制规则的数量超过上限，将会复制失败，请先删除多余规则再进行复制。
   图5 复制数据回源规则
   

6. 单击“确定”，将源桶的数据回源规则复制到当前桶。

示例一

客户A在华东-上海一区域创建了bucket01，拥有2个源站A（https://example1.com）和源站B（https://example2.com）。回源规则场景为：

• 当客户端访问bucket01/dir1目录中不存在的文件时，通过镜像回源去源站A的example1目录中获取。
• 当源站A不存在dir1目录时，通过镜像回源去源站B的example1目录中获取。
• 根据源站A和源站B是否设置重定向策略，向重定向地址请求文件。

该场景回源规则配置见表3。

以上规则配置完成后访问流程如下：

1. 客户端首次访问https://bucket1.obs.cn-east-3.myhuaweicloud.com/dir1/example.txt。
2. 如果bucket01下dir1目录中不存在example.txt文件，则OBS向源站A：https://example1.com/example1/example.txt请求文件。
   • 如果源站A返回404，则OBS向源站B：https://example2.com/example1/example.txt请求文件。
   • 如果源站A或者B返回3xx，则OBS会向源站重定向规则指定的地址重新发起请求，获取到文件后会将文件命名为dir1/example1/example.txt保存至bucket01，并返回给客户端。

示例二

客户A在华东-上海一区域创建了bucket02，拥有1个源站A（https://example1.com）回源规则场景为：

• 当客户端访问bucket02/example1目录中不存在的文件时，通过镜像回源去源站A的example1目录中获取。
• 允许将请求URL中携带的query string传递到源站。
• 允许将请求URL中携带的header1、header2、header3三个HTTP header传递到源站。

  该场景回源规则配置见表4。

  表4 示例一回源规则

  参数	配置
  回源条件	文件名前缀设置为bucket02的目录example1
  回源地址	第一列设置为https，第二列设置为example1.com，第三列置空。如图6所示。
  携带请求字符串	开启
  HTTP header传递规则	选中“允许传递指定参数”，并添加header1、header2、header3三个参数HTTP header。如图7所示。

  图6 回源地址
  
  图7 HTTP header传递规则
  

  以上规则配置完成后访问流程如下：

  1. 客户端首次访问https://bucket02.obs.cn-east-3.myhuaweicloud.com/example1/example.png?name=yun&production=obs。
  2. 如果bucket02下example1目录中不存在example.png文件，则OBS向源站A：https://example1.com/example1/example.png?name=yun&production=obs请求文件。
  3. 源站会根据传递的“name=yun&production=obs”参数，将example.png文件返回给OBS。
  4. OBS会将获取的文件命名为example1/example.png，并将命名后的文件存储至bucket02。

     如果请求中还携带了header1、header2、header3的HTTP header时，也会被传递到源站A。

假设参数配置如图8所示。

根据上述规则，如果客户端发送到OBS请求的header部分如下所示：

GET /ObjectName HTTP/1.1 
Host: bucketname.obs.region.myhuaweicloud.com
aaa:aaa
bbb:bbb
ccc:ccc

在触发镜像回源规则后，OBS发送给源站的请求如下：

GET /ObjectName HTTP/1.1 
Host: source.com 
aaa:aaa
ccc:111

镜像回源过程中透传HTTP header情况

• 从源站透传到客户端只支持以下HTTP header：
  • Content-Type
  • Content-Language
  • Content-Encoding
  • Content-Disposition
  • Cache-Control
  • Expires
• 从客户端透传到源站不支持以下HTTP header：
  1. 以下前缀开头的HTTP header：

     x-obs-

  2. 所有标准HTTP header，例如：
     • Content-Length
     • Authorization2
     • Authorization
     • Range
     • Date

1. 在OBS控制台“创建数据回源规则”对话框，单击“查看委托”，进入“统一身份认证服务”控制台“委托”页面。
2. 单击“创建委托”，进行委托创建。
3. 输入“委托名称”。
4. “委托类型”选择“云服务”。
5. “云服务”选择“对象存储服务 OBS”。
6. 选择“持续时间”。
7. 单击“下一步”，进入委托授权页面。
   

   创建委托控制台界面有新版和旧版两种，以下操作步骤以新版为例。

8. 单击“完成”，在弹窗中选择“立即授权”，进入委托授权页面。
9. 如果已有符合的策略，则跳转至11。如果未创建策略，则单击右上方的“新建策略”，设置“策略名称”，“策略配置方式”选择“可视化视图”。
   图9 给委托授权
   

10. 在“策略内容”下配置策略。
    1. “允许”：选择“允许”。
    2. “云服务”：选择“对象存储服务”。
    3. “操作”：在“只读”类操作中选择获取对象内容、获取对象元数据权限“obs:object:GetObject”；在“写”类操作中选择PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段权限“obs:object:PutObject”和取消多段上传任务权限“obs:object:AbortMultipartUpload”；在“列表”类操作中选择列举桶内对象权限“obs:bucket:ListBucket”。
    4. “资源”，选择“所有资源”。
    5. 单击“下一步”，完成策略的创建。

11. 选择创建的策略，单击“下一步”。
12. 选择授权范围方案时，选择“所有资源”，单击下方的“确定”完成委托创建。
    

    授权范围方案建议选择“所有资源”，表示OBS可以根据权限使用账号中所有资源，包括企业项目、区域项目和全局服务资源。