文档首页/ 对象存储服务 OBS/ 用户指南/ 数据管理/ 使用数据回源获取源站数据
更新时间：2024-10-17 GMT+08:00
查看PDF
分享

使用数据回源获取源站数据

一般情况下，当客户端访问OBS时，如果OBS中没有被访问的数据，将会返回404错误。OBS提供数据回源功能，可以在被请求的数据不存在时，通过回源规则从源站获取对应数据。

镜像回源

用户为桶定义镜像回源规则后，如果客户端访问OBS桶中不存在的资源，且该资源符合镜像回源规则，OBS将以镜像回源的方式去数据源站获取资源，将该资源上传到OBS中并返回给客户端。整个过程不中断业务，适用于客户源站无缝迁移数据到OBS，用户可以在无感知的情况下，低成本地迁移业务到OBS上来。镜像回源流程如图1所示。

图1 镜像回源流程

约束与限制

桶版本限制：

  • 仅桶版本号为3.0及以上的桶支持镜像回源。

时间限制：

  • 修改镜像回源规则，需要5分钟之后才能生效。

区域限制：

数据回源支持的区域请参见功能总览。

规则数量限制：

  • 最多创建10条镜像回源规则。

功能限制：

  • 不支持匿名用户配置镜像回源规则。
  • 不支持给并行文件系统配置镜像回源规则。
  • 不支持OBS静态网站，即通过OBS静态网站域名下载对象出现404，不会触发镜像回源规则。
  • 不支持在镜像回源规则中指定当前OBS桶域名，即源桶与目标桶不能是同一个桶。
  • 私有桶的镜像回源当前仅支持部分云厂商。
  • 不支持源站使用Transfer-Encoding: chunked方式传输数据，即从源站下载对象的响应中必须包含Content-Length头域来指明源对象大小。

    禁止源站使用Transfer-Encoding: chunked配置方式：创建/编辑数据回源规则 > HTTP header传递规则 > 允许传递所有参数 > 打开“禁止传递指定参数”开关 > 输入“Accept-Encoding”。

    图2 配置方式
  • 如果回源源站中使用Ngnix反向代理源站，请关闭Ngnix的chunked_transfer_encoding配置项： 
    location / {
     chunked_transfer_encoding off;
}

权限限制：

  • 需要使用IAM增加Tenant Administrator权限后才能设置、获取和删除镜像回源规则。
  • 镜像回源需使用IAM创建云服务委托，委托OBS获取源站数据。委托需要给OBS服务授予obs:object:PutObject、obs:object:GetObject、obs:bucket:ListBucket、obs:object:AbortMultipartUpload权限。
  • 如果桶开启了SSE-KMS服务端加密功能，对OBS的云服务委托中还需要使用IAM配置kms:cmk:get、kms:cmk:list、kms:cmk:create、kms:dek:create、kms:dek:crypto、kms:dek:crypto权限。

其他限制：

  • 镜像回源暂时不收费。
  • 不允许多条镜像回源规则配置的文件名前缀存在相互包含或重叠的关系，即对同一个对象的请求不能同时匹配两条镜像回源规则。
  • 针对镜像回源配置未遵循RFC Range Requests标准的源站，客户在使用分段（Range）回源时，HTTP请求需携带Range头域并检查Range头域取值的有效性。

    Range头域指定回源获取的内容范围，取值不能超过文件大小。例如，对大小为1024字节的对象做分段回源，可以指定回源前512字节（Range值为0~511），Range值有效。指定回源2048个字节（Range值为0~2048），超过对象大小，Range值无效，回源失败。

创建镜像回源规则

OBS支持通过控制台、API方式创建镜像回源规则，不支持通过SDK、OBS Browser+、obsutil方式创建镜像回源规则。

使用OBS控制台

  1. 在OBS管理控制台左侧导航栏选择“桶列表”。
  2. 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。
  3. 在左侧导航栏选中“数据回源”，进入“数据回源”页面。
  4. 单击“创建”。

    图3 创建镜像回源规则

  5. 配置镜像回源规则参数，参数说明如表1。

    表1 镜像回源规则参数说明

    参数

    说明

    资源类型

    设置回源地址（源站）的类型。

    • 公有类型：源站数据来源于公有对象存储。
    • 私有类型：源站数据来源于部分云厂商的私有对象存储。

    回源条件

    设置回源规则的触发条件。

    回源条件由HTTP状态码和文件名前缀共同确定，表示访问桶中符合文件名前缀要求的对象时，如果对象不存在（返回404错误），则满足回源条件。

    文件名前缀输入规则：

    • 不能超过1023个字符。
    • 不能与已有回源规则配置的文件名前缀存在相互包含或重叠的关系。
    • 如果不输入，则表示配置到尚未匹配桶内任何回源规则的文件。仅能配置一条文件名前缀为空的回源规则。

    示例：配置123/前缀，访问桶中123/456.txt文件时会触发回源规则。

    添加前后缀

    OBS向源站请求数据时，在客户端请求的对象名前后增加前后缀。最终返回给OBS与客户端的对象名与此前后缀无关，仍保持客户端请求的对象名。

    示例：客户端请求abc.txt时触发回源规则，如果添加前缀为123，则OBS向源端请求的对象名变为123abc.txt，该对象下载到OBS中仍以abc.txt名称保存并返回给客户端。

    替换前缀

    OBS向源站请求数据时，替换回源条件中的文件名前缀。最终返回给客户端的对象名与此前缀无关，仍保持客户端请求的对象名。

    示例：回源条件配置文件前缀为123，替换前缀配置为abc，客户端请求123456.txt时触发回源规则，OBS向源端请求的对象名变为abc456.txt，该对象下载到OBS中仍以123456.txt名称保存并返回给客户端。

    回源地址

    设置回源地址（源站地址），支持配置主站和备站。

    回源时会优先使用主站地址，如果同时配置多个主站，会轮询访问所有主站。如果配置2个及以上主站，第一次请求主站失败，并且满足重试条件时，会选用另一个主站重试一次。至少配置一个主站，最多同时配置5个主站。主站全部回源失败时，会使用备站地址进行重试。

    格式：http或https://回源域名/静态路径

    • 回源域名为源站的域名。
      • 如果源端为HTTP公共可访问的桶，则此地址为桶域名地址。
      • 如果源端为其他云厂商的私有桶，则此地址为区域域名地址。当前仅支持部分云厂商的私有桶。
    • 静态路径为目标文件所在的目录信息，例如静态路径配置123/，表示目标文件在123/目录下。

    重试条件

    选择回源地址重试的条件。

    4XX和4开头的具体错误码不能同时配置，5XX和5开头的具体错误码不能同时配置。最多支持同时配置20个错误码。

    携带请求字符串

    开启后，会将请求URL中查询参数传递到源站。

    重定向请求响应策略

    开启后，如果源站配置了重定向，会跟踪源站的3xx重定向请求，前往重定向的目标获取资源，并将该资源保存到OBS上。最多跟随10次重定向。

    重定向时不携带Referer

    开启后，如果源站配置了重定向，处理源站重定向时会去掉请求中的Referer头域。

    HTTP header传递规则

    可以通过设置HTTP header传递规则，规定客户端发送给OBS的请求经过镜像回源由OBS传递给源站时，允许传递的HTTP header参数。相关参考中提供了一个配置示例供参考，同时列出了不支持的HTTP header。

    • 允许传递所有参数/允许传递指定参数：设置允许传递的HTTP header参数。
    • 禁止传递指定参数：设置禁止传递的HTTP header参数。当客户端请求携带此header时，OBS不会传递给源站。当禁止和允许规则冲突时，禁止规则优先。
    • 设置自定义参数：给指定header设置自定义取值，如果客户端请求携带此header，OBS在传递给源站时会将header取值修改为自定义的取值。

    IAM委托

    镜像回源需使用IAM委托功能，委托OBS获取源站数据。委托需要给OBS服务授予obs:object:PutObject、obs:object:GetObject、obs:bucket:ListBucket、obs:object:AbortMultipartUpload权限。如果无合适的IAM委托，则可创建一个新的IAM委托，请参考创建用于数据回源的委托。

  6. 单击“确定”。

使用API

设置镜像回源规则

复制镜像回源规则

OBS支持通过控制台方式复制镜像回源规则，不支持通过API、SDK、OBS Browser+、obsutil方式复制镜像回源规则。

  1. 在OBS管理控制台左侧导航栏选择“桶列表”。
  2. 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。
  3. 在左侧导航栏选中“数据回源”，进入“数据回源”页面。
  4. 单击“复制”。
  5. 选择复制源，即数据回源规则所在的源桶。

    • 从源桶复制数据回源规则的操作为增量复制，不会删除当前桶已存在的数据回源规则，与已存在的数据回源规则冲突的规则不会复制。
    • 源桶和目标桶的桶版本号都必须是3.0。
    • 复制时支持修改回源地址，回源地址配置说明请参见本章节“创建镜像回源规则”部分的“表1 镜像回源规则参数说明”。
    • 您可以按需移除不需要复制的数据回源规则。
    • 单桶数据回源规则上限为5条，如果已有规则+复制规则的数量超过上限，将会复制失败，请先删除多余规则再进行复制。
    图4 复制数据回源规则

  6. 单击“确定”，将源桶的数据回源规则复制到当前桶。

相关参考

镜像回源的HTTP header传递规则参数配置示例

假设参数配置如图5所示。

图5 HTTP header传递规则配置示例

根据上述规则，如果客户端发送到OBS请求的header部分如下所示：

GET /ObjectName HTTP/1.1 
Host: bucketname.obs.cn-north-4.myhuaweicloud.com 
aaa:aaa
bbb:bbb
ccc:ccc

在触发镜像回源规则后，OBS发送给源站的请求如下：

GET /ObjectName HTTP/1.1 
Host: source.com 
aaa:aaa
ccc:111

镜像回源过程中透传HTTP header情况

  • 从源站透传到客户端只支持以下HTTP header：
    • Content-Type
    • Content-Language
    • Content-Encoding
    • Content-Disposition
    • Cache-Control
    • Expires
  • 从客户端透传到源站不支持以下HTTP header：
    1. 以下前缀开头的HTTP header：

      x-obs-

    2. 所有标准HTTP header，例如：
      • Content-Length
      • Authorization2
      • Authorization
      • Range
      • Date

创建用于数据回源的委托

  1. 在OBS控制台“创建数据回源规则”对话框，单击“查看委托”，进入“统一身份认证服务”控制台“委托”页面。
  2. 单击“创建委托”，进行委托创建。
  3. 输入“委托名称”。
  4. “委托类型”选择“云服务”。
  5. “云服务”选择“对象存储服务 OBS”。
  6. 选择“持续时间”。
  7. 单击“下一步”，进入委托授权页面。

    创建委托控制台界面有新版和旧版两种，以下操作步骤以新版为例。

  8. 单击“完成”，在弹窗中选择“立即授权”，进入委托授权页面。
  9. 如果已有符合的策略，则跳转至11。如果未创建策略，则单击右上方的“新建策略”，设置“策略名称”，“策略配置方式”选择“可视化视图”。

    图6 给委托授权

  10. 在“策略内容”下配置策略。

    1. “允许”：选择“允许”。
    2. “云服务”：选择“对象存储服务”。
    3. “操作”：在“只读”类操作中选择获取对象内容、获取对象元数据权限“obs:object:GetObject”；在“写”类操作中选择PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段权限“obs:object:PutObject”和取消多段上传任务权限“obs:object:AbortMultipartUpload”；在“列表”类操作中选择列举桶内对象权限“obs:bucket:ListBucket”。
    4. “资源”，选择“所有资源”。
    5. 单击“下一步”，完成策略的创建。

  11. 选择创建的策略，单击“下一步”。
  12. 选择授权范围方案时，选择“所有资源”，单击下方的“确定”完成委托创建。

    授权范围方案建议选择“所有资源”，表示OBS可以根据权限使用账号中所有资源，包括企业项目、区域项目和全局服务资源。

父主题： 数据管理

相关文档