更新时间:2024-01-02 GMT+08:00

数据回源

一般情况下,当客户端访问OBS时,如果OBS中没有被访问的数据,将会返回404错误。OBS提供数据回源功能,可以在被请求的数据不存在时,通过回源规则从源站获取对应数据。

镜像回源

用户为桶定义镜像回源规则后,如果客户端访问OBS桶中不存在的资源,且该资源符合镜像回源规则,OBS将以镜像回源的方式去数据源站获取资源,将该资源上传到OBS中并返回给客户端。整个过程不中断业务,适用于客户源站无缝迁移数据到OBS,用户可以在无感知的情况下,低成本地迁移业务到OBS上来。镜像回源流程如图1所示。

图1 镜像回源流程

约束与限制

桶版本限制:

  • 仅桶版本号为3.0及以上的桶支持镜像回源。

时间限制:

  • 修改镜像回源规则,需要5分钟之后才能生效。

区域限制:

数据回源支持的区域请参见功能总览

规则数量限制:

  • 最多创建10条镜像回源规则。

功能限制:

  • 不支持匿名用户配置镜像回源规则。
  • 不支持给并行文件系统配置镜像回源规则。
  • 不支持OBS静态网站,即通过OBS静态网站域名下载对象出现404,不会触发镜像回源规则。
  • 不支持在镜像回源规则中指定当前OBS桶域名,即源桶与目标桶不能是同一个桶。
  • 私有桶的镜像回源当前仅支持部分云厂商。
  • 不支持源站使用Transfer-Encoding: chunked方式传输数据,即从源站下载对象的响应中必须包含Content-Length头域来指明源对象大小。

    禁止源站使用Transfer-Encoding: chunked配置方式:创建/编辑数据回源规则 > HTTP header传递规则 > 允许传递所有参数 > 打开“禁止传递指定参数”开关 > 输入“Accept-Encoding”。

    图2 配置方式

权限限制:

  • 需要使用IAM增加Tenant Administrator权限后才能设置、获取和删除镜像回源规则。
  • 镜像回源需使用IAM创建云服务委托,委托OBS获取源站数据。委托需要给OBS服务授予obs:object:HeadObject、obs:object:PutObject权限。
  • 如果桶开启了SSE-KMS服务端加密功能,对OBS的云服务委托中还需要使用IAM配置kms:cmk:get、kms:cmk:list、kms:cmk:create、kms:dek:create、kms:dek:crypto、kms:dek:crypto权限。

其他限制:

  • 镜像回源暂时不收费。
  • 不允许多条镜像回源规则配置的文件名前缀存在相互包含或重叠的关系,即对同一个对象的请求不能同时匹配两条镜像回源规则。

创建镜像回源规则

OBS支持通过控制台、API方式创建镜像回源规则。

支持的使用方式

参考文档

控制台

创建镜像回源规则

API

设置镜像回源规则