文档首页> 对象存储服务 OBS> 用户指南> 数据管理> 使用数据回源获取源站数据
更新时间:2024-06-26 GMT+08:00
分享

使用数据回源获取源站数据

一般情况下,当客户端访问OBS时,如果OBS中没有被访问的数据,将会返回404错误。OBS提供数据回源功能,可以在被请求的数据不存在时,通过回源规则从源站获取对应数据。

镜像回源

用户为桶定义镜像回源规则后,如果客户端访问OBS桶中不存在的资源,且该资源符合镜像回源规则,OBS将以镜像回源的方式去数据源站获取资源,将该资源上传到OBS中并返回给客户端。整个过程不中断业务,适用于客户源站无缝迁移数据到OBS,用户可以在无感知的情况下,低成本地迁移业务到OBS上来。镜像回源流程如图1所示。

图1 镜像回源流程

约束与限制

桶版本限制:

  • 仅桶版本号为3.0及以上的桶支持镜像回源。

时间限制:

  • 修改镜像回源规则,需要5分钟之后才能生效。

区域限制:

数据回源支持的区域请参见功能总览

规则数量限制:

  • 最多创建10条镜像回源规则。

功能限制:

  • 不支持匿名用户配置镜像回源规则。
  • 不支持给并行文件系统配置镜像回源规则。
  • 不支持OBS静态网站,即通过OBS静态网站域名下载对象出现404,不会触发镜像回源规则。
  • 不支持在镜像回源规则中指定当前OBS桶域名,即源桶与目标桶不能是同一个桶。
  • 私有桶的镜像回源当前仅支持部分云厂商。
  • 不支持源站使用Transfer-Encoding: chunked方式传输数据,即从源站下载对象的响应中必须包含Content-Length头域来指明源对象大小。

    禁止源站使用Transfer-Encoding: chunked配置方式:创建/编辑数据回源规则 > HTTP header传递规则 > 允许传递所有参数 > 打开“禁止传递指定参数”开关 > 输入“Accept-Encoding”。

    图2 配置方式
  • 如果回源源站中使用Ngnix反向代理源站,请关闭Ngnix的chunked_transfer_encoding配置项:
    location / {
         chunked_transfer_encoding off;
    }

权限限制:

  • 需要使用IAM增加Tenant Administrator权限后才能设置、获取和删除镜像回源规则。
  • 镜像回源需使用IAM创建云服务委托,委托OBS获取源站数据。委托需要给OBS服务授予obs:object:PutObject权限。
  • 如果桶开启了SSE-KMS服务端加密功能,对OBS的云服务委托中还需要使用IAM配置kms:cmk:get、kms:cmk:list、kms:cmk:create、kms:dek:create、kms:dek:crypto、kms:dek:crypto权限。

其他限制:

  • 镜像回源暂时不收费。
  • 不允许多条镜像回源规则配置的文件名前缀存在相互包含或重叠的关系,即对同一个对象的请求不能同时匹配两条镜像回源规则。
  • 针对镜像回源配置未遵循RFC Range Requests标准的源站,客户在使用分段(Range)回源时,HTTP请求需携带Range头域并检查Range头域取值的有效性。

    Range头域指定回源获取的内容范围,取值不能超过文件大小。例如,对大小为1024字节的对象做分段回源,可以指定回源前512字节(Range值为0~511),Range值有效。指定回源2048个字节(Range值为0~2048),超过对象大小,Range值无效,回源失败。

创建镜像回源规则

OBS支持通过控制台、API方式创建镜像回源规则,不支持通过SDK、OBS Browser+、obsutil方式创建镜像回源规则。

复制镜像回源规则

OBS支持通过控制台方式复制镜像回源规则,不支持通过API、SDK、OBS Browser+、obsutil方式复制镜像回源规则。

  1. OBS管理控制台左侧导航栏选择“桶列表”
  2. 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
  3. 在左侧导航栏选中“数据回源”,进入“数据回源”页面。
  4. 单击“复制”。
  5. 选择复制源,即数据回源规则所在的源桶。

    • 从源桶复制数据回源规则的操作为增量复制,不会删除当前桶已存在的数据回源规则,与已存在的数据回源规则冲突的规则不会复制。
    • 源桶和目标桶的桶版本号都必须是3.0。
    • 复制时支持修改回源地址,回源地址配置说明请参见表1
    • 您可以按需移除不需要复制的数据回源规则。
    • 单桶数据回源规则上限为5条,如果已有规则+复制规则的数量超过上限,将会复制失败,请先删除多余规则再进行复制。
    图4 复制数据回源规则

  6. 单击“确定”,将源桶的数据回源规则复制到当前桶。

相关参考

分享:

    相关文档

    相关产品