OBS数据一致性校验

obsutil支持在上传对象时通过附加参数（vmd5）来校验数据的一致性。

以在Windows操作系统上传本地一个位于D盘的test.txt文件至mytestbucket桶为例，开启一致性校验的命令示例如下：

obsutil cp D:\test.txt obs://mytestbucket/test.txt -vmd5

校验通过后，对象上传成功，系统显示Upload successfully的回显信息。

OBS Browser+默认关闭MD5校验，在OBS Browser+上启用MD5校验一致性并上传对象的步骤如下：

1. 登录OBS Browser+。
2. 单击客户端右上方的，并选择“高级设置”。
3. 勾选“MD5校验”，如图3所示。
   图3 配置MD5校验
   

4. 单击“确定”。
5. 选择待上传文件的桶，上传文件。
   • 如果MD5校验成功，则文件上传成功。
   • 如果MD5校验失败，则文件上传失败，且在任务管理中提示失败原因：校验文件MD5失败。

OBS提供Java、Python等多种语言的SDK，各SDK通过在上传对象时设置对象的Content-MD5值以开启一致性校验。如何计算并设置对象MD5值请前往OBS SDK参见各自开发指南的setObjectMetadata接口。

此处以使用OBS Java SDK上传Windows本地D盘一个名为text.txt的文本文件至mytestbucket为例，上传过程使用MD5值校验数据一致性的示例代码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

String endPoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。
// 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
String ak = System.getenv("ACCESS_KEY_ID");
String sk = System.getenv("SECRET_ACCESS_KEY_ID");
// 创建ObsClient实例
ObsClient obsClient = new ObsClient(ak, sk, endPoint);
// 计算并设置MD5值
ObjectMetadata metadata = new ObjectMetadata();
File file = new File("D:\\text.txt");
FileInputStream fis = new FileInputStream(file);
InputStream is = (InputStream)fis;
String contentMd5 = obsClient.base64Md5(is);
metadata.setContentMd5(contentMd5);
// 带MD5值上传文件
obsClient.putObject("mytestbucket", "text.txt", file, metadata);

• 对象数据的MD5值必须经过Base64编码。
• OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比，如果不匹配则上传失败，返回HTTP 400错误。如果匹配，对象上传成功，返回HTTP 200状态码。

obsutil支持在下载对象时通过附加参数（vmd5）来校验下载数据的一致性。

以在Windows操作系统下载mytestbucket桶中的test.txt文件至本地为例，开启数据一致性校验的步骤如下：

1. 执行以下命令，检查待下载对象是否具有MD5信息。

   obsutil stat obs://test-bucket/test.txt

   • 返回的对象基本信息中，包含MD5信息，如下图所示，执行步骤2。

     

   • 不包含MD5信息，下载对象时无法进行一致性校验。

2. 执行以下命令，下载对象。

   obsutil cp obs://mytestbucket/test.txt D:\test.txt -vmd5

   • 对象下载成功且通过一致性校验，回显信息如下：

     

   • 如果桶中对象没有MD5值，对象能够下载成功，但不会校验一致性，回显信息如下：

     

OBS Browser+默认关闭MD5校验，在OBS Browser+上启用MD5校验一致性并下载对象的步骤如下：

1. 登录OBS Browser+。
2. 单击客户端右上方的，并选择“高级设置”。
3. 勾选“MD5校验”，如图4所示。
   图4 配置MD5校验
   

4. 单击“确定”。
5. 选择待下载文件的桶，下载文件。
   • 如果MD5校验成功，则文件下载成功。
   • 如果MD5校验失败，则文件下载失败，且在任务管理中提示失败原因：校验文件MD5失败。

OBS SDK对待下载对象的自定义元数据中的MD5值和下载到本地的对象的MD5值进行对比，通过对比结果判断下载对象的一致性。

1. 该功能的前提是对象自定义元数据中必须有MD5值字段，并且该字段表示的意思是原始对象的MD5值，否则取值会为空或者校验失败。
2. 上传过程中设置MD5值到自定义元数据中的示例代码请参考方式三：使用OBS SDK校验上传对象的一致性。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

String endPoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。
// 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
String ak = System.getenv("ACCESS_KEY_ID");
String sk = System.getenv("SECRET_ACCESS_KEY_ID");
// 创建ObsClient实例
final ObsClient obsClient = new ObsClient(ak, sk, endPoint);
// 获取对象的MD5值
ObjectMetadata metadata = obsClient.getObjectMetadata("mytestbucket", "test.txt");
String md5Origin = metadata.getUserMetadata("contentMd5");
// 计算下载后对象的MD5值
Obsobject obsobject = obsClient.getObject("mytestbucket", "test.txt");
String md5Download = obsClient.base64Md5(obsobject.getObjectContent());
// 对比MD5值
if(md5Origin.contentEquals(md5Download))
    System.out.println("Object MD5 validation passes!\n");
else
    System.out.println("Object MD5 validation failed!\n");