流式下载(Java SDK)
功能说明
您可以根据需要将存储在OBS中的对象通过ObsClient.getObject接口进行流式下载。ObsClient.getObject返回的ObsObject实例包含对象所在的桶、对象名、对象属性、对象输入流等内容,同时可以通过操作对象输入流将对象的内容读取到本地文件或者内存中。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
接口约束
- 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:GetObject权限,如果使用桶策略则需授予GetObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。
- OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。
- 对于存储类别为归档存储或深度归档存储的对象,需要确认对象的状态为“已恢复”才能对其进行下载。
- ObsObject.getObjectContent获取的对象输入流一定要显式关闭,否则会造成资源泄露。
方法定义
obsClient.getObject(GetObjectRequest request)
请求参数说明
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
bucketName |
String |
必选 |
参数解释: 桶名。 约束限制:
默认取值: 无 |
objectKey |
String |
必选 |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
versionId |
String |
可选 |
参数解释: 对象的版本号。 取值范围: 长度为32的字符串。 默认取值: 无 |
imageProcess |
String |
可选 |
参数解释: 图片处理参数,描述针对对象的图片处理命令或处理样式。例如表示对图片依次进行缩放、旋转,取值:image/resize,m_fixed,w_100,h_100/rotate,90。 取值范围: 命令方式:image/命令参数。 样式方式:style/样式名称。 详细参数说明参见处理图片。 默认取值: 如果不输入处理命令,将返回原图。 |
rangeStart |
Long |
可选 |
参数解释: 指定下载对象的起始位置。 取值范围: 非负整数。 默认取值: 无 |
rangeEnd |
Long |
可选 |
参数解释: 指定下载对象的结束位置。 约束限制: 如果该值大于对象长度-1,实际仍取对象长度-1。 默认取值: 无 |
ifMatchTag |
String |
可选 |
参数解释: 指定一个预设的Etag值,如果下载对象的ETag值与该参数值相同,则返回对象内容,否则返回错误。 取值范围: 长度为32的字符串。 默认取值: 无 |
ifNoneMatchTag |
String |
可选 |
参数解释: 指定一个预设的Etag值,如果下载对象的ETag值与该参数值不相同,则返回对象内容,否则返回错误。 取值范围: 长度为32的字符串。 默认取值: 无 |
IfModifiedSince |
Date |
可选 |
参数解释: 如果对象在指定的时间后有修改,则返回对象内容,否则返回错误。 默认取值: 无 |
IfUnmodifiedSince |
Date |
可选 |
参数解释: 如果对象在指定的时间后没有修改,则返回对象内容,否则返回错误。 默认取值: 无 |
sseCHeader |
可选 |
参数解释: 服务端解密头信息,详见SseCHeader。 |
|
replaceMetadata |
可选 |
参数解释: 指定OBS返回请求的相关信息,详见ObjectRepleaceMetadata。 |
|
progressListener |
可选 |
参数解释: 设置数据传输监听器,用于获取下载进度,详见ProgressListener。 |
|
encodeHeaders |
boolean |
可选 |
参数解释: 是否开启OBS对请求头域的自动编码。 由于HTTP编码规范限制,无法发送非ASCII码字符,SDK会在发送请求时对您头域中的中文汉字进行url编码,发送编码后数据。如您设置的值content-disposition为attachment; filename="中文.txt",则对象元数据中存储的信息为attachment; filename="%E4%B8%AD%E6%96%87.txt"。使用浏览器访问时浏览器将会自动解码。 取值范围: true:启用SDK编码。 false:不启用SDK编码。 默认取值: true |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
contentType |
String |
可选 |
参数解释: 对象的文件类型(MIME类型)。contentType(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。 取值范围: 常见的contentType(MIME)列表参见如何理解Content-Type(MIME)?(Java SDK)。 默认取值: 无 |
contentLanguage |
String |
可选 |
参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 |
expires |
String |
可选 |
参数解释: 响应中的Expires头。指定对象被下载时的网页的缓存过期时间。 默认取值: 无 |
cacheControl |
String |
可选 |
参数解释: 响应中的Cache-Control头,指定对象被下载时的网页的缓存行为。 默认取值: 无 |
contentDisposition |
String |
可选 |
参数解释: 为请求的对象提供一个默认的文件名赋值给该对象,当下载对象或者访问对象时,以默认文件名命名的文件将直接在浏览器上显示或在访问时弹出文件下载对话框。 默认取值: 无 |
contentEncoding |
String |
可选 |
参数解释: 响应中的Content-Encoding头。指定对象被下载时的内容编码格式。 默认取值: 无 |
方法名称 |
返回值类型 |
说明 |
---|---|---|
getAverageSpeed() |
double |
上传平均速率。 |
getInstantaneousSpeed() |
double |
上传瞬时速率。 |
getTransferPercentage() |
int |
上传进度百分比。 |
getNewlyTransferredBytes() |
long |
新增的字节数。 |
getTransferredBytes() |
long |
已传输的字节数。 |
getTotalBytes() |
long |
待传输的字节数。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
algorithm |
必选 |
参数解释: 表示服务端加密是SSE-C方式,对象使用SSE-C加密方式。 取值范围: 可选值:AES256,即选择SSE-C方式,使用高级加密标准(Advanced Encryption Standard,AES)加密对象。详见ServerAlgorithm。 默认取值: 无 |
|
sseAlgorithm |
可选 |
参数解释: 加密算法。 约束限制: 只支持AES256。 取值范围: 默认取值: 无 |
|
sseCKey |
byte[] |
必选 |
参数解释: SSE-C方式下加密使用的原始密钥,byte[]形式,该密钥用于加密对象。 默认取值: 无 |
sseCKeyBase64 |
String |
可选 |
参数解释: SSE-C方式下的密钥,由原始密钥经过Base64编码后得到,该密钥用于加密对象。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
id |
String |
必选 |
参数解释: 桶所有者的账号ID,即domain_id。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID?。 默认取值: 无 |
displayName |
String |
可选 |
参数解释: 所有者的账号名。 取值范围: 如何获取账号名请参见如何获取账号名?。 默认取值: 无 |
常量名 |
原始值 |
说明 |
---|---|---|
STANDARD |
STANDARD |
标准存储。 |
WARM |
WARM |
低频访问存储。 |
COLD |
COLD |
归档存储。 |
DEEP_ARCHIVE |
DEEP_ARCHIVE |
深度归档存储(受限公测) |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
contentLength |
Long |
可选 |
参数解释: 对象数据的长度。 默认取值: 如果不设置,则SDK会自动计算对象数据的长度。 |
contentType |
String |
可选 |
参数解释: 对象的文件类型(MIME类型)。contentType(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。 取值范围: 常见的contentType(MIME)列表参见如何理解Content-Type(MIME)?(Java SDK)。 默认取值: 如果未指定Content-Type,SDK会根据指定Object名称的后缀来判定文件类型并自动填充Content-Type(如.xml判断为application/xml文件;.html判断为text/html文件)。 |
contentEncoding |
String |
可选 |
参数解释: 响应中的Content-Encoding头。指定对象内容编码格式。 默认取值: 无 |
contentDisposition |
String |
可选 |
参数解释: 为请求的对象提供一个默认的文件名赋值给该对象,当下载对象或者访问对象时,以默认文件名命名的文件将直接在浏览器上显示,或在弹出文件下载对话框时显示。 默认取值: 无 |
cacheControl |
String |
可选 |
参数解释: 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值: 无 |
contentLanguage |
String |
可选 |
参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 |
expires |
String |
可选 |
参数解释: 指对象在网页中的缓存过期时间。 约束限制: 日期格式为GMT的格式。 默认取值: 无 |
contentMd5 |
String |
可选 |
参数解释: 对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比,如果不匹配,返回HTTP 400错误。 约束限制:
取值范围: 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过Base64编码后得到的字符串。 示例:n58IG6hfM7vqI4K0vnWpog== 默认取值: 无 |
storageClass |
可选 |
参数解释: 对象的存储类别。创建对象时,可以加上此头域设置对象的存储类别。如果未设置此头域,则以桶的默认存储类别作为对象的存储类别。 取值范围: 可选择的存储类别参见StorageClassEnum。 默认取值: 无 |
|
webSiteRedirectLocation |
String |
可选 |
参数解释: 当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL,该参数指明对象的重定向地址。 例如,重定向请求到桶内另一对象: WebsiteRedirectLocation:/anotherPage.html 或重定向请求到一个外部URL: WebsiteRedirectLocation:http://www.example.com/ 约束限制:
默认取值: 无 |
nextPosition |
long |
可选 |
参数解释: 下次追加上传的位置。 取值范围: 0~对象长度,单位:字节。 默认取值: 无 |
appendable |
boolean |
可选 |
参数解释: 对象是否为可追加上传的对象。 取值范围: true:是,可追加上传。 false:否,不可追加上传。 默认取值: 无 |
userMetadata |
Map<String, Object> |
可选 |
参数解释: 对象的自定义元数据,OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称,Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient.getObjectMetadata获取,参见获取对象元数据。 约束限制:
默认取值: 无 |
返回结果说明
参数名称 |
参数类型 |
描述 |
---|---|---|
bucketName |
String |
参数解释: 桶名。 约束限制:
默认取值: 无 |
objectKey |
String |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
owner |
参数解释: 所有者,详见Owner。 |
|
metadata |
参数解释: 对象元数据,详见ObjectMetadata。 |
|
objectContent |
InputStream |
参数解释: 对象数据流。 默认取值: 无 |
代码示例
本示例用于流式下载examplebucket桶中的objectname对象。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 |
import com.obs.services.ObsClient; import com.obs.services.exception.ObsException; import com.obs.services.model.ObsObject; import java.io.ByteArrayOutputStream; import java.io.InputStream; public class GetObject001 { public static void main(String[] args) { // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。 // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。 // String securityToken = System.getenv("SECURITY_TOKEN"); // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。查看桶所在的endpoint请参见:https://support.huaweicloud.com/usermanual-obs/obs_03_0312.html。 String endPoint = "https://obs.cn-north-4.myhuaweicloud.com"; // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。 //String endPoint = System.getenv("ENDPOINT"); // 创建ObsClient实例 // 使用永久AK/SK初始化客户端 ObsClient obsClient = new ObsClient(ak, sk,endPoint); // 使用临时AK/SK和SecurityToken初始化客户端 // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint); try { // 流式下载 ObsObject obsObject = obsClient.getObject("examplebucket", "objectname"); // 读取对象内容 System.out.println("Object content:"); InputStream input = obsObject.getObjectContent(); byte[] b = new byte[1024]; ByteArrayOutputStream bos = new ByteArrayOutputStream(); int len; while ((len = input.read(b)) != -1) { bos.write(b, 0, len); } System.out.println("getObjectContent successfully"); System.out.println(new String(bos.toByteArray())); bos.close(); input.close(); } catch (ObsException e) { System.out.println("getObjectContent failed"); // 请求失败,打印http状态码 System.out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode()); // 请求失败,打印详细错误信息 System.out.println("Error Message:" + e.getErrorMessage()); // 请求失败,打印请求id System.out.println("Request ID:" + e.getErrorRequestId()); System.out.println("Host ID:" + e.getErrorHostId()); e.printStackTrace(); } catch (Exception e) { System.out.println("getObjectContent failed"); // 其他异常信息打印 e.printStackTrace(); } } } |