更新时间:2024-10-28 GMT+08:00
分享

下载流式数据

Json格式下载

参见初始化DIS客户端的操作初始化一个DIS客户端实例。

配置参数如下:

1
2
3
streamname = "" #通道名称
startSeq='0’   #序列号  
partitionId="shardId-0000000000"   

通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER'

配置好以上参数,执行getRecords_sample.py文件调用getRecords_test方法,响应结果如下。

1
2
200
{'next_partition_cursor': 'eyJnZXRJdGVyYXRvclBhcmFtIjp7InN0cmVhbS1uYW1lIjoiZGlzX3Rlc3QxIiwicGFydGl0aW9uLWlkIjoic2hhcmRJZC0wMDAwMDAwMDAwIiwiY3Vyc29yLXR5cGUiOiJBVF9TRVFVRU5DRV9OVU1CRVIiLCJzdGFydGluZy1zZXF1ZW5jZS1udW1iZXIiOiI2In0sImdlbmVyYXRlVGltZXN0YW1wIjoxNTU0NzA2NTc5MzA5fQ', 'records': [{'sequence_number': '4', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}, {'sequence_number': '5', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}]}

Protobuf格式下载

参见初始化DIS客户端的操作初始化一个DIS客户端实例。

初始化DIS客户端,加入一项参数bodySerializeType,如下所示:
cli = disclient(endpoint='', ak=os.environ.get("HUAWEICLOUD_SDK_AK"), sk=os.environ.get("HUAWEICLOUD_SDK_SK"), projectid='', region='',bodySerializeType='protobuf')

配置参数如下:

1
2
streamname = "" #通道名称
partitionId="shardId-0000000000"   

通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER'

获取游标getCursor_test采用test_0方法,下载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。

配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。

1
2
200
{'next_partition_cursor': 'eyJnZXRJdGVyYXRvclBhcmFtIjp7InN0cmVhbS1uYW1lIjoiZGlzX3Rlc3QxIiwicGFydGl0aW9uLWlkIjoic2hhcmRJZC0wMDAwMDAwMDAwIiwiY3Vyc29yLXR5cGUiOiJBVF9TRVFVRU5DRV9OVU1CRVIiLCJzdGFydGluZy1zZXF1ZW5jZS1udW1iZXIiOiI2In0sImdlbmVyYXRlVGltZXN0YW1wIjoxNTU0NzA2NTc5MzA5fQ', 'records': [{'sequence_number': '4', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}, {'sequence_number': '5', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}]}

相关文档