下载流式数据
Json格式下载
参见初始化DIS客户端的操作初始化一个DIS客户端实例。
配置参数如下:
1 2 3 |
streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000" |
通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER'
配置好以上参数,执行getRecords_sample.py文件调用getRecords_test方法,响应结果如下。
1 2 |
200 {'next_partition_cursor': 'eyJnZXRJdGVyYXRvclBhcmFtIjp7InN0cmVhbS1uYW1lIjoiZGlzX3Rlc3QxIiwicGFydGl0aW9uLWlkIjoic2hhcmRJZC0wMDAwMDAwMDAwIiwiY3Vyc29yLXR5cGUiOiJBVF9TRVFVRU5DRV9OVU1CRVIiLCJzdGFydGluZy1zZXF1ZW5jZS1udW1iZXIiOiI2In0sImdlbmVyYXRlVGltZXN0YW1wIjoxNTU0NzA2NTc5MzA5fQ', 'records': [{'sequence_number': '4', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}, {'sequence_number': '5', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}]} |
Protobuf格式下载
参见初始化DIS客户端的操作初始化一个DIS客户端实例。
初始化DIS客户端,加入一项参数bodySerializeType,如下所示: cli = disclient(endpoint='', ak=os.environ.get("HUAWEICLOUD_SDK_AK"), sk=os.environ.get("HUAWEICLOUD_SDK_SK"), projectid='', region='',bodySerializeType='protobuf')
配置参数如下:
1 2 |
streamname = "" #通道名称 partitionId="shardId-0000000000" |
通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER'
获取游标getCursor_test采用test_0方法,下载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。
配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。
1 2 |
200 {'next_partition_cursor': 'eyJnZXRJdGVyYXRvclBhcmFtIjp7InN0cmVhbS1uYW1lIjoiZGlzX3Rlc3QxIiwicGFydGl0aW9uLWlkIjoic2hhcmRJZC0wMDAwMDAwMDAwIiwiY3Vyc29yLXR5cGUiOiJBVF9TRVFVRU5DRV9OVU1CRVIiLCJzdGFydGluZy1zZXF1ZW5jZS1udW1iZXIiOiI2In0sImdlbmVyYXRlVGltZXN0YW1wIjoxNTU0NzA2NTc5MzA5fQ', 'records': [{'sequence_number': '4', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}, {'sequence_number': '5', 'data': b'xxxxx', 'partitionKey': '0', 'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}]} |