中软国际数据治理专业服务解决方案实践

查询数据级流式对比列表 功能介绍 查询不同迁移对象类型的迁移进度。说明： 在任务未结束前，不能修改源库和目标库的所有用户、密码和用户权限等。 全量、增量完成不代表任务结束,如果存在触发器和事件将会进行迁移。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API

查看更多 →

快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程

查看更多 →

使用流式读功能 流式读功能：读取数据时，服务端一次获取全部数据，发送到客户端socket缓冲区中，缓冲区占满则暂停，有空余则继续向缓冲区中发送数据，同时JVM逐行从缓冲区中读取数据。 优势是处理结果快，不会造成JVM内存溢出。劣势是只能向后遍历，数据处理完毕之前或者stateme

查看更多 →

参数解释： 对象的自定义元数据，OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称，Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient

查看更多 →

参数解释： 对象的自定义元数据，OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称，Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient

查看更多 →

Flink流式写Hudi表建议 使用SparkSQL统一建表。 推荐使用Spark异步任务对Hudi表进行Compaction。 表名必须以字母或下划线开头，不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128个字符。 表名中不能包含空格和特殊字符，如冒号、分号、斜杠等。

查看更多 →

Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下： 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。

查看更多 →

Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写

查看更多 →

查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量 获取数据游标 父主题： 使用SDK

查看更多 →

输出流DIS通道名称。该通道用于存放由行为数据和画像库计算生成的排序预处理数据，以供模型训练。通道中的数据属于流式训练作业产生的中间数据，使用者只需指定通道名称，无需往该通道发送或获取数据。 starting_offsets 是 String 读取DIS数据的起始位置，LATEST表示从最新的数据开始读取。 表10

查看更多 →

Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示： 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填

查看更多 →

Metadata object 参数解释： 对象自定义元数据。需要在桶的CORS配置中增加允许响应中可返回的附加头域。例如，新增x-amz-meta-property1以获取自定义元数据property1。 代码示例 本示例用于流式下载对象，以examplebucket/objectname为例。

查看更多 →

待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8

查看更多 →

loadStreamInMemory bool 可选 参数解释： 是否将对象的数据流加载到内存。 取值范围： True：忽略downloadPath参数，并将获取的数据流直接加载到内存。 False：不将对象的数据流加载到内存。 默认取值： False progressCallback

查看更多 →

对象自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8

查看更多 →

初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题： 使用SDK

查看更多 →

流式一句话 功能介绍 流式一句话模式的语音长度限制为一分钟，适合于对话聊天等识别场景。 该接口支持用户将一整段语音分段，以流式输入，最后得到识别结果。 实时语音识别 引擎在获得分段的输入语音的同时，就可以同步地对这段数据进行特征提取和解码工作，而不用等到所有数据都获得后再开始工作。因

查看更多 →

DIS服务端错误码 Uquery更名为数据湖探索（ DLI ，Data Lake Insight）。 2018-02-08 第三次正式发布。 新增了如下内容： 创建通道 删除通道 查询通道列表 查询通道详情 获取数据游标 修改了如下内容： 上传流式数据 下载流式数据 2017-11-18 第二次正式发布。

查看更多 →

上传对象-流式上传(Python SDK) 功能说明 通过SDK的流式上传，可以上传小于5GB的文件。本章节介绍如何使用python SDK流式上传对象。 流式上传使用包含“read”属性的可读对象作为对象的数据源，以网络流或文件流方式上传数据到指定桶。 接口约束 您必须是桶拥有

查看更多 →

NONE：关闭日志记录。 合并参数 将上一个节点的输出与下一个节点的输入合并为输入。 支持返回流式数据 创建快速函数流时可配置此参数。开启后，函数流执行支持返回流式数据。可参见流式文件处理。 需函数流中函数节点的代码调用流式数据接口。 描述 输入函数流的简要描述。 保存成功后，单击“启动”，在弹出的启

查看更多 →

互通过数据流驱动。其中数据流的控制通过 Stream Bridge 组件来实现。同时函数 SDK 增加流式数据返回接口，用户不需要将整个文件内容返回，而是通过 gRPC Stream 的方式将数据写入到 Stream Bridge，Stream Bridge 用来分发数据流到下一个步骤的函数

查看更多 →