中软国际数据治理专业服务解决方案实践

的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集、实时数据处理存储等。 本指导的基本内容如下所示： 购买集群 安装 MRS 集群客户端 使用Kafka客户端创建Topic 管理Kafka主题中的消息 视频介绍

查看更多 →

快速购买Kafka流式集群 本章节为您介绍如何快速购买一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 Kafka流式集群包含如下组件：

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

查询数据级流式对比列表 功能介绍 查询不同迁移对象类型的迁移进度。说明： 在任务未结束前，不能修改源库和目标库的所有用户、密码和用户权限等。 全量、增量完成不代表任务结束,如果存在触发器和事件将会进行迁移。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

参数解释： 对象的自定义元数据，OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称，Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient

查看更多 →

参数解释： 对象的自定义元数据，OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称，Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient

查看更多 →

查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量 获取数据游标 父主题： 使用SDK

查看更多 →

Flink流式写Hudi表规范 Flink流式写Hudi表规则 Flink流式写Hudi表建议 父主题： Flink on Hudi开发规范

查看更多 →

Flink流式写Hudi表建议 使用SparkSQL统一建表。 推荐使用Spark异步任务对Hudi表进行Compaction。 父主题： Flink流式写Hudi表规范

查看更多 →

输出流DIS通道名称。该通道用于存放由行为数据和画像库计算生成的排序预处理数据，以供模型训练。通道中的数据属于流式训练作业产生的中间数据，使用者只需指定通道名称，无需往该通道发送或获取数据。 starting_offsets 是 String 读取DIS数据的起始位置，LATEST表示从最新的数据开始读取。 表10

查看更多 →

Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示。 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填

查看更多 →

Flink流式读Hudi表规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 父主题： Flink on Hudi开发规范

查看更多 →

Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下： 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。

查看更多 →

Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写

查看更多 →

初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题： 使用SDK

查看更多 →

DIS服务端错误码 Uquery更名为数据湖探索（ DLI ，Data Lake Insight）。 2018-02-08 第三次正式发布。 新增了如下内容： 创建通道 删除通道 查询通道列表 查询通道详情 获取数据游标 修改了如下内容： 上传流式数据 下载流式数据 2017-11-18 第二次正式发布。

查看更多 →

流式一句话 功能介绍 流式一句话模式的语音长度限制为一分钟，适合于对话聊天等识别场景。 该接口支持用户将一整段语音分段，以流式输入，最后得到识别结果。 实时语音识别 引擎在获得分段的输入语音的同时，就可以同步地对这段数据进行特征提取和解码工作，而不用等到所有数据都获得后再开始工作。因

查看更多 →

对象自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。 约束限制： 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8

查看更多 →

繁访问数据的业务场景。 WARM 低频访问存储 参数解释： 低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。 COLD 归档存储 参数解释： 归档存储适用于很少访问（平均一年访问一次）数据的业务场景。 代码样例 本示例用于流式下载对象。

查看更多 →

调用预置大语言模型流式模型服务 功能介绍 调用大语言模型推理服务，根据用户问题，获取大语言模型的回答，逐个token的快速返回模式，不用等待大语言模型生成完成。 URI POST /v1/model-market/public-service/{modelName}/chat-stream

查看更多 →