流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：

查看更多 →

利用启动后处理写文件 前提条件 已创建环境。 已创建应用。 已创建并部署组件，此示例中所用组件为nginx组件。 操作步骤 登录CAE控制台。选择“组件配置”。 在“组件配置”页面上方的下拉框中选择待操作的组件。 图1 选择组件 如图2所示配置启动后处理，具体操作请参考配置生命周期。

查看更多 →

函数+APIG：处理文件上传 方案概述 资源规划 操作流程

查看更多 →

流式上传(Java SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的位置。待上传的文件可以是任何类型：文本文件、图片、视频等。 通过SDK的流式上传，可以上传小于5GB的文件。本章节介绍如何使用Java SDK流式上传对象。流式上传使用java.io

查看更多 →

contentDisposition String 可选 参数解释： 为请求的对象提供一个默认的文件名赋值给该对象，当下载对象或者访问对象时，以默认文件名命名的文件将直接在浏览器上显示或在访问时弹出文件下载对话框。 默认取值： 无 contentEncoding String 可选 参数解释：

查看更多 →

文件路径不存在，怎样处理？ 问题现象 日志信息提示文件路径不存在。 原因分析 输入的配置文件路径不存在导致的错误。 处理方法 核实并填入正确的文件路径。 父主题： 公共问题

查看更多 →

节点ID文件检查异常处理 检查项内容 检查节点的ID文件内容是否符合格式。 解决方案 在CCE控制台上的“节点管理”页面，单击异常节点名称进入E CS 界面。 复制节点ID，保存到本地。 图1 复制节点ID 登录异常节点，备份文件 。 cp /var/lib/cloud/data/instance-id

查看更多 →

Flink流式写Hudi表规范 Flink流式写Hudi表规则 Flink流式写Hudi表建议 父主题： Flink on Hudi开发规范

查看更多 →

Flink流式写Hudi表建议 使用SparkSQL统一建表。 推荐使用Spark异步任务对Hudi表进行Compaction。 父主题： Flink流式写Hudi表规范

查看更多 →

streamname="dis-test1" #已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方

查看更多 →

Flink流式读Hudi表规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 父主题： Flink on Hudi开发规范

查看更多 →

Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下： 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。

查看更多 →

Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写

查看更多 →

节点sock文件挂载检查异常处理 检查项内容 检查节点上的Pod是否直接挂载docker/containerd.sock文件。升级过程中Docker/Containerd将会重启，宿主机sock文件发生变化，但是容器内的sock文件不会随之变化，二者不匹配，导致您的业务无法访问D

查看更多 →

String 关联的在线服务的uuid。 flow_name 是 String 关联在线服务的其中一个在线流程的名称。流式训练作业所需的行为参数、模型文件路径、数据预处理信息等参数会从指定的在线服务的在线流程中获取。 online_training_config 是 JSON 请参见表12，平台参数。

查看更多 →

Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示。 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填

查看更多 →

节点配置文件检查异常处理 检查项内容 检查节点上关键组件的配置文件是否存在。 当前检查文件列表如下： 文件名 文件内容 备注 /opt/cloud/cce/kubernetes/kubelet/kubelet kubelet命令行启动参数 - /opt/cloud/cce/kub

查看更多 →

使用流式解码实现数据逻辑复制 第三方复制工具通过流式逻辑解码从 GaussDB 抽取逻辑日志后到对端数据库回放。对于使用JDBC连接数据库的复制工具，具体代码请参考《开发指南》中“应用程序开发教程 > 基于JDBC开发 > 示例：逻辑复制代码示例”章节。 父主题： 逻辑解码

查看更多 →

使用流式解码实现数据逻辑复制 第三方复制工具通过流式逻辑解码从GaussDB抽取逻辑日志后到对端数据库回放。对于使用JDBC连接数据库的复制工具，具体代码请参考《开发者指南》中“应用程序开发教程 > 基于JDBC开发 > 示例：逻辑复制代码示例”章节。 父主题： 逻辑解码

查看更多 →

使用流式解码实现数据逻辑复制 第三方复制工具通过流式逻辑解码从GaussDB抽取逻辑日志后到对端数据库回放。对于使用JDBC连接数据库的复制工具，具体代码请参考《开发指南》中“应用程序开发教程 > 基于JDBC开发 > 示例：逻辑复制代码示例”章节。 父主题： 逻辑解码

查看更多 →