中软国际数据治理专业服务解决方案实践

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

工作负载异常：实例无法写入数据 Pod事件 Pod所在的节点文件系统损坏，新建的Pod无法成功在/var/lib/kubelet/device-plugins/.xxxxx写入数据，Pod通常会出现以下类似事件： Message： Pod Update Plugin resources

查看更多 →

写入更新数据时报错Parquet/Avro schema 问题 数据写入时报错： org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作，若数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

写入更新数据时报错 Parquet/Avro schema 问题 数据写入时报错： org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found

查看更多 →

从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析，将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到Elasticsearch中。

查看更多 →

MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时，目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text（文本文件），而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题： 数据集成任务

查看更多 →

流式写入Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：

查看更多 →

查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作，如果数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表

查看更多 →

HBase集群写入数据大小不能超过多少？ 问题现象 HBase集群大规模并行写入数据时，写入数据到一半卡住，无法写入数据。 原因分析 数据迁移单个请求写入数据太大，导致报错。 处理方法 建议单次写入不超过2M，单条不超过200k。 父主题： 数据读写类

查看更多 →

执行以下命令查看Sink表中是否接收到数据，即Hive表是否正常写入数据。 beeline select * from user_behavior_hive_tbl; 场景二：Hive作为维表。 参考Hive客户端使用实践进入Hive客户端，创建Hive表并插入数据 。 CREATE TABLE

查看更多 →

DDS集群持续写入数据后查询报错怎么处理 问题描述 DDS集群持续写入数据，写入后查询报错。 示例： W SHARDING [Balancer] Failed to enforce tag ranges :: caused by :: ExceededTimeLimit: Unable

查看更多 →

创建FlinkServer作业写入数据至Doris表 本章节适用于MRS 3.5.0及之后的版本。 操作场景 本章节提供了如何使用FlinkServer将Kafka数据写入到Doris中，和Doris数据和Kafka数据的Lookup Join操作指导。 前提条件 集群中已安装D

查看更多 →

使用lookup.join.cache.ttl参数来控制维表数据的加载周期，默认值为60min。 Hudi维表数据会被加载到Flink TaskManager Heap中，所以不推荐大于10万行记录的Hudi表作为维表。 维表的新增、更新数据需要等到下一次加载周期后，才能被加载进来参与计算。

查看更多 →

向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据，如果写入数据耗时在秒级，属于正常的情况。如果写入几千条数据超过5秒，一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问，会导致写入性能逐渐降低，需要对DWS进行调优，例如，定时使用analyze规划表、VACUUM

查看更多 →

使用 设备接入IoTDA 写入数据至DIS 设备接入服务 （IoT Device Access）是华为云的物联网平台，提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力，并可将设备数据灵活流转到华为云数据接入服务（DIS），帮助物

查看更多 →

"item_id":"44444444"} 输入完成后按回车发送消息。 登录HBase客户端，查看表数据信息。 hbase shell scan 'dim_province' 场景二：HBase作为维表。 在HBase客户端建表并写入数据。 参考HBase客户端使用实践，登录HBase客户端，使用create

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种 服务器 系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录 弹性云服务器 控制台。 登录管理控制台。

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录弹性 云服务器 控制台。 登录管理控制台。 单击管理控制台左上角的，选择区域。

查看更多 →