查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作，若数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据应用开发思路 Flink向Kafka生产并消费数据Java样例代码 Flink向Kafka生产并消费数据Scala样例代码 父主题： 开发Flink应用

查看更多 →

MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时，目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text（文本文件），而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题： 数据集成任务

查看更多 →

查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作，如果数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表

查看更多 →

与外部FTP 服务器 进行文件交换。 FTP（File Transfer Protocol，文件传输协议）是TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分：FTP服务器和FTP客户端。其中FTP服务器用来存储文件，用户可以使用FTP客户端访问位于FTP服务器上的资源。 SFTP（SSH

查看更多 →

在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包

查看更多 →

使用指导 OPC-DA - 协议描述：OPC-DA对比OPC-UA, OPC-UA更适用于远程访问，OPC-DA适用于单系统数据访问。OPC-DA为实时数据访问规范,定义了包括数据值，更新时间与数据品质信息的相关标准。 应用场景：适用于多个供应商设备和控制应用程序之间实现数据交换。 支持方式：IoTEdge+IoTDA。

查看更多 →

在YARN-Client模式下，Driver部署在Client端，在Client端启动。YARN-Client模式下，不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端向ResourceManager发送Spark应用提交请求，Client端将启动ApplicationMaster

查看更多 →

ValueInAttributes object 数据采集间隔，取值范围为1-3600 data_min ValueInAttributes object 原始数据值区间最小值，与原始数据类型关联 data_max ValueInAttributes object 原始数据值区间最大值，与原始数据类型关联 node_id

查看更多 →

使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败

查看更多 →

华为CDN将文件内容返回给客户端，当下次客户端请求同样的文件时，华为CDN直接回源到OBS获取。 “数据回源”功能是被动触发式，即只有向OBS发起请求后OBS才会到设置的源站将数据拉取过来，所以当一个新文件上传到其他云对象存储后，建议业务应用程序向OBS触发一个GET请求来请求数据（发起GET

查看更多 →

已经被删除，但是由于进程还在一直向此文件写入数据，因此空间并未释放。 执行以下命令，清除文件。 echo >“/var/log/docker/mongdb/log/mongdb” 通过这种方法，磁盘空间不但可以马上释放，也可以保证进程继续向文件写入日志。 父主题： 操作系统类（Linux）

查看更多 →

写入更新数据时报错 Parquet/Avro schema 问题 数据写入时报错： org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found

查看更多 →

“运行中”。 步骤6：发送数据和查询结果 Kafaka端发送数据。 使用Kafka客户端向步骤2：创建Kafka的Topic中的Topic发送数据，模拟实时数据流。 Kafka生产和发送数据的方法请参考：DMS - 连接实例生产消费信息。 发送样例数据如下： {"order_id

查看更多 →

KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。 本章节代码样例基于Kafka新API，对应Eclipse工程中com.huawei.storm.example

查看更多 →

HBase集群写入数据大小不能超过多少？ 问题现象 HBase集群大规模并行写入数据时，写入数据到一半卡住，无法写入数据。 原因分析 数据迁移单个请求写入数据太大，导致报错。 处理方法 建议单次写入不超过2M，单条不超过200k。 父主题： 数据读写类

查看更多 →

执行以下命令查看Sink表中是否接收到数据，即Hive表是否正常写入数据。 beeline select * from user_behavior_hive_tbl; 场景二：Hive作为维表。 参考Hive客户端使用实践进入Hive客户端，创建Hive表并插入数据 。 CREATE TABLE

查看更多 →

使用lsof命令查看是否有进程一直在向access_log文件中写入数据。 lsof -n |grep delete 图2 查看写入进程 如回显信息所示，/tmp/access_log 文件被进程httpd锁定，而httpd进程还一直向这个文件写入日志数据，最后一列的“deleted”

查看更多 →

ValueInAttributes object 数据采集间隔，取值范围为1-3600 data_min ValueInAttributes object 原始数据值区间最小值，与原始数据类型关联 data_max ValueInAttributes object 原始数据值区间最大值，与原始数据类型关联 node_id

查看更多 →

北向获取数据集订阅信息 功能介绍 北向获取数据集订阅信息。 URI URI格式 GET /softcomai/datalake/north/v1.0/statics/dataset/subscription 参数说明 无。 请求 请求样例 GET https://ipaddr:p

查看更多 →