流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

已经被删除，但是由于进程还在一直向此文件写入数据，因此空间并未释放。 执行以下命令，清除文件。 echo >“/var/log/docker/mongdb/log/mongdb” 通过这种方法，磁盘空间不但可以马上释放，也可以保证进程继续向文件写入日志。 父主题： 操作系统类（Linux）

查看更多 →

ValueInAttributes object 数据采集间隔，取值范围为1-3600 data_min ValueInAttributes object 原始数据值区间最小值，与原始数据类型关联 data_max ValueInAttributes object 原始数据值区间最大值，与原始数据类型关联 node_id

查看更多 →

latest：自动复位offset为最新 none：如果没有发现offset，则向消费者抛出异常 anything else：向消费者抛出异常。 说明： 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。 connections

查看更多 →

使用lsof命令查看是否有进程一直在向access_log文件中写入数据。 lsof -n |grep delete 图2 查看写入进程 如回显信息所示，/tmp/access_log 文件被进程httpd锁定，而httpd进程还一直向这个文件写入日志数据，最后一列的“deleted”

查看更多 →

API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中写入数据 读取Phoenix表数据 配置HBase应用输出运行日志 父主题：

查看更多 →

使用指导 OPC-DA - 协议描述：OPC-DA对比OPC-UA, OPC-UA更适用于远程访问，OPC-DA适用于单系统数据访问。OPC-DA为实时数据访问规范,定义了包括数据值，更新时间与数据品质信息的相关标准。 应用场景：适用于多个供应商设备和控制应用程序之间实现数据交换。 支持方式：IoTEdge+IoTDA。

查看更多 →

KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。 本章节代码样例基于Kafka新API，对应Eclipse工程中com.huawei.storm.example

查看更多 →

HBase集群写入数据大小不能超过多少？ 问题现象 HBase集群大规模并行写入数据时，写入数据到一半卡主，无法写入数据。 原因分析 数据迁移单个请求写入数据太大，导致报错。 处理方法 建议单次写入不超过2M，单条不超过200k。 父主题： 数据读写类

查看更多 →

Topic中的消息，查看Topic并向Kafka中写入数据。 ./kafka-topics.sh --list --bootstrap-server Kafka的Broker实例业务IP:Kafka端口号 --command-config 客户端目录/Kafka/kafka/config/client

查看更多 →

系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 在 FusionInsight Manager首页，选择“运维

查看更多 →

北向获取数据集订阅信息 功能介绍 北向获取数据集订阅信息。 URI URI格式 GET /softcomai/datalake/north/v1.0/statics/dataset/subscription 参数说明 无。 请求 请求样例 GET https://ipaddr:p

查看更多 →

北向获取数据集订阅信息 功能介绍 北向获取数据集订阅信息。 URI URI格式 GET /softcomai/datalake/north/v1.0/statics/dataset/subscription 参数说明 无。 请求 请求样例 GET https://ipaddr:p

查看更多 →

行业应用集成。 通过添加数据转发规则，您可以将IoTDA配置为向DIS通道发送信息。 创建数据转发向DIS通道发送消息 登录华为云官方网站，访问 设备接入服务 。 单击“立即使用”进入设备接入控制台。 进入“规则”页面，单击页面右上角的“创建规则”，选择“数据转发”。 设置转发目标，转发至服务选择“ 数据接入服务 DIS”。

查看更多 →

参考管理Kafka Topic中的消息，向kafka中写入数据。 sh kafka-console-producer.sh --broker-list Kafka角色实例所在节点的IP地址:Kafka端口号 --topic 主题名称 --producer.config 客户端目录/Kafka/kafka/config/producer

查看更多 →

ValueInAttributes object 数据采集间隔，取值范围为1-3600 data_min ValueInAttributes object 原始数据值区间最小值，与原始数据类型关联 data_max ValueInAttributes object 原始数据值区间最大值，与原始数据类型关联 node_id

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种 服务器 系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录弹性云服务器控制台。 登录管理控制台。

查看更多 →

使用BulkLoad工具向HBase迁移数据 Apache HBase官方网站提供了批量导入数据的功能，详细操作请参见官网对“Import”和“ImportTsv”工具的描述：http://hbase.apache.org/2.2/book.html#tools。 父主题： 使用HBase

查看更多 →

使用BulkLoad工具向HBase中批量导入数据 应用场景 经常面临向HBase中导入大量数据的情景，向HBase中批量加载数据的方式有很多种，最直接方式是调用HBase的API使用put方法插入数据；另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率都

查看更多 →

北向获取数据集下载信息 功能介绍 北向获取数据集下载信息。 URI URI格式 GET /softcomai/datalake/north/v1.0/statics/dataset/download 参数说明 无。 请求 请求样例 GET https://ipaddr:port/

查看更多 →

北向获取数据集下载信息 功能介绍 北向获取数据集下载信息。 URI URI格式 GET /softcomai/datalake/north/v1.0/statics/dataset/download 参数说明 无。 请求 请求样例 GET https://ipaddr:port/

查看更多 →