数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题： Hudi常见问题

查看更多 →

单位：毫秒 记录队列满则立即上传。 记录队列未满，等待此配置项配置的时间后上传到DIS服务。 5000 maxBufferSizeRecords 否 记录队列缓存的最大记录数，如果队列达到此值则立刻上传这批数据。 500 partitionKeyOption 否 每条记录会携带一个

查看更多 →

后，如果关闭日志采集开关，将无法再进行日志读写和索引，同时也不再产生日志读写和索引费用。关闭日志采集开关后，超额部分的日志继续存储在LTS，LTS收取日志存储费用，系统将根据配置的日志存储时间老化日志，日志老化后将不再产生任何费用。 云日志服务与应用运维管理的日志采集开关为同步状

查看更多 →

方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS

查看更多 →

上传采集机采集数据分片 功能介绍 将采集到的数据分片上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/sliceUploading 参数说明 无。 请求 请求样例 POST https://ip:port

查看更多 →

创建采集任务（采集Agent方式） 使用采集Agent场景需要用户在自己的网络区域安装采集Agent，保证和数据源网络可以正常通信。 安装采集Agent的方法请参考安装采集Agent。 气象数据不支持采集Agent方式。 支持的协议类型为：sftp、ftps、restful、co

查看更多 →

查询任务下检查单采集日志（API名称：queryTaskLog） 功能介绍 查询任务下检查单采集日志。 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL 请求方式

查看更多 →

client successfully. 步骤4：查看日志采集结果 Flume客户端安装成功后，向日志采集目录写入新的日志文件，验证日志是否传输成功。 例如在“/var/log/Bigdata/audit/test”目录下新建几个日志文件。 cd /var/log/Bigdata/audit/test

查看更多 →

关闭日志流的“日志存储时间”开关：日志的存储时间默认使用日志组设置的日志存储时间。 打开日志流的“日志存储时间”开关：日志的存储时间使用日志流设置的日志存储时间。 说明： 云日志服务LTS根据配置的日志存储时间定时清理日志内容，例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。

查看更多 →

安装采集Agent 介绍如何安装采集Agent。 操作步骤 执行以下命令，在“NAIE_Collector_20.5.1_Linux_x64”路径下安装采集Agent。 cd NAIE_Collector_20.5.1_Linux_x64 执行如下命令： ./Install.sh

查看更多 →

采集任务的调度频率选择 图4 部署采集任务 图5 编辑采集任务 图6 修改采集任务 未部署的采集任务才可以编辑 采集任务重新部署：部署失败的采集任务可以进行重新部署。 图7 采集子任务-1 图8 采集子任务-2 子任务重新部署 部署失败的子任务可以重新进行部署。 图9 子任务重新调度

查看更多 →

库表采集 左侧导航栏依次选择单击资源管理、库表管理、采集元数据，配置所需要的数据源表， 并依照数据标准规范，合理命名元数据名称，以及代码等项，将采集到的数据资源进行复制至部门资源库，找到部门资源库对应库表物化库表资源，最后通过数据桥接同步对应库表数据。 采集元数据： 图1 采集 复制元数据：

查看更多 →

该模块主要展示采集器的名称和类型等相关信息。 采集参数 该模块主要展示，该采集器中用户自定义的参数配置，用户进行配置后下发到Java Agent中生效，进行个性采集 指标集 该模块主要展示该采集器中所采集的主要指标信息。 采集器 采集器代表指标数据采集的一个插件，主要由采集器描述、指标集、采集参数等几部分组成

查看更多 →

数据采集概述 数据采集是指使用Logstash通过多种方式采集各类日志数据。采集后，可以快速实现历史数据分析比对、数据关联分析、以及未知威胁发现等相关分析。 约束与限制 数据采集的Agent目前仅支持运行在Linux系统x86_64架构的E CS 主机上。ECS主机支持以下操作系统类型：Huawei

查看更多 →

采集堆栈”。 采集单个实例的堆栈信息：单击要采集的实例，选择“更多 > 采集堆栈”。 根据界面提示，在弹框中选择需要采集的角色，采集内容，配置高级选项（若无特殊需求，保持默认配置即可），单击“确定”。 图1 采集堆栈 采集成功后，单击“下载”。 下载堆栈信息 选择“集群 > 待操作集群的名称

查看更多 →

云日志服务LTS支持采集的日志类型和文件类型有哪些？ 云日志服务可以采集的日志类型 主机日志，通过ICAgent采集器进行采集。当主机选择“Windows主机”时，如需采集系统日志，需要在“配置采集路径”环节，开启“采集Windows事件日志”。 云服务日志，如ELB/VPC，需要到对应的云服务上启用日志上报。

查看更多 →

上报采集过程 功能介绍 采集过程上报。 URI URI格式 POST /softcomai/datalake/collection/v1.0/report/process 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai/datalake/collection/v1

查看更多 →

备注 id 是 String 采集机ID。 esn 否 String 客户ESN。 cusName 否 String 客户cusName。 cusId 否 String 客户cusID。 ip 是 String 采集机IP。 port 是 String 采集机端口。 countryArea

查看更多 →

String 任务状态。 collectorId 是 String 采集机ID。 strategy 是 String 采集策略。 probeId 是 String 探针ID。 fileSize 否 String 本次采集的文件的大小。 响应 响应样例 {"success":true,"returnData":

查看更多 →

删除采集机 功能介绍 删除采集机。 URI URI格式 POST /softcomai/datalake/collection/v1.0/collectorConsole/delete 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai/

查看更多 →

安装采集Agent 安装流程 安装前准备 校验签名文件 解压软件包 修改配置文件 安装采集Agent 安装后检查 启动采集Agent 卸载采集Agent 父主题： 数据接入

查看更多 →