数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题： Hudi常见问题

查看更多 →

数据采集 配置措施 参照操作步骤进入“策略基线”界面。 单击“配置措施”进入“配置措施”界面。 单击取消不需要的措施，取消勾选的措施将不会在策略基线表中显示。 内置措施：DSC针对数据不同周期依据华为云数据安全治理经验内置相应的措施，鼠标移动到措施名称可以查看内置措施的说明。 自

查看更多 →

日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 父主题： 处理器

查看更多 →

模型采集 接入数据源 管理数据源 采集任务管理 父主题： 应用模型

查看更多 →

上报采集机采集数据 功能介绍 将采集到的数据上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/uploading 参数说明 无。 请求 请求样例 POST https://ip:port/softcoma

查看更多 →

上传采集机采集数据分片 功能介绍 将采集到的数据分片上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/sliceUploading 参数说明 无。 请求 请求样例 POST https://ip:port

查看更多 →

编辑完成后，在上方选择“采集通道管理”页签，并单击目标采集通道操作列的“重启”，重启采集通道。 图9 重启采集通道 检查采集通道和采集节点状态。 重启完成后，在“采集通道管理”页面中，检查目标采集通道的健康状态。 图10 采集通道健康状态 在上方选择“采集节点管理”页签，页面，检查目标采集节点的健康状态。

查看更多 →

创建采集任务（采集Agent方式） 使用采集Agent场景需要用户在自己的网络区域安装采集Agent，保证和数据源网络可以正常通信。 安装采集Agent的方法请参考安装采集Agent。 气象数据不支持采集Agent方式。 支持的协议类型为：sftp、ftps、restful、co

查看更多 →

PHP SDK使用指南 物联网平台提供PHP语言的应用侧SDK供开发者使用。本文介绍PHP SDK的安装和配置，及使用PHP SDK调用应用侧API的示例。 SDK获取和安装 安装PHP开发环境。 访问PHP官网，下载并按说明安装PHP开发环境。 华为云 Php SDK 支持 PHP

查看更多 →

已安装开发工具和PHP开发语言环境，具体请参见开发准备。 将PHP安装目录中的“php.ini-production”文件复制到“C:\windows”，改名为“php.ini”，并在文件中增加如下内容。 extension_dir = "php安装目录/ext" extension=openssl

查看更多 →

安装采集Agent 介绍如何安装采集Agent。 操作步骤 执行以下命令，在“NAIE_Collector_20.5.1_Linux_x64”路径下安装采集Agent。 cd NAIE_Collector_20.5.1_Linux_x64 执行如下命令： ./Install.sh

查看更多 →

采集任务的调度频率选择 图4 部署采集任务 图5 编辑采集任务 图6 修改采集任务 未部署的采集任务才可以编辑 采集任务重新部署：部署失败的采集任务可以进行重新部署。 图7 采集子任务-1 图8 采集子任务-2 子任务重新部署 部署失败的子任务可以重新进行部署。 图9 子任务重新调度

查看更多 →

库表采集 左侧导航栏依次选择单击资源管理、库表管理、采集元数据，配置所需要的数据源表， 并依照数据标准规范，合理命名元数据名称，以及代码等项，将采集到的数据资源进行复制至部门资源库，找到部门资源库对应库表物化库表资源，最后通过数据桥接同步对应库表数据。 采集元数据： 图1 采集 复制元数据：

查看更多 →

配置采集模板 配置指令式采集模板 父主题： 质量管理

查看更多 →

日志采集类 日志出现重复/丢失的原因

查看更多 →

网络监控采集 网络监控采集(AppNetwork)是网络监控采集器，获取网络监控相关信息。包括：类别、指标、指标名称、指标说明、单位、数据类型以及默认聚合方式。 表1 网络监控采集(AppNetwork)指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式

查看更多 →

。采集器描述对采集器采集的数据进行说明，指标集是规范采集的数据，采集参数可以让用户自定义采集的数据。 数据采集由APM Agent实现采集，比如java性能数据采集通过javaagent来实现。APM Agent采集的数据必须跟采集器的指标集的数据模型定义对应， 服务器 端才会得到处理。

查看更多 →

数据采集概述 安全云脑的数据采集功能，提供了将第三方（非华为云）日志数据接入安全云脑的能力。它使用Logstash通过多种方式采集各类日志数据，采集后，可以快速实现历史数据分析比对、数据关联分析、以及未知威胁发现等相关分析。 图1 数据采集 数据采集原理 数据采集的基本原理是安全

查看更多 →

上报采集过程 功能介绍 采集过程上报。 URI URI格式 POST /softcomai/datalake/collection/v1.0/report/process 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai/datalake/collection/v1

查看更多 →

collectorStatus 否 String 采集机状态。 subNet 否 String 子网。 name 否 String 采集机名称。 packageName 否 String 采集机包名。 note 否 String 采集机备注。 createTime 否 String 采集机创建时间。 resourceUserName

查看更多 →

String 任务状态。 collectorId 是 String 采集机ID。 strategy 是 String 采集策略。 probeId 是 String 探针ID。 fileSize 否 String 本次采集的文件的大小。 响应 响应样例 {"success":true,"returnData":

查看更多 →