采集数据
操作场景
本章节介绍如何采集数据。
步骤一：购买ECS
购买用于采集数据的弹性云服务器，详细操作请参见购买ECS。
- 数据采集的Agent目前仅支持运行在Linux系统x86_64架构的ECS主机上。ECS主机支持以下操作系统类型：Huawei Cloud EulerOS 2.5、Huawei Cloud EulerOS 2.9、EulerOS 2.5、EulerOS 2.9、CentOS 7.9。
图1 选择操作系统版本
- ECS购买后，系统将根据使用情况进行收费，具体收费情况请参见ECS计费说明。
后续如果不再使用数据采集功能，需要手动释放用于采集数据的ECS资源，详细操作请参见如何释放ECS和VPC终端节点资源？。
步骤二：安装Agent
- 安装Agent前预检查。
- 登录管理控制台。
- 在页面左上角单击
，选择“安全与合规 > 安全云脑 SecMaster”，进入安全云脑管理页面。 - 在左侧导航栏选择，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。
图4 进入目标工作空间管理页面
- 在左侧导航栏选择，默认进入节点管理页面。
图5 进入节点管理页面
- 在节点管理页面中，单击“新增”，页面右侧弹出新增节点页面。
- 在新增节点页面中，配置设备。
图6 新增节点
- 在网络通道配置栏中，选择网络通道所属的虚拟私有云和子网。
- 在网络通道列表中，单击通道“操作”列的“配置”，并在弹出的确认框中，单击“确认”。
VPC终端节点（用于连通和管理采集节点）配置后，系统将根据使用情况进行收费，具体收费情况请参见VPC终端节点计费说明。
后续如果不再使用数据采集功能，需要手动释放用于连通和管理采集节点的VPC终端节点，详细操作请参见如何释放ECS和VPC终端节点资源？。
- 单击页面右下角“下一步”，进入脚本安装验证页面后，单击
复制安装Agent的命令。 - 远程登录待安装Agent的ECS。
- 华为云主机
- 您可以登录弹性云服务器控制台，在“弹性云服务器”列表中，单击“远程登录”登录主机，详细操作请参见在云服务器控制台上登录主机。
- 如果您的主机已经绑定了弹性IP，您也可以使用远程管理工具（例如：PuTTY、Xshell等）登录主机，并使用root账号在主机中安装Agent。
- 华为云主机
- 执行cd /opt/cloud命令，进入安装目录。
安装路径建议为“/opt/cloud”，本章节也以此路径为例进行介绍。如需安装在其他自定义路径中，请根据路径修改。
- 粘贴复制的8复制的安装命令，以root权限执行，在ECS中安装Agent。
- 根据界面提示，输入登录控制台的IAM账号和密码。
- 如果界面回显类似如下信息时，则表示Agent安装成功。
install isap-agent successfully
步骤三：新增节点
- 在左侧导航栏选择，默认进入节点管理页面。
图7 进入节点管理页面
- 在节点管理页面中，单击“新增”，页面右侧弹出新增节点页面。
- 在新增节点页面中，配置设备。
图8 新增节点
- 在网络通道配置栏中，选择网络通道所属的虚拟私有云和子网。
- 在网络通道列表中，单击通道“操作”列的“配置”，并在弹出的确认框中，单击“确认”。
- 单击页面右下角“下一步”，进入“脚本安装验证”页面。
- 确认已安装后，单击页面右下角“确认”。
步骤四：配置组件
- 在左侧导航栏选择，进入节点管理页面后，选择“组件管理”页签，进入组件管理页面。
图9 进入组件管理页面
- 在组件管理页面中，单击待查看组件右上角“编辑配置”，右侧将弹出该组件的配置管理页面。
- 在节点配置栏中，单击节点列表左上角“添加”，并在弹出的“添加节点”框中选择节点后，单击“确认”。
- 单击页面右下角“保存并应用”。
步骤五：新增数据连接
- 在左侧导航栏选择，默认进入连接管理页面。
图10 进入采集管理页面
- 在“连接管理”页面中，单击“新增”，进入选择数据连接页面。
- 新增数据连接来源。
在“来源”页签中，选择数据源类型的来源，并根据选择的类型进行参数配置。
数据源类型来源支持以下类型：传输控制协议 Tcp、文件 File、用户数据协议 Udp、对象存储 Obs、消息队列 Kafka、云脑管道 Pipe
- 新增数据源连接目的。
选择“目的”页签中，选择数据源类型的目的，并根据选择的类型进行参数配置。
数据源类型目的支持以下类型：文件 File、传输控制协议 Tcp、用户数据协议 Udp、消息队列 Kafka、对象存储 Obs、云脑管道 Pipe
- 设置完成后，单击页面右下角“确认”。
（可选）步骤六：配置解析器
- 在左侧导航栏选择，进入采集管理页面后，选择“解析器管理”页签，进入解析器管理页面。
图11 进入解析器管理页面
- 支持•自定义新增和•由模板创建，请根据您的需要进行选择。
- 自定义新增
- 在解析器列表管理页面中，单击“新增”，进入新增解析器页面。
- 在新增解析器页面中，进行参数配置。
表1 新增解析器 参数名称
参数说明
基本信息
名称
设置解析器名称。
描述
输入解析器描述信息。
规则列表
设置解析器解析规则。操作步骤如下：
- 单击“添加”，并选择规则类型。
- 解析规则：选择解析器的解析规则，支持选择“UUID”、“kv解析”、“mutate解析”、“grok解析”、“date解析”、“drop解析”、“prune解析”、“csv解析”、“json解析”。
- 条件控制：选择解析器的条件控制原则，支持选择“if条件”、“else条件”、“else if条件”。
- 根据选择的规则配置对应的参数信息。
- 单击“添加”，并选择规则类型。
- 设置完成后，单击页面右下角“确定”。
- 由模板创建
- 在解析器管理页面中，选择“模板列表”页签。
- 在目标模板页面中，单击目标模板所在行“操作”列的“由模板创建”。
- 在新增解析器页面中，进行参数配置。
表2 新增解析器 参数名称
参数说明
基本信息
名称
解析器名称，系统已根据模板自动生成，可进行修改。
描述
解析器描述信息，系统已根据模板自动生成，可进行修改。
规则列表
解析器解析规则，系统已根据模板自动生成，可进行修改。
如需添加规则，可以单击“添加”，选择规则类型，并根据选择的规则配置对应的参数信息。
- 解析规则：选择解析器的解析规则，支持选择“UUID”、“kv解析”、“mutate解析”、“grok解析”、“date解析”、“drop解析”、“prune解析”、“csv解析”、“json解析”。
- 条件控制：选择解析器的条件控制原则，支持选择“if条件”、“else条件”、“else if条件”。
- 设置完成后，单击页面右下角“确定”。
- 自定义新增
步骤七：新增采集通道
- 在左侧导航栏选择，进入采集管理页面后，选择“采集通道管理”页签，进入采集通道管理页面。
图12 进入采集通道管理页面
- 新增分组。
- 在采集通道管理页面中，单击“分组列表”右侧的
。 - 输入分组名称，并单击
，完成新增。
分组新增完成后，如需编辑/删除，可以将鼠标悬停在分组名称后，单击编辑/删除按钮，进行编辑/删除操作。
- 在采集通道管理页面中，单击“分组列表”右侧的
- 在采集通道管理页面的分组列表右侧，单击“新增”，进入新增采集通道页面。
- 在“基础配置”页面中，配置基础信息。
表3 基础配置参数说明 参数名称
参数说明
基础信息
名称
自定义采集通道名称。
通道分组
选择采集通道所属分组。
（可选）描述
输入采集通道描述信息。
来源配置
源名称
选择采集通道来源名称。
选择后系统将自动生成已选择来源的相关信息。
目的配置
目的名称
选择采集通道目的名称。
选择后系统将自动生成已选择来源的相关信息。
- 基础配置完成后，单击页面右下角“下一步”，进入“解析器配置”页面。
- 在“解析器配置”页面中，选择解析器，选择后，系统将显示已选择解析器的相关信息。
如果无可选解析器或需新增解析器，可以单击“新建”，新建解析器。新增解析器详细操作请参见管理解析器。
- 解析器配置完成后，单击页面右下角“下一步”，进入“运行节点选择”页面。
- 在“运行节点选择”页面中，单击“新增”，并在弹出的添加节点框中选择节点后，单击“确认”。
- 运行参数：节点添加后，如在已添加节点中运行参数，请参照以下步骤进行处理：
- 在节点列表中，单击目标节点所在行“操作”列的“运行参数”按钮。
- 单击“添加配置”，设置运行键和运行值。
- 移除节点：节点添加后，如需移除，请在节点列表中，单击目标节点所在行“操作”列的“移除”按钮，已添加节点将被移除。
- 运行参数：节点添加后，如在已添加节点中运行参数，请参照以下步骤进行处理：
- 运行节点选择完成后，单击页面右下角“下一步”，进入“通道详情预览”页面。
- 在“通道详情预览”页面确认配置无误后，单击“确定”。
