# 连接器规则说明 #### 源连接器 安全云脑租户采集连接器，目前支持的源连接器类型如下表所示： 表1源连接器类型 | 连接器名称 | 对应的logstash插件 | 描述 | |:---|:---|:---| | 传输控制协议 TCP | tcp | 用于接收TCP协议日志，配置规则请参见[表2]。 | | 用户数据协议 UDP | udp | 用于接收UDP协议日志，配置规则请参见[表3]。 | | 对象存储 OBS | obs | 用于读取对象存储OBS桶的日志数据，配置规则请参见[表4]。 | | 消息队列 KAFKA | kafka | 用于读取Kafka网络日志数据，配置规则请参见[表5]。 | | 云脑管道 PIPE | pipe | 用于将安全云脑数据外发到租户侧，配置规则请参见[表 pipe连接器配置规则]。 | | Elasticsearch CSS | elasticsearch | 用于读取ES集群的数据，配置规则请参见[表7]。 | 表2tcp连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 端口 | port | number | 1025 | 是 | 配置采集节点端口号。 **可使用端口号范围1025-65535。** 不同连接器的端口号不能重复。 | | 解码类型 | codec | string | plain | 是 | 选择编码格式。 - plain：读取原始内容。 - json：处理json格式内容。 | | 是否SSL | ssl_enable | boolean | false | 否 | 是否开启ssl认证。 | | ssl证书 | ssl_cert | file | null | 否 | 当"是否SSL"选择"是"，则需要上传cert证书。 | | ssl-key文件 | ssl_key | file | -- | 否 | 当"是否SSL"选择"是"，则需要上传ssl-key文件 | | ssl密钥 | ssl_key_passphrase | string | -- | 否 | 当"是否SSL"选择"是"，则需要填写ssl证书密钥 | 表3udp连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 端口 | port | number | 1025 | 是 | 采集节点端口号。 **可使用端口号范围1025-65535。**不同连接器的端口号不能重复。 | | 解码类型 | codec | string | plain | 是 | 解码类型 - plain：读取原始内容。 - json：处理json格式内容。 | | 报文标签 | type | string | udp | 否 | 报文标签，用于后续处理的标记。一个数据采集通道对应多个数据连接场景，推荐给每个数据连接打上不同的报文标签用于区分不同数据连接的报文。 | | 队列大小 | queue_size | number | 1000000 | 否 | 队列大小。 | | 接收缓冲区字节数 | receive_buffer_bytes | number | 1000000 | 否 | 接收缓冲区字节数，保持默认值即可。 | | 缓冲区大小 | buffer_size | number | 1000000 | 否 | 缓冲区大小，保持默认值即可。 | | 工作线程 | workers | number | 1 | 否 | 工作线程数。保持默认值即可。 | 表4obs连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | region | region | string | cn-north-4 | 是 | 填写数据来源所在工作空间的region。 | | 桶 | bucket | string | demo-obs-sec-mrd-datas | 是 | 桶名，填写数据源所在的桶名。 | | endpoint | endpoint | string | https://obs.huawei.com | 是 | endpoint地址，注意要添加http或https。通过桶详情可获取endpoint地址。 | | AK | ak | string | -- | 否 | AK | | SK | sk | string | -- | 否 | SK | | 前缀 | prefix | string | /test | 否 | 日志读取的文件夹前缀，填写数据源在桶内的存储路径对应的文件夹前缀。 | | 缓存文件夹 | temporary_directory | string | /temp | 否 | 日志读取时，缓存的文件夹。安全云脑日志数据转出时需要在缓存文件夹先缓存数据，达到一定门限后转出。用户需要在ECS创建目录/opt/cloud/logstash/myobs，并把该目录作为缓存文件夹路径。 | | 报文标签 | type | string | -- | 否 | 报文标签，用于后续处理的标记。一个数据采集通道对应多个数据连接场景，推荐给每个数据连接打上不同的报文标签用于区分不同数据连接的报文。 | | 记忆路径 | sincedb_path | string | /opt/cloud/logstash/pipeline/file_name | 否 | 用于设置读取的位置信息，防止重启导致的全文遍历。建议保持默认提示配置。 | 表5kafka连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 服务地址 | bootstrap_servers | string | -- | 是 | kafka服务地址。 | | 主题 | topics | array | logstash | 是 | 主题，可同时消费多个主题。 | | 消费线程 | consumer_threads | number | 1 | 是 | 消费线程 | | 分组Id | group_id | string | -- | 否 | 消费group_id | | 偏移复位 | auto_offset_reset | string | latest | 否 | 偏移复位: - earliest：读取最早的消息 - latest：读取最新的消息 | | 安全协议 | security_protocol | string | SASL_SSL | 否 | 安全协议。 - PLAINTEXT：明文传输场景。 - SSL：SSL传输场景。 - SASL_PLAINTEXT：SASL明文传输场景。 - SASL_SSL：SASL密文传输场景。 | | sasl连接配置 | sasl_jaas_config | string | -- | 否 | sasl连接配置 | | 是否加密 | is_pw_encrypted | string | false | 否 | 是否加密 | | sasl机制 | sasl_mechanism | string | PLAIN | 否 | sasl_mechanism， | | 其中，"sasl连接配置"需要根据kafka规格进行填写。示例如下： - 明文连接配置 ``` org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码'; ``` - 密文连接配置 ``` org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码'; ``` |||||| 表6pipe连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 类型 | type | string | 租户 | 是 | 类型可选配置有"租户"、"ECS委托"，推荐配置为"ECS委托"： - 租户：通过IAM认证的场景此处选择"租户"，且需要同步填写"域账户"、"用户名"、"密码"。 - ECS委托：当租户期望通过ECS委托方式获取Token凭证场景，可选择该配置，租户账号或密码发生变更时不影响数据采集功能。在使用ECS委托前需要[管理员在IAM新建iasp-agent委托并授权](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0379.html#secmaster_01_0379__zh-cn_topic_0000001937927796_li1533760367)，以及在[在ECS上完成委托设置](https://support.huaweicloud.com/usermanual-secmaster/secmaster_01_0379.html#secmaster_01_0379__zh-cn_topic_0000001937927796_li24403851714)。 | | 管道 | pipe_id | string | -- | 是 | 下拉选择管道，即日志数据转出安全云脑的源数据所在管道。 | | 域账户 | domain_name | string | domain_name | 是 | iam账户domainName。 仅通过IAM认证的场景，"类型"设置为"租户"后，需要填写"域账户"。 | | 用户名 | user_name | string | user_name | 是 | iam账户user_name。 仅通过IAM认证的场景，"类型"设置为"租户"后，需要填写"用户名"。 | | 密码 | user_password | string | -- | 是 | iam账户user_password。 仅通过IAM认证的场景，"类型"设置为"租户"后，需要填写"密码"。 | | 订阅类型 | subscription_type | string | Shared | 否 | 订阅类型，保持默认值即可。 - Shared：共享模式。 - Exclusive：独占模式。 - Failover：灾备模式。 | | 订阅初始位置 | subscription_initial_position | string | Latest | 否 | 订阅初始位置，保持默认值即可。 - Latest：从流表对应的topic的最新位置开始消费。 - Earliest：从流表对应的topic的起始位置开始消费。 | 表7elasticsearch连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 主机地址 | hosts | array | -- | 是 | 主机地址，数据源所在主机地址。 | | 索引 | index | string | -- | 是 | 索引名称 | | 检索语句 | query | string | -- | 是 | 检索语句，读取数据的检索查询语句。 | | 用户名 | user | string | -- | 是 | 用户名，登录ES的用户名。 | | 密码 | user_password | string | -- | 是 | 密码，登录ES的密码。 | | 查询数量 | size | number | 20 | 是 | 查询数量 | | 卷 | scroll | string | 5m | 是 | 卷 | | 文档信息 | docinfo | boolean | 是 | 是 | 文档信息 | | 是否配置加密 | is_pw_encrypted | boolean | 是 | 是 | 是否配置加密 | | 是否SSL | ssl | boolean | 是 | 否 | 是否SSL | | 证书文件 | ca_file | file | -- | 否 | 证书文件 | | 是否SSL证书校验 | ssl_certificate_verification | boolean | 是 | 否 | 是否SSL校验 | #### 目的连接器 安全云脑租户采集连接器，目前支持的目的连接器类型如下表所示： 表8目的连接器类型 | 连接器名称 | 对应的logstash插件 | 描述 | |:---|:---|:---| | 传输控制协议 TCP | tcp | 用于发送TCP协议日志，配置规则请参见[表9]。 | | 用户数据协议 UDP | udp | 用于发送UDP协议日志，配置规则请参见[表10]。 | | 消息队列 KAFKA | kafka | 用于将日志写入Kafka消息队列，配置规则请参见[表11]。 | | 对象存储 OBS | obs | 用于写日志到对象存储OBS桶中，配置规则请参见[表12]。 | | 云脑管道 PIPE | pipe | 用于将日志写入安全云脑管道中，配置规则请参见[表13]。 | 表9tcp连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 端口 | port | number | 1025 | 是 | 端口 | | 解码类型 | codec | string | plain | 是 | 解码类型，json_lines或者plain - plain：读取原始内容 - json_lines：处理json格式内容 | | 主机地址 | host | string | 192.168.0.66 | 是 | host地址 注：与节点网络互通 | | 是否SSL | ssl_enable | boolean | false | 否 | 是否开启ssl | | ssl证书 | ssl_cert | file | -- | 否 | 当"是否SSL"选择"是"，则需要上传cert证书。 | | ssl-key文件 | ssl_key | file | -- | 否 | 当"是否SSL"选择"是"，则需要上传ssl-key文件 | | ssl密钥 | ssl_key_passphrase | string | -- | 否 | 当"是否SSL"选择"是"，则需要填写ssl证书密钥 | 表10udp连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 主机地址 | host | string | -- | 是 | 主机地址 注：与节点网络互通 | | 端口 | port | number | 1025 | 是 | 端口 | | 解码类型 | codec | string | json_lines | 是 | 解码类型，json_lines或者plain - plain：读取原始内容 - json_lines：处理json格式内容 | | 重试次数 | retry_count | number | 3 | 否 | 重试次数 | | 重试延迟毫秒数 | retry_backoff_ms | number | 200 | 否 | 重试延迟毫秒数 | 表11kafka连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 服务地址 | bootstrap_servers | string | -- | 是 | 服务地址eg:192.168.21.21:9092,192.168.21.24:9999 | | 主题 | topic_id | string | logstash | 是 | 主题 | | 解码类型 | codec | string | plain | 是 | 解码类型，json或者plain | | 请求体最大长度 | max_request_size | number | 10485760 | 是 | 请求体最大长度 | | 安全协议 | security_protocol | string | PLAINTEXT | 否 | 安全协议 | | sasl连接配置 | sasl_jaas_config | string | -- | 否 | sasl连接配置 | | 是否加密 | is_pw_encrypted | string | true | 否 | 是否加密 | | sasl机制 | sasl_mechanism | string | PLAIN | 否 | sasl_mechanism | | 其中，"sasl连接配置"需要根据kafka规格进行填写。示例如下： - 明文连接配置 ``` org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码'; ``` - 密文连接配置 ``` org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码'; ``` |||||| 表12obs连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | region | region | string | cn-north-4 | 是 | region | | 桶 | bucket | string | demo-obs-sec-mrd-datas | 是 | 桶名 | | endpoint | endpoint | string | https://obs.huawei.com | 是 | endpoint地址，注意要添加http或https。通过桶详情可获取endpoint地址。 | | 缓存文件夹 | temporary_directory | string | /temp/logstash/ | 是 | 缓存路径 | | 编码类型 | codec | string | plain | 否 | 编码格式plain或者json | | AK | ak | string | -- | 否 | AK | | SK | sk | string | -- | 否 | SK | | 前缀 | prefix | string | test | 否 | 路径前缀 | | 编码格式 | encoding | string | gzip | 否 | 编码格式gzip或者纯文件 | 表13pipe连接器配置规则 | 规则 | 对应logstash配置项 | 类型 | 默认值 | 是否必填 | 描述 | |:---|:---|:---|:---|:---|:---| | 名称 | title | string | -- | 是 | 自定义来源连接器名称。命名规则如下： - 名称长度取值范围为5-128个字符。 - 名称需为工作空间内唯一，不能与工作空间内的其他连接器名称相同。 | | 描述 | description | string | -- | 是 | 自定义连接器描述。命名规则如下： - 名称长度不超过256个字符。 | | 类型 | type | string | 租户 | 是 | 类型可选配置有"租户"、"平台"、"ECS委托"： - 租户：通过IAM认证的场景此处选择"租户"，且需要同步填写"域账户"、"用户名"、"密码"。 - 平台：通过AK/SK认证的场景此处选择"平台"，且需要同步填写"AK"、"SK"。 - ECS委托：当租户期望通过ECS委托方式获取Token凭证场景，可选择该配置，租户账号或密码发生变更时不影响数据采集功能。在使用ECS委托前需要[在IAM上对ECS云服务授权](https://support.huaweicloud.com/bestpractice-iam/iam_0511.html)。 | | 流表 | pipe_id | string | -- | 是 | 下拉选择流表，即日志数据转入安全云脑的源数据流表。 | | AK | ak | string | -- | 是 | 仅通过AK/SK认证的场景，"类型"设置为"平台"后，需要填写AK。获取AK/SK请参见[如何获取访问密钥AK/SK](https://support.huaweicloud.com/iam_faq/iam_01_0618.html)。 | | SK | sk | string | -- | 是 | 仅通过AK/SK认证的场景，"类型"设置为"平台"后，需要填写SK。获取AK/SK请参见[如何获取访问密钥AK/SK](https://support.huaweicloud.com/iam_faq/iam_01_0618.html)。 | | 域账户 | domain_name | string | domain_name | 是 | IAM账户domain_name。 仅通过IAM认证的场景，"类型"设置为"租户"后，需要填写"域账户"。 | | 用户名 | user_name | string | user_name | 是 | IAM账户user_name。 仅通过IAM认证的场景，"类型"设置为"租户"后，需要填写"用户名"。 | | 密码 | user_password | string | -- | 是 | IAM账户user_password。 仅通过IAM认证的场景，"类型"设置为"租户"后，需要填写"密码"。 | | 压缩类型 | compression_type | string | NONE | 否 | 报文压缩类型，推荐使用默认值。 | | 队列满阻止 | block_if_queue_full | boolean | true | 是 | 队列满阻止进入，推荐保持默认值。 | | 启用批处理 | enable_batching | boolean | true | 是 | 是否开启批处理，推荐保持默认值。 |