创建Logstash配置文件

约束限制

• 创建的配置文件大小不能超过100k。
• Logstash集群允许最多配置50个配置文件，最多可以同时存在5个“状态”为“校验中”的配置文件。

前提条件

创建配置文件前，必须先获取数据源和目的端的服务器或集群信息，例如IP地址、用户名、密码等。

创建配置文件

1. 登录云搜索服务管理控制台。
2. 左侧导航栏选择“集群管理 > Logstash”，进入集群列表页面。
3. 在集群列表，单击集群操作列的“配置中心”，进入配置中心页面。

   或者，在集群列表，单击集群名称，进入集群基本信息页面，在左侧导航栏选择“配置中心”，进入配置中心页面。

4. 单击右上角“创建”，进入创建配置文件页面，编辑配置文件。

   表1 创建配置文件

   参数	说明
   名称	自定义配置文件名称。 只能包含字母、数字、中划线或下划线，且必须以字母开头。必须大于等于4个字符。
   配置文件内容	支持使用配置文件模板进行配置项修改，或是直接开发配置文件内容。 使用配置文件模板时，需要展开“系统模板”或“自定义模板”，根据模板描述选择，单击操作列的“应用”即可直接修改配置项。 系统模板是CSS服务预置的配置文件模板，具体请参见Logstash配置文件模板介绍。 自定义模板是用户在使用过程中添加的配置文件模板。 说明： 配置文件内容大小不能超过100k。
   隐藏内容列表	配置隐藏字符串列表后，在返回的配置内容中，会将所有在列表中的字串隐藏为“***”。 输入需要隐藏的敏感字串列表，按“Enter”创建。 列表最大支持20条，单个字串最大长度512字节。

5. 编辑完成后，单击“下一页”配置Logstash管道参数。

   表2 管道参数说明

   参数	说明
   pipeline.workers	并行执行管道的Filters和Outputs阶段的工作线程数。 取值范围：1~20 默认值：CPU核数
   pipeline.batch.size	单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销。 默认值：125
   pipeline.batch.delay	创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间。 默认值：50 单位：毫秒
   queue.type	用于事件缓冲的内部队列模型。 “memory”为基于内存的传统队列。 “persisted”为基于磁盘的ACKed持久化队列。 默认值：memory
   queue.checkpoint.writes	表示强制执行检查点之前写入的最大事件数。当“queue.type”配置为“persisted”时，才需要配置该参数。 默认值：1024
   queue.max_bytes	表示持久化队列的总容量，确保磁盘的容量大于该值。当“queue.type”配置为“persisted”时，才需要配置该参数。 默认值：1024 单位：MB

6. 配置完成后，单击“创建”。

   在配置中心页面可以看到创建的配置文件，状态为“可用”，表示创建成功。

管理配置文件

在配置文件列表，支持对创建的配置文件进行编辑、添加到自定义模板、删除等操作。