配置中心

连通性测试

在使用Logstash集群迁移数据时，可以先测试下数据源和Logstash集群的网络是否连通。用户也可以输入数据输出端（output）的IP地址或域名和端口号，测试该Logstash集群和数据输出端的网络是否连通。

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”，或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。
3. 在配置中心页面，选择“连通性测试”。
4. 输入数据来源的IP地址或域名和端口号，单击“测试”。
   图1 连通性测试
   
   

   连通性测试最多可一次性测试10个IP地址或域名。您可以单击“继续添加”，添加多个IP地址或域名，然后单击“批量测试”，进行一次性测试多个IP地址或域名的连通性。

创建配置文件

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”页签，进入配置中心页面；或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。
3. 单击右上角“创建”，进入创建配置文件页面。

   您可以选择系统模板或者自定义模板方式创建，也可以直接进行创建配置文件。

   • 如果选择模板方式，可以直接单击对应的模板操作列的“应用”，然后在“名称”、“配置文件内容”和“隐藏内容列表”中进行命名和修改。

     目前支持的系统模板类型有：

     • redis： 从redis数据库导入数据到Elasticsearch类型集群。
     • elasticsearch：从Elasticsearch类型集群导入数据到Elasticsearch类型集群。
     • jdbc：从jdbc导入数据到Elasticsearch类型集群。
     • kafka：从kafka导入数据到Elasticsearch类型集群。
     • beats：从beats导入数据到Elasticsearch类型集群。
     • dis：从dis导入数据到Elasticsearch类型集群。

     各个模板的参数配置请参考系统模板配置参数说明。

   • 如果直接创建配置文件，在“名称”和“配置文件内容”参数中直接输入对应内容即可。创建的配置文件内容大小不能超过100k。支持创建配置文件个数不超过50个。
   • 隐藏内容列表：输入需要隐藏的敏感字串列表，按Enter创建；配置隐藏字符串列表后，在返回的配置内容中，会将所有在列表中的字串隐藏为***（列表最大支持20条，单个字串最大长度512字节）。
4. 配置完成后，单击“下一页”，配置参数。
   配置文件在迁移数据时管道中的配置。

   表1 参数说明

   参数	说明
   pipeline.workers	并行执行管道的Filters+Outputs阶段的工作线程数，默认值为CPU核数，建议取值为1-20之间。
   pipeline.batch.size	单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销，默认为125。
   pipeline.batch.delay	创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间（以毫秒为单位），默认值为50。
   queue.type	用于事件缓冲的内部队列模型。memory为基于内存的传统队列，persisted为基于磁盘的ACKed持久化队列，默认值为memory。
   queue.checkpoint.writes	如果使用持久化队列，则表示强制执行检查点之前写入的最大事件数，默认值为1024。
   queue.max_bytes	如果使用持久化队列，则表示持久化队列的总容量，确保磁盘的容量大于该值，默认值为1024。 单位：MB。

5. 配置完成后，单击“创建”。

   在配置中心页面可以看到创建的配置文件，状态为“可用”，表示创建成功。您还可以在操作列对创建的配置文件进行编辑、添加到自定义模板、删除等操作。

   • 编辑：单击操作列的“编辑”，可以修改配置文件的内容及配置参数。
   • 添加到自定义模板：可以将当前创建的配置文件，作为模板添加到自定义模板中，方便下次创建配置文件时使用。
   • 删除：如果不需要此配置文件，可以通过操作列进行删除。

启动配置文件

配置文件创建完成后，在配置中心页面可以看到创建成功的配置文件。

1. 选择需要启动的配置文件，单击左上角的“启动”。

   配置文件可以同时选择多个进行启动，一次不能超过50个。

2. 在“启动Logstash服务”对话框中，根据业务需要，选择“是否保持常驻”。

   开启“保持常驻”适用于需要长期运行的业务，开启“保持常驻”以后，将会在每个节点上面配置一个守护进程，当logstash服务出现故障的时候，会主动拉起并修复。“保持常驻”不适用于短期运行的业务，短期业务开启保持常驻，如果源端无数据，会导致任务失败。

3. 单击“确定”，开始启动配置文件。

   可以在管道列表看到启动的配置文件。

   

   您也可以单击“操作记录”或“运行日志”，查看配置文件的相关操作记录和运行日志信息。

热启动配置文件

Logstash服务已在运行时，可以选择热启动功能增加管道。

• 使用logstash stdin插件的配置文件禁止使用热启动功能。
• 使用热启动功能时，如果配置文件热启动失败且导致logstash进程异常退出，会进行恢复机制重新启动原logstash进程，请谨慎操作。
• 只能选择一个配置文件进行热启动，且在管道列表中状态为“工作中”的配置数量小于20个。

1. 选择一个需要热启动的配置文件，单击左上角的“热启动”。

   对话框中“是否保持常驻”的值默认与管道列表中的“是否保持常驻”值保持一致。

2. 单击“确定”，开始热启动配置文件。

   可以在管道列表看到热启动的配置文件。

热停止配置文件

Logstash服务已在运行时，可以选择热停止功能移除某个管道。

1. 在管道列表选择一个需要热停止的配置，单击管道列表上方的“热停止”。
2. 根据对话框提示，单击“确定”。

   热停止成功则可以看到管道列表中目标配置已被移除且该管道数据迁移中断。

停止全部配置文件

如果需要停止管道列表中全部配置文件的数据迁移，单击管道列表上方的“全部停止”。

根据对话框提示，单击“确定”，选择停止的所有管道会造成数据迁移中断。

全部停止成功则可以看到全部管道停止数据迁移。

批量导出配置文件

进入“配置中心”页面，单击右上角的，可将配置文件批量导出本地。