# 启动迁移任务
在大数据处理和实时日志采集的场景中，开发者经常需要将多种数据源（如Kafka、MySQL）同步到Elasticsearch/OpenSearch。然而，网络连通性受限、任务中断及多管道管理复杂度成为主要挑战。CSS服务提供的Logstash集群通过界面化配置中心，支持数据源连通性一键预检，并提供"启动"与"热启动"两种任务触发模式，配合"守护进程"常驻机制，确保在复杂业务场景下数据流的高可用性与稳定传输。
- 管道（Pipeline）：Logstash处理数据的核心逻辑单元，包含Input、Filter和Output。
- 保持常驻：一种高可用机制。开启后，系统会部署守护进程监控Logstash，如果服务异常会自动拉起修复。
#### 启动方式对比
表1启动方式介绍 
|   启动方式   |                启动                |                                                                                                                                                              热启动                                                                                                                                                               |
|---|---|---|
| **原理**   | 当集群无运行中的管道任务时执行，系统将初始化运行环境并加载配置。 | 当集群已有管道任务在"工作中"时，通过动态加载机制新增一个管道，无需重启整个Logstash进程，实现业务零中断。                                                                                                                                                                                                                                                                      |
| **批量能力** | 支持一次性启动多个配置文件，最多50个。             | 一次仅能选择启动1个配置文件。                                                                                                                                                                                                                                                                                                                |
| **常驻策略** | 启动时，支持开启或关闭"保持常驻"功能。             | 默认继承集群内已有管道任务的常驻配置，不支持单独修改。                                                                                                                                                                                                                                                                                                    |
| **适用场景** | 初始部署：当前管道列表中没有"工作中"的任务。          | 增量扩展：当前管道列表中已有"工作中"的任务，需要新增数据流。                                                                                                                                                                                                                                                                                                |
| **限制说明** | 无                                | - 使用stdin插件的配置文件禁止使用热启动功能。  - 热启动如果失败且导致进程异常，系统会尝试自动恢复以重启原Logstash进程，请谨慎选择热启动。   |
   
#### 约束限制
Logstash集群的管道列表中允许最多有50个配置文件在"工作中"。
#### 准备工作：测试连通性
在启动迁移任务前，先确保Logstash与数据源/目的端之间的网络连通性，避免迁移任务启动后因网络问题导致任务失败。
连通性测试原理
- IP层测试：使用fping命令验证目标IP地址的可达性。
- 端口层测试：使用telnet命令检测目标地址特定TCP端口的连通性。
**连通性测试前提条件**
根据Logstash与数据源/目的端的网络位置，需满足以下条件：
- 同一VPC环境：在Logstash集群安全组的出方向放通所有协议端口，入方向放通对端地址的ICMP协议及所需TCP端口。操作指导请参见[添加安全组规则](https://support.huaweicloud.com/usermanual-vpc/zh-cn_topic_0030969470.html)。
- 不同VPC环境：在Logstash集群安全组的出方向放通所有协议端口，入方向放通对端地址的ICMP协议及所需TCP端口。同时，还需要配置Logstash集群与对端VPC之间的路由连通。操作指导请参见[配置Logstash集群路由](https://support.huaweicloud.com/usermanual-css/css_01_0225.html)。
- 跨公网环境（不同局域网）：为Logstash集群配置公网IP，确保具备公网访问能力。操作指导请参见[配置Logstash公网访问](https://support.huaweicloud.com/usermanual-css/css_01_0265.html)。
1. 进入配置中心页面。
   1. 登录[云搜索服务管理控制台](https://console.huaweicloud.com/elasticsearch/)。
   
   2. 在左侧导航栏，选择"集群管理 \> Logstash"。
   
   3. 在集群列表，单击目标集群名称，进入集群详情页。
   
   4. 选择"配置中心"页签。
    
2. 在配置中心页面，单击"连通性测试"。
3. 在连通性测试弹窗中，输入数据源、目的端的IP地址和端口号，单击"测试"。 连通性测试最多可一次性测试10个IP地址。您可以单击"继续添加"，添加多个IP地址，然后单击"批量测试"一次性测试多个IP地址的连通性。
   图1连通性测试   
   ![](https://support.huaweicloud.com/usermanual-css/figure/zh-cn_image_0000001956079604.png "点击放大")
   当显示"可用"时，表示集群间网络连通。如果显示"不可用"可以参考[Logstash连通性测试的结果为不可用时怎么办？](https://support.huaweicloud.com/css_faq/css_02_0090.html)解决。
   
 
#### 启动数据迁移任务
启动Logstash管道任务，开始从源端到目的端的数据传输。
1. 确认管道列表是否存在"工作中"的任务。
   - 是，执行[3]，热启动配置文件。
   
   - 否，执行[2]，启动配置文件。
    
2. 启动配置文件。
   1. 在配置文件列表，勾选1\~50个配置文件，单击上方的"启动"。
   
   2. 在弹窗中选择是否保持常驻。 勾选：开启保持常驻适用于生产环境的长期数据流。如果Logstash服务因偶发错误停止，系统将主动拉起。
      取消勾选：关闭保持常驻适用于一次性离线数据迁移。注意：如果源端无数据，开启此项可能导致任务反复重启，导致迁移任务异常。
      
   
   3. 单击"确定"，激活Logstash管道。
    
3. 热启动配置文件。
   1. 在配置文件列表，勾选1个配置文件，单击上方的"热启动"。
   
   2. 在弹窗中确认保持常驻状态。默认继承集群内已有管道任务的常驻配置，不支持修改。
   
   3. 单击"确定"，激活Logstash管道。
    
4. 结果验证。当管道列表中新增管道的"运行状态"变为"工作中"，即表示数据迁移任务已启动并正常运行。此时，"事件"列将动态更新，显示当前已处理的文档数量。
 
#### 监控管道任务
当启动数据迁移任务后，可以通过以下方式监控对应的管道任务：
- 查看指标监控 在管道列表，单击操作列的"指标监控"，跳转到云监控服务页面，查看监控信息，了解管道任务的运行状态和性能。
  当管道的"事件"数据动态变化时，监控数据也会同步变化；当管道任务在启动中、停止中或事件数据稳定时，监控数据则无变化。
  支持的监控指标请参考[Logstash管道监控指标列表](https://support.huaweicloud.com/usermanual-css/css_01_0226.html#ZH-CN_TOPIC_0000001938218468__section655419121988)。当需要配置监控告警时，可以参考[使用CES可视化监控集群](https://support.huaweicloud.com/usermanual-css/css_01_0237.html)。
  
- 查看运行日志 在管道列表，单击上方的"运行日志"，可以查看Logstash进程的日志信息，用于排查数据解析问题。
  
- 查看操作记录 在管道列表，单击上方的"操作记录"，可以查看管道任务的启停记录，用于追溯历史操作，便于问题排查。