停止迁移任务
在通过Logstash进行大规模数据迁移或日志采集时,可能因业务策略调整、配置调优或迁移任务结束,需要及时中断数据流,但盲目停止进程可能导致采集位点丢失或目标端数据不一致,影响业务的正常运行。CSS服务的Logstash集群提供了“全部停止”与“热停止”两种方式停止管道任务,适用于不同停止Logstash迁移任务的场景,确保数据迁移或日志采集任务的安全中断。
停止方式对比
| 停止方式 | 全部停止 | 热停止 |
|---|---|---|
| 管道运行状态 | 管道任务的“运行状态”变成“已停止”。 | 直接移除了某个管道任务。 |
| 原理 | 向Logstash进程发送全局信号,阻塞管道执行逻辑,但不注销配置元数据。 | 针对特定管道执行动态卸载操作,移除对应的配置文件引用,进程不再加载该任务。 |
| 数据完整性 | 停止操作可能导致正在传输中的数据出现短暂延迟或位点重置,请确保源端数据具备可追溯性(如数据库增量字段)。且停止管道任务会直接中断数据迁移,请谨慎操作。 | |
| 适用场景 | 适用于集群整体维护、突发业务高峰需临时释放资源的场景,通过挂起管道任务并保留配置,以便后续一键恢复。 | 适用于精细化运维场景,如单个迁移任务已完成、永久下线特定数据流。支持在不影响其他业务的前提下,彻底移除特定的管道任务并释放系统资源。 |
前提条件
Logstash集群的配置中心有“工作中”的管道任务。
全部停止
一键挂起集群内所有正在运行的管道任务。
- 进入配置中心页面。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“配置中心”页签。
- 在管道列表,单击上方的“全部停止”。
- 在对话框中,单击“确定”,停止所有管道的数据迁移任务。
- 结果验证。观察管道列表的“运行状态”列,确认所有管道状态均显示为“已停止”。
热停止
移除特定的单个管道任务,且不影响其他管道的运行。
- 进入配置中心页面。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“配置中心”页签。
- 在管道列表,勾选目标管道任务,单击上方的“热停止”。
- 在对话框中,单击“确定”,停止所选管道的数据迁移任务。
- 结果验证。确认目标管道任务已从管道列表中移除。