查看ClickHouse复制表数据同步监控
操作场景
在ClickHouse中,Replicated*MergeTree系列引擎表用于实现数据的高可用性和分布式的数据存储。这些表在同一个分片(shard)下可以有多个副本(replica),这些副本之间会自动进行数据同步,以确保数据的一致性和可靠性。
为了帮助用户更好地管理和监控数据同步过程,MRS在Manager页面提供了可视化的监控工具,详细记录副本间的数据同步状态。
典型应用场景:
- 数据写入后验证同步:向ClickHouse复制表写入数据后,检查各副本间的数据是否已同步一致。
- 异常排查:当查询结果出现不一致或数据丢失时,通过监控页面快速定位未同步的分片和副本。
- 定期巡检:定期检查复制表数据同步状态,确保集群数据一致性,及时发现潜在风险。
约束与限制
当前只支持Replicated*MergeTree系列引擎表并且建表语句携带ON CLUSTER关键字的表监控查询。
复制表数据同步
MRS 3.2.0-LTS及之后版本:
- 登录FusionInsight Manager系统。
详细操作请参考访问集群Manager。
- 选择“集群 > 服务 > ClickHouse > 逻辑集群”,单击逻辑集群名称。进入该逻辑集群页面,选择“数据同步状态”,可以查看当前逻辑集群的数据同步状态。
选择“按数据表查询”,搜索框输入对应的数据表表名进行过滤查询。
表1 数据状态同步参数说明 参数
参数说明
数据表
Replicated*MergeTree系列引擎表表名。
所属数据库
数据表所在的数据库。
分片信息
数据表所在的ClickHouse分片。
同步状态
分为以下几种状态。
- 无数据:当前分片节点上该表没有数据。
- 已同步:当前分片节点上该表有数据,并且分片下多个副本实例间的数据一致。
- 未同步:当前分片节点上该表有数据,但分片下多个副本实例间的表数据不一致。
详情
数据表在对应ClickHouseServer实例上的表数据同步详情。
MRS 3.2.0-LTS之前版本:
- 登录FusionInsight Manager系统。
详细操作请参考访问集群Manager。
- 选择“集群 > 服务 > ClickHouse > 数据同步状态”,可以查看当前集群的数据同步状态。
选择“按数据表查询”,搜索框输入对应的数据表表名进行过滤查询。
表2 数据状态同步参数说明 参数
参数说明
数据表
Replicated*MergeTree系列引擎表表名。
所属数据库
数据表所在的数据库。
分片信息
数据表所在的ClickHouse分片。
同步状态
分为以下几种状态。
- 无数据:当前分片节点上该表没有数据。
- 已同步:当前分片节点上该表有数据,并且分片下多个副本实例间的数据一致。
- 未同步:当前分片节点上该表有数据,但分片下多个副本实例间的表数据不一致。
详情
数据表在对应ClickHouseServer实例上的表数据同步详情。
相关文档
- 了解如何安装和使用ClickHouse客户端连接ClickHouse服务,具体请参考ClickHouse客户端使用实践。
- 了解更多ClickHouse用户权限管理(如修改、删除租户等),具体请参考ClickHouse用户权限管理。
- 了解如何对ClickHouse表进行操作,例如创建表、删除表、修改/查询表数据,具体请参考ClickHouse常用SQL语法。
常见问题
- 监控数据不刷新:监控数据为非实时刷新,请等待几分钟后刷新页面。如长时间不刷新,请检查Manager服务状态和ClickHouse服务连通性。
- ON CLUSTER与非ON CLUSTER建表的区别:使用ON CLUSTER关键字建表会在集群所有节点上创建表结构,可被监控页面识别;未使用ON CLUSTER仅在单个节点创建表,无法被监控页面统一管理。