计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

热点行更新

更新时间:2025-02-11 GMT+08:00

数据库中频繁被增删改查的记录被称为热点行。热点行出现的场景包括秒杀抢购、演唱会门票预订、热门路线火车票预定等等。由于事务对数据更新时,需要持有行锁,同一时刻内只能有一个事务更新热点行,其他事务只能等待行锁释放后继续执行,热点行更新的性能存在瓶颈,并且传统的分库分表策略在性能提升方面并不会有太大帮助。

云数据库 TaurusDB支持热点行更新优化,您可以通过手动指定或者自动识别的方式开启热点行更新。热点行更新开启后可以大幅度提升热点行的更新性能。

原理介绍

TaurusDB热点行更新的架构如下图所示:分为Counter_hash,Group_hash两部分。其中Counter_hash主要用于实现热点行的自动判断。Group_hash是热点行的实际实现部分,由多个Hotspot group组成。每个Hotspot group对应一个热点行,每个Hotspot group由多个batch组成,交替为热点行提供批量提交服务。

约束与限制

  • TaurusDB实例的内核版本为2.0.54.240600及以上时支持使用该功能。
  • 功能使用约束如下:
    • where条件中只能使用主键或唯一索引的等值匹配,并且只能更新单条记录。否则将绕过优化正常更新。
    • 不允许修改索引列,否则将绕过优化正常更新。
    • 只对修改列为整数的更新生效,否则将绕过优化正常更新。
    • 只允许对热点行记录进行两个元素的加减操作,且第一个元素与等号左侧相等并满足唯一索引等约束,不允许赋值操作。假设c列为待修改列,d为记录的普通列,那么只允许进行类似c=c+1,或者c=c-1的操作,不允许进行c=d+1,c=1+c,c=c+1+1,c=1+c+1等操作。否则将绕过优化正常更新。
    • 只允许对隐式事务生效。即要求AUTOCOMMIT为ON,并且不在BEGIN,COMMIT显示开启的事务中使用。否则将绕过优化正常更新。
    • 需要使用HOTSPOT显式标记热点行更新事务,或者将rds_hotspot_auto_detection_threshold设置为非0,开启热点行更新自动识别功能。否则将绕过优化正常更新。rds_hotspot_auto_detection_threshold的详细用法请见参数说明。
    • 只对RC级别生效。数据库处于其他隔离级别时将绕过优化正常更新。
    • 无法在stored function, trigger以及event中使用,否则将对客户端报如下错误:
      HOTSPOT hints can not be used in stored function, trigger or event
  • 行为变更: 一个hotspot事务组内,除了执行失败或者在更新阶段killed的事务外,其他事务被按批次集中提交,集中记录redo log和undo log,只能集中提交或者回滚,无法单独回滚。每个批次提交的事务个数为几十到几百个不等。

参数说明

表1 参数说明

参数名称

参数说明

rds_hotspot

热点行更新优化开关。将其设置为ON将启用热点行更新优化。

rds_hotspot_follower_wait_commit_interval

热点行更新follower事务等待leader事务日志持久化时,进入阻塞前的睡眠时间。单位:微秒。对日志持久化速度慢的实例,建议调大。对于持久化快速的实例,建议设置为0,不休眠直接阻塞。

rds_hotspot_leader_wait_follower_interval

热点行更新leader事务等待follower更新记录的时间单位。单位:微秒。低并发适当调低可以避免性能下降。高并发适当调高可以提升性能。当QPS超过20w时,建议将该值设置为100或者更大。

rds_hotspot_auto_detection_threshold

热点行更新的自动识别功能开关。设置为0表示不启用自动识别功能。设置为非0表示热点行更新的识别阈值。当某个符合热点行要求的行每秒更新次数超过阈值时将启动热点行更新功能。

rds_hotspot_batch_size_lower_limit

每批热点事务大小的建议最小值。每个batch尽可能达到该大小。但是,这并不是严格保证的。当leader发现所有需要等待的follower都已经到达时,batch就进入提交状态。

rds_hotspot_max_memory_size

热点行更新中group和counter占用的内存上限。当group占用的内存超过限制时,将清空group所占用的内存。当counter占用的内存超过限制时,将清空counter所占用的内存。申请新的内存时才会尝试清空旧内存。

rds_hotspot_enable_time_statistics

是否开启热点行更新的时间相关的状态统计功能。将其设置为ON以启用该功能。

状态说明

表2 状态说明

状态

说明

Hotspot_total_trx

使用hotspot总事务数

Hotspot_update_errors

更新阶段出错的热点行更新事务,这些出错的事务只会自己更新失败,不会影响其他热点行更新事务的提交。

Hotspot_trx_rollbacked

更新阶段完成,但是在提交时队长(leader)决定回滚的事务数量。

须知:

一条更新语句分两个阶段,更新阶段和提交阶段。当队长(leader)决定回滚时,所有组员(follower)跟着一起回滚。

Hotspot_trx_committed

提交成功的热点行更新事务数量。

Hotspot_batch_size

热点行更新事务分批次提交。该值表示当前批次热点行更新事务的数量。

Hotspot_batch_wait_time

热点行更新按批次持有锁和提交事务。此时间为当前热点行更新批次等待上一批次释放锁的时间,单位微秒。

Hotspot_leader_wait_follower_time

在一个批次中leader需要等待follower完成记录更新,此时间为当前批次leader等待follower的时间,单位微秒。

Hotspot_leader_total_time

当前批次leader的热点行更新事务总时间,单位微秒。

Hotspot_follower_total_time

当前批次某一个follower的热点行更新事务总时间,单位微秒。

Hotspot_follower_wait_commit_time

在一个批次中follower需要等待leader持久化日志,此时间为当前批次某一个follower等待leader持久化日志的时间,单位微秒。

Hotspot_group_counts

每个热点行更新对应一个组,组内事务分批次提交。该值为使用热点行更新的组数。

Hotspot_counter_counts

counter用于自动判断热点行更新。当counter中的统计值满足要求时,将会创建group使用热点行更新。该值为counter的总数。

新增关键字

新增标记语句的关键字如下:

表3 新增关键字

关键字

描述

HOTSPOT

表示开启热点更新功能。

NOT_MORE_THAN

可选项。表示目标值不大于某值。

NOT_LESS_THAN

可选项。表示目标值不小于某值。

上述关键字放置在SQL语句末尾。HOTSPOT必须在最前面,NOT_MORE_THAN和NOT_LESS_THAN没有位置前后的要求。

例如:假设id是主键列,c是int类型列,那么支持以下语法:

UPDATE c=c+1 where id=10 HOTSPOT;
UPDATE c=c+1 where id=10 HOTSPOT NOT_MORE_THAN 100; // c值不大于100
UPDATE c=c-1 where id=10 HOTSPOT NOT_LESS_THAN 0;   // c值不小于0
UPDATE c=c+1 where id=10 HOTSPOT NOT_MORE_THAN 100 NOT_LESS_THAN 0; // c值不大于100,不小于0
UPDATE c=c+1 where id=10 HOTSPOT NOT_LESS_THAN 0 NOT_MORE_THAN 100; // c值不大于100,不小于0

当超过NOT_MORE_THAN或者NOT_LESS_THAN的限制时,会向客户端报如下错误:

HOTSPOT field value exceeds limit

使用示例

  1. 创建表,准备数据。
    CREATE TABLE test.hotspot1 (
      `id` int NOT NULL primary key,
      `c` int NOT NULL DEFAULT '0'
    ) ENGINE=InnoDB;
    INSERT INTO test.hotspot1 VALUES (1, 1);
  2. 打开热点行更新开关。
    SET GLOBAL rds_hotspot = ON;
  3. 修改隔离级别,AUTOCOMMIT。
    SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;
    SET SESSION AUTOCOMMIT = ON;
  4. 发起带HOTSPOT关键字的更新。
    UPDATE test.hotspot1 SET c=c+1 WHERE id=1 HOTSPOT;
  5. 检查热点行更新状态。
    SHOW STATUS like "%hotspot%";

性能测试

  • 测试环境

    实例规格:8U32GB、32U128GB

    ECS规格:32U64GB

    测试环境:华北-北京四

    测试工具:sysbench-1.0.18

    数据模型:

    • 1张表,1条数据。
    • 8张表,每张表1条数据。
  • 参数配置

    rds_hotspot=ON

    transaction_isolation=READ-COMMITTED

    max_prepared_stmt_count=1048576

    rds_global_sql_log_bin=OFF

  • 测试方法

    测试所需数据表定义:

    CREATE TABLE sbtest (id int NOT NULL AUTO_INCREMENT,k int NOT NULL DEFAULT '0',PRIMARY KEY (id));

    测试语句:

    UPDATE sbtest%u SET k=k+1 WHERE id=1 hotspot;

  • 测试场景和测试结果

    测试场景1:8U32GB实例单个热点行更新

    测试结果:所有并发均有不同程度提升,64并发及以下并发提升不明显,128并发及以上并发提升明显,最高提升9.26倍。

    测试场景2:32U128GB实例单个热点行更新

    测试结果:128并发及以上并发提升明显,最高提升639倍。

    测试场景3:32U 128GB实例8个热点行更新

    测试结果:256及以下并发无提升,512及以上并发提升效果明显,最高提升78倍。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容