分库分表架构下数据库连接数优化实战

1. 分库分表架构下的连接数爆炸问题去年双十一大促前我们的订单系统突然出现数据库连接耗尽告警。当时系统采用Sharding-JDBC进行分库共部署了8个MySQL实例每个实例16个库。随着机器扩容到200台单个MySQL实例的连接数直接突破2000大关导致新扩容的机器无法建立数据库连接。这个典型的连接数爆炸问题正是分库架构下最常见的性能瓶颈。在分库场景中连接数增长遵循乘法效应连接总数 实例数 × 库数 × 单库连接池大小 × 应用节点数。以我们当时的配置为例8个MySQL实例每个实例16个库每个库连接池maxSize10200台应用服务器 总连接数可达8×16×10×200256,000远超MySQL默认的max_connections(通常为151-3000)。这种架构下系统扩容反而会导致数据库崩溃。2. Sharding-JDBC连接管理机制剖析2.1 原生连接分配逻辑Sharding-JDBC默认采用物理库独立连接池模式。在以下配置中sharding:data-source idshardingDataSource sharding:sharding-rule>-- 改造前分库分表 CREATE DATABASE order_db_0; CREATE TABLE order_db_0.t_order_0 (id BIGINT); -- 改造后单库多表 CREATE DATABASE order_db; CREATE TABLE order_db.t_order_0 (id BIGINT);优点连接数降为实例数 × 连接池大小完全兼容现有Sharding-JDBC功能缺点需要数据迁移和双写过渡单库文件变大IO性能下降约15-20%3.2 方案二Sharding-Proxy中间层架构示例应用节点 → Sharding-Proxy集群 → MySQL分库实测数据10台Proxy可支撑500台应用节点增加约3-5ms网络延迟需要额外维护Proxy集群3.3 方案三跨库访问改造最终方案我们创新性地实现了单连接多库访问模式。关键改造点分片算法重写public class CustomDBSharding implements PreciseShardingAlgorithmLong { Override public String doSharding(CollectionString dsNames, PreciseShardingValueLong shardingValue) { // 原始分库逻辑order_id % 512 int dbIndex (int)(shardingValue.getValue() % 512); // 新逻辑映射到实例的第一个库 return ds_ (dbIndex / 32); } }SQL重写引擎增强// 在Sharding-JDBC的SQLRewriteEngine中插入库名改写逻辑 String actualSQL SELECT * FROM actualSchema . actualTable;连接池参数调优# 原配置(512个库) ds_0: maxPoolSize: 5 # 总连接数2560 # 新配置(16个库) ds_0: maxPoolSize: 50 # 总连接数8004. 实战优化效果4.1 性能对比数据指标优化前优化后提升幅度最大连接数256080068%↓TPS1200150025%↑99线延迟45ms38ms15%↓故障恢复时间15min3min80%↓4.2 典型问题排查问题现象部分分片表出现Table doesnt exist错误排查过程检查发现只有_31结尾的库报错追踪SQL解析日志发现库名未正确改写定位到Groovy表达式中的整数除法问题// 错误写法会产生浮点数 algorithm-expressionds${order_id % 512 / 32} // 正确写法 algorithm-expressionds${(order_id % 512).intdiv(32)}解决方案使用intdiv()替代除法运算符增加分片结果校验拦截器5. 深度优化建议5.1 动态连接池调整通过实时监控实现连接池弹性伸缩// 基于HikariCP的扩展 public class DynamicPoolAdjuster { Scheduled(fixedRate 5000) public void adjustPool() { double load getCurrentLoad(); int newSize (int)(baseSize * load); dataSource.setMaximumPoolSize(newSize); } }5.2 分片元数据缓存减少分片计算开销// 使用Caffeine缓存分片结果 LoadingCacheShardingKey, String shardingCache Caffeine.newBuilder() .maximumSize(100000) .expireAfterWrite(10, TimeUnit.MINUTES) .build(key - calculateSharding(key));5.3 跨库事务优化针对分布式事务的改进方案/* 使用Hint强制路由到主库 */ /* SHARDINGSPHERE_HINT: WRITE_ROUTE_ONLYtrue */ UPDATE t_order SET status1 WHERE order_id123;经过三个月生产验证该方案使系统支撑了去年双十一期间300%的流量增长而数据库服务器数量仅增加20%。这个案例告诉我们中间件的深度定制能力往往能带来意想不到的架构收益。