数据库分库分表策略与数据迁移方案

题目描述
在大型互联网应用中，当单表数据量达到千万级或数据库并发压力过大时，需要通过分库分表提升系统性能与扩展性。请详细说明分库分表的常见策略（如水平分表、垂直分库等），并设计一个安全可靠的数据迁移方案，确保迁移过程中原有系统的可用性与数据一致性。

分库分表基础概念

1. 问题背景

   • 单表数据量过大导致查询性能下降（如B+树层级过深）。
   • 高并发场景下数据库连接数或IO成为瓶颈。
   • 单一数据库实例的硬件限制（如磁盘空间、CPU处理能力）。

2. 核心策略分类

   • 垂直分库：按业务模块拆分数据库（如用户库、订单库），降低单库压力。
   • 垂直分表：将宽表的冷热字段分离（如常用字段与详情字段分表存储）。
   • 水平分表：将单表数据按规则分散到多个结构相同的表中（如按用户ID取模分表）。

分库分表策略详解
步骤1：水平分表的路由规则

• 哈希取模：分表位置 = user_id % 分表数量。
  • 优点：数据分布均匀。
  • 缺点：扩容时需重新哈希迁移数据（一致性哈希可缓解）。
• 范围分片：按数据范围划分（如按时间或ID区间）。
  • 优点：易于扩容（直接增加新表）。
  • 缺点：可能产生数据倾斜（热点数据集中）。
• 地理分片：按地域或业务单元分片（如华北、华南库）。

步骤2：分库分表组合实践

• 先垂直分库（按业务分离），再水平分表（解决单表数据量问题）。
• 示例：电商系统分为用户库、订单库、商品库，其中订单库按订单ID哈希分16张表。

数据迁移方案设计
目标：迁移过程中系统不停服，数据不丢失且一致性得到保障。

步骤1：双写迁移法（推荐方案）

1. 阶段一：同步双写

   • 原有数据库（旧库）继续服务，新增数据同时写入旧库和新分库分表。
   • 修改业务代码，对所有写操作（增删改）同时发送到新旧库。
   • 开启日志校验工具，定期对比新旧数据一致性。

2. 阶段二：历史数据迁移

   • 使用数据同步工具（如DataX、Canal）将存量数据从旧库迁移到新库。
   • 迁移过程中记录增量日志（如Binlog），补全迁移期间的数据差异。

3. 阶段三：读流量切换

   • 逐步将读请求切换到新库（如先10%流量试运行）。
   • 验证读操作的正确性与性能稳定性。

4. 阶段四：停写旧库

   • 确认新库数据完整后，停止写入旧库，全面切换至新库。
   • 保留旧库备份一段时间以备回滚。

步骤2：注意事项

• 一致性保障：双写时需保证原子性（失败则回滚），或通过异步重试补偿机制。
• 灰度发布：按用户分组逐步迁移，降低风险。
• 回滚方案：若新库异常，需立即切换回旧库并修复数据。

总结
分库分表的核心在于选择合适的分片键与路由策略，避免跨分片查询。数据迁移需通过双写、增量同步、灰度切换等步骤平衡可用性与一致性。实际应用中可结合数据库中间件（如ShardingSphere）简化操作。