数据库的查询执行计划中的动态计划优化技术

一、动态计划优化的基本概念
动态计划优化是数据库查询优化器的一种高级技术，用于在执行过程中根据运行时信息调整查询计划。与静态优化（在查询编译时确定计划）不同，动态优化允许计划在运行时适应数据分布、资源状态等变化，以提升性能。

二、为什么需要动态计划优化？

1. 静态优化的局限性：优化器在编译时依赖统计信息（如表大小、索引选择性）生成计划，但统计可能过时或不准确，导致次优计划。
2. 运行时因素多变：数据倾斜、并发负载、内存压力等可能影响操作效率，静态计划无法实时响应。
3. 复杂查询的适应性：如多表连接中，中间结果集的大小可能与预估差异较大，需动态调整连接顺序或算法。

三、动态优化的核心机制

1. 运行时统计收集：
   • 执行过程中收集实际数据特征（如中间结果的行数、 distinct值数量）。
   • 示例：哈希连接操作时，若发现构建表实际数据远大于预估，可切换为嵌套循环连接。
2. 检查点决策（Checkpoint-based Reoptimization）：
   • 在计划中预设检查点，评估已执行部分的实际代价，重新优化剩余部分。
   • 步骤：
     • 执行部分查询（如表A和B的连接）。
     • 测量实际结果集大小和分布。
     • 基于新数据重新计算连接顺序或算法（如将C表连接提前）。
3. 自适应算法选择：
   • 动态切换连接算法（如哈希连接与排序合并连接的切换）。
   • 条件：内存不足时，哈希连接可能退化为混合哈希（部分写入磁盘）。

四、具体技术实现举例

1. 动态过滤（Dynamic Filtering）：
   • 在星型查询中，先执行维度表过滤，将结果作为过滤器下推至事实表扫描。
   • 过程：
     • 扫描维度表，获取符合条件的键列表。
     • 将键列表转为Bloom Filter或哈希表。
     • 在扫描事实表时直接过滤，减少中间数据量。
2. 中间结果物化策略调整：
   • 根据内存压力决定是否物化中间结果。若内存充足，保留在内存中；否则写入临时表。

五、挑战与权衡

1. 开销控制：重优化本身需要额外计算，需确保收益大于代价。
2. 一致性：在事务中动态调整可能影响隔离性，需结合MVCC等机制处理。
3. 复杂度：计划动态变化增加调试难度，需详细日志记录决策过程。

六、实际应用场景

• OLAP查询：涉及大表关联和聚合，数据分布不确定时，动态优化显著提升稳定性。
• 云数据库：资源弹性变化场景下（如突发内存限制），动态调整避免OOM错误。

通过动态计划优化，数据库能在不确定性环境中保持高性能，是现代优化器的重要演进方向。