数据库查询优化中的统计信息反馈（Statistics Feedback）技术

1. 问题描述

在数据库查询优化中，优化器依赖统计信息（如数据分布、列的唯一值数量等）来生成高效的执行计划。但统计信息可能过时或不准确，导致优化器选择次优计划（如错误选择嵌套循环连接而非哈希连接）。统计信息反馈是一种动态优化技术：通过对比执行前的预估统计信息（例如预估行数）和实际执行时的真实统计信息（例如实际返回行数），自动修正后续查询的统计信息或优化策略，从而逐步提升查询性能。

2. 技术原理与核心步骤

步骤1：识别统计信息偏差

• 场景示例：
  假设查询为：

  SELECT * FROM orders WHERE customer_id BETWEEN 1000 AND 2000;  
  

• 优化器预估：
  基于历史统计信息，优化器可能假设customer_id均匀分布，预估返回1000行。
• 实际执行：
  运行时发现实际返回5000行（可能因数据倾斜导致偏差）。

步骤2：记录偏差信息

• 数据库在执行过程中会记录关键指标的偏差，例如：
  • 预估行数（Estimated Rows） vs 实际行数（Actual Rows）
  • 选择率（Selectivity） 的差异（例如，WHERE条件的实际过滤效果）。
• 这些偏差信息被存入内部反馈缓存（如Oracle的SQL Plan Directives、PostgreSQL的pg_stat_statements扩展）。

步骤3：反馈应用与计划修正

• 短期修正：
  对于重复执行的查询，优化器直接使用反馈的统计信息调整执行计划（例如下次执行时选择更适合的连接算法）。
• 长期修正：
  系统自动触发统计信息重新收集（如更新直方图），确保未来查询基于更准确的数据分布生成计划。

3. 具体案例与优化过程

案例背景

表sales包含product_id和sale_date两列，初始统计信息显示product_id有1000个唯一值，数据分布均匀。

初始查询与问题

SELECT * FROM sales   
WHERE product_id = 123 AND sale_date > '2023-01-01';  

• 优化器行为：
  • 预估product_id=123的选择率为1/1000，预估返回100行。
  • 实际执行时，因product_id=123是热销商品，实际返回10万行。
  • 优化器本应选择哈希连接，但因低估行数而错误选择了嵌套循环连接，导致性能低下。

反馈机制介入

1. 首次执行后：
   • 系统记录实际行数（10万）与预估行数（100）的偏差（偏差因子=1000）。
2. 第二次执行同一查询：
   • 优化器通过反馈缓存识别到历史偏差，将预估行数修正为10万。
   • 重新生成计划：选择哈希连接而非嵌套循环连接，性能提升。
3. 长期优化：
   • 系统自动标记product_id列需要重新收集统计信息，并可能为其创建直方图（Histogram）以捕获数据倾斜。

4. 技术优势与限制

优势

• 自适应性：无需DBA手动干预，系统自动修正统计信息偏差。
• 针对性优化：仅对存在统计偏差的查询或列进行修正，避免全局统计信息收集的开销。

限制

• 首次执行代价：反馈机制依赖历史执行数据，首次执行可能仍使用次优计划。
• 缓存管理：反馈缓存需合理维护，避免过时反馈信息干扰新查询。

5. 总结

统计信息反馈技术通过“执行-反馈-修正”的闭环，动态校准优化器的认知偏差，是自适应查询优化（Adaptive Query Optimization）的核心组成部分。该技术尤其适用于数据分布频繁变化或初始统计信息不准确的场景，能显著减少因计划选择错误导致的性能问题。