数据库查询优化中的动态采样（Dynamic Sampling）技术

1. 技术背景与问题描述

在数据库查询优化中，优化器需要根据统计信息（如数据分布、唯一值数量等）估算查询的代价，从而选择高效的执行计划。但统计信息可能因以下原因失效：

• 数据频繁更新：统计信息未及时刷新，导致估算偏差。
• 复杂条件组合：多个条件关联时，传统统计信息无法准确捕捉相关性。
• 临时表或未分析的表：新创建的表或中间结果缺乏统计信息。

动态采样是一种运行时补充统计信息的技术，它通过临时抽取少量数据样本，实时估算条件选择率、连接基数等，以纠正优化器的误判。

2. 动态采样的核心思想

动态采样在查询编译阶段（非执行阶段）对表或索引进行小规模随机采样，用样本数据推断整体特征：

• 目标：减少因统计信息缺失或过时而导致的执行计划错误（如误选嵌套循环连接而非哈希连接）。
• 触发条件：通常当优化器检测到统计信息不充分时自动启用（如Oracle的OPTIMIZER_DYNAMIC_SAMPLING参数）。

3. 动态采样的具体步骤

步骤1：识别统计信息缺口

优化器解析查询时，检查以下情况：

• 表缺少统计信息（如新表未运行ANALYZE）。
• 查询条件涉及复杂表达式（如WHERE (a+b)>10）。
• 多列关联条件（如WHERE col1=col2 AND col1>100）。

步骤2：确定采样级别与范围

数据库系统预设动态采样的级别（例如0~10级），级别越高，采样数据量越大，精度越高但耗时增加：

• 低级别（如1-2级）：仅对无统计信息的表采样少量块（如32个数据块）。
• 高级别（如4级以上）：对所有表采样，甚至针对复杂条件单独采样。

步骤3：执行采样并计算统计量

优化器随机读取数据页或块，提取样本后计算：

• 选择率：满足条件的样本行数比例。

  示例：WHERE age > 30  
  采样100行，其中40行满足条件 → 选择率 ≈ 40%  
  

• 基数估算：根据选择率推断最终结果集大小。
• 数据分布：针对连续值或枚举值估算直方图。

步骤4：修正执行计划

将动态采样结果代入代价模型，重新比较不同执行计划的代价，选择最优方案。

4. 实际示例说明

假设查询：

SELECT * FROM orders o, customers c  
WHERE o.customer_id = c.id AND c.country = 'US' AND o.amount > 1000;  

若customers表刚插入大量数据，统计信息过时：

• 问题：优化器可能低估country='US'的选择率，误认为嵌套循环连接更快。
• 动态采样过程：
  1. 随机扫描customers表的1000行，发现country='US'的比例为30%（而非旧统计信息的10%）。
  2. 对orders表采样，发现amount>1000的比例为5%。
  3. 根据采样结果重估连接基数，选择哈希连接而非嵌套循环连接。

5. 优缺点与适用场景

优点：

• 减少因统计信息滞后导致的性能问题。
• 尤其适合OLAP场景中复杂查询的优化。

缺点：

• 增加查询编译时间（采样需额外I/O和计算）。
• 采样结果可能存在随机误差。

适用场景：

• 数据仓库中频繁更新的表。
• 临时表或中间结果的查询优化。
• 复杂条件（如多列关联、函数表达式）的查询。

6. 与其他优化技术的关系

• 与静态统计信息互补：动态采样弥补静态分析的不足，但不能完全替代定期ANALYZE。
• 与自适应查询处理结合：部分数据库（如SQL Server）将动态采样与运行时计划调整（如自适应连接）结合，进一步优化长期性能。

通过动态采样，数据库优化器在“信息不全”的困境中获得了更可靠的决策依据，提升了查询计划的鲁棒性。