数据库查询优化中的动态采样（Dynamic Sampling）原理解析

描述
动态采样是数据库查询优化器在缺乏准确统计信息时，通过实时采样少量数据来估算表行数、列值分布等关键统计指标的技术。当查询涉及未收集统计信息的表、临时表、或复杂表达式时，优化器可能因统计信息缺失导致生成低效执行计划。动态采样通过在查询编译阶段自动采集样本数据，快速估算代价模型所需参数，从而提升计划质量。本知识点将详细解析其触发场景、采样流程、估算方法及在优化决策中的应用。

解题过程循序渐进讲解

1. 动态采样的触发场景

动态采样通常在以下情况被触发：

• 统计信息缺失：表从未收集统计信息，或统计信息已过时（如STATISTICS_LEVEL设置为BASIC）。
• 复杂过滤条件：WHERE子句包含函数、表达式或类型转换，导致优化器无法基于现有统计信息估算选择率。
• 临时表或中间结果：查询涉及临时表、嵌套视图等无法预计算统计信息的对象。
• 并行查询：为均衡并行任务负载，需动态估算数据分布。

例如，以下查询可能触发动态采样：

SELECT * FROM orders WHERE SUBSTR(order_date, 1, 7) = '2023-10';

若order_date列无直方图统计信息，优化器无法估算SUBSTR函数的选择率，需动态采样推测匹配行比例。

2. 动态采样的核心步骤

动态采样是查询编译阶段的子过程，其执行流程如下：

步骤1：采样决策

优化器解析查询树，识别统计信息不足的“模糊点”（如未知选择率的谓词）。基于代价模型，判断采样收益是否高于采样开销（如I/O与CPU消耗）。决策因素包括：

• 表大小（小表更可能触发采样）。
• 查询复杂度（涉及多表连接时采样收益高）。
• 系统参数（如Oracle的OPTIMIZER_DYNAMIC_SAMPLING级别）。

步骤2：采样执行

优化器在内存中执行微型查询，扫描表的随机数据块（如通过系统RANDOM函数选取块），收集样本。采样方式包括：

• 块采样：随机选取数据块，读取块内所有行（减少I/O开销）。
• 行采样：随机扫描表并跳行选取（适合大表）。
  采样大小通常由参数控制（如Oracle默认为64个块），确保采样在毫秒级完成。

步骤3：统计估算

基于样本数据计算关键统计量：

• 表基数：通过样本行数比例推算总行数。例如采样1%数据得100行，估算表总行数≈10,000行。
• 列NDV：统计样本中不同值的数量，采用“Goodman公式”修正估算全局NDV。
• 选择率：对谓词条件在样本中计算匹配比例，作为全局选择率估算。
• 数据分布：对样本按范围分桶，构建近似直方图。

步骤4：代价修正

将估算的统计量输入代价模型，重新计算各执行计划的代价，选择最优计划。采样结果仅用于当前查询优化，不持久化到系统统计信息表。

3. 估算方法示例（选择率估算）

假设对employees表的salary > 10000条件动态采样：

1. 随机采样1000行数据，发现200行满足条件。
2. 计算样本选择率：\(s_{sample} = 200/1000 = 0.2\)。
3. 假设表总行数\(N=10,000\)（从段头块获取近似值），则估算满足条件的行数：
   \(E = N \times s_{sample} = 10,000 \times 0.2 = 2000\)行。
4. 若采样发现salary列有数据倾斜，可进一步构建等深直方图，分桶细化选择率。

4. 应用与权衡

• 优势：
  • 解决“统计信息真空”问题，减少因信息缺失导致的计划退化。
  • 适应数据动态变化（如批量加载后未立即收集统计信息）。
• 局限性：
  • 采样引入额外开销，尤其对复杂查询可能延长编译时间。
  • 小样本可能产生估算偏差，极端数据分布下仍可能选错计划。
• 调优建议：
  • 在OLAP场景或临时表查询中提高动态采样级别。
  • 对关键大表定期收集完整统计信息，减少动态采样触发。

5. 与静态统计信息的协同

动态采样是静态统计信息的补充而非替代。优化器决策流程通常为：

1. 优先使用持久化统计信息（来自DBMS_STATS收集）。
2. 若信息缺失或失效，根据参数级别决定是否动态采样。
3. 对复杂谓词，可结合动态采样与推导规则（如传递闭包）综合估算。

通过以上步骤，动态采样在保证优化效率的同时，提升了计划稳定性，是现代数据库（如Oracle、SQL Server、PostgreSQL）应对统计不确定性的重要手段。