数据库查询优化中的选择率（Selectivity）估算与基数估算（Cardinality Estimation）进阶 1. 问题描述 在数据库查询优化中， 选择率（Selectivity） 是指查询条件过滤后剩余数据行数占总行数的比例，而 基数估算（Cardinality Estimation） 则是预测查询中间结果或最终结果集的行数。优化器依赖准确的基数估算来选择高效的执行计划（如连接顺序、索引选择）。但在复杂查询（如多列条件、关联子查询、函数表达式）中，传统估算方法（如均匀分布假设、独立性假设）可能导致严重偏差，进而引发性能问题。 2. 选择率与基数估算的基础 （1）基本公式 选择率 \( S \) 的计算： \( S = \frac{\text{满足条件的行数}}{\text{总行数}} \) 基数估算 \( C \)： \( C = \text{总行数} \times S \) （2）简单条件的估算示例 假设表 users 有 1000 行，查询 WHERE age = 25 ： 若 age 列有 10 个不同值（且均匀分布），则 \( S = \frac{1}{10} \)，基数 \( C = 1000 \times 0.1 = 100 \)。 但若数据分布倾斜（例如 25 岁有 200 人），实际基数可能为 200，而估算值（100）偏差较大。 3. 传统方法的局限性 （1）独立性假设问题 对于多列条件（如 WHERE age = 25 AND city = 'NYC' ），若假设 age 和 city 独立，则联合选择率 \( S = S_ {age} \times S_ {city} \)。但实际中，年龄和城市可能相关（例如纽约年轻人更多），导致估算偏离实际。 （2）复杂条件的挑战 范围查询 （如 WHERE age > 20 AND age < 30 ）：需依赖直方图（Histogram）估算分布，但直方图桶内均匀假设可能不准确。 函数表达式 （如 WHERE YEAR(create_time) = 2023 ）：若缺乏函数索引的统计信息，优化器可能无法估算。 多表连接 ：连接结果的基数估算需考虑关联性（如外键关联 vs. 高选择性非关联字段）。 4. 进阶估算技术 （1）直方图优化 等高直方图（Equi-Height） ：每个桶包含相同行数，适合处理倾斜数据。 等宽直方图（Equi-Width） ：按值域均匀分桶，可能因数据倾斜导致桶内行数差异大。 动态统计 ：对复杂条件，数据库（如 Oracle、MySQL 8.0）支持动态采样（Dynamic Sampling）或直方图扩展（如多列直方图）。 （2）关联性处理 多维统计信息 ：记录多列组合的分布（如 PostgreSQL 的 CREATE STATISTICS ），直接估算联合选择率。 条件独立假设修正 ：通过动态采样或机器学习模型调整估算值。 （3）表达式与函数的估算 传递闭包 ：利用已知条件的关联性推导新条件（如 WHERE a = b AND b = 10 可推导 a = 10 ）。 函数索引统计 ：为表达式创建虚拟列并收集统计信息（如 MySQL 的生成列）。 5. 实际场景中的估算误差缓解 （1）监控与反馈机制 执行计划反馈 ：对比估算基数与实际行数，动态调整后续计划的估算（如 SQL Server 的基数估算反馈）。 提示（Hint）强制计划 ：在已知估算偏差时，通过查询提示（如 /*+ INDEX() */ ）引导优化器。 （2）设计优化 避免复杂表达式 ：改写查询为优化器可识别的形式（如 YEAR(create_time) = 2023 改为范围查询 create_time BETWEEN '2023-01-01' AND '2023-12-31' ）。 分区表统计 ：对分区表分别收集统计信息，避免全局假设导致的偏差。 6. 总结 基数估算的准确性直接决定查询性能。传统方法依赖简单假设，而进阶技术通过直方图优化、关联性建模、动态采样等减少误差。在实际应用中，需结合统计信息维护、查询改写与数据库反馈机制，综合提升估算可靠性。