数据库查询优化中的索引下推与列存储优化

1. 问题描述

在大数据量查询场景中，尤其是在列式存储数据库（如 ClickHouse、Vertica 等）或支持列存储的混合数据库（如 PostgreSQL 的列存储扩展）中，传统的行存储索引优化可能无法充分发挥性能潜力。索引下推与列存储优化结合，是一种针对列式数据布局的查询加速技术，其核心思想是：

• 在列存储中，数据按列组织，每列独立存储，查询时只需读取涉及的列。
• 通过将过滤条件下推到存储层，在读取列数据时尽早过滤无关数据块，减少 I/O 和内存开销。

例如，对于查询：

SELECT name, salary 
FROM employees 
WHERE department = 'IT' AND salary > 100000;

如果 department 和 salary 两列均独立存储，如何高效利用过滤条件减少数据读取量？

2. 列存储的基本结构

在列存储中，表数据按列分割存储，每列数据通常分为多个数据块（Block）。每个块包含一段连续的行范围（例如 1 万行），块内部采用压缩编码（如 RLE、字典编码等）。列存储的优势在于：

• 高压缩率：同列数据类型一致，压缩效率高。
• 减少 I/O：查询只需读取涉及的列，避免读取整行。

但过滤多列时，需要跨列组合过滤条件，传统行存储的索引（如 B+ 树）可能不直接适用。

3. 列存储的索引机制

列存储通常采用轻量级索引辅助过滤，例如：

• 区段元数据：记录每个数据块内该列的最小值、最大值、空值数量等。
• 位图索引：对低基数列（如 department）记录每个值对应的行位置位图。
• 布隆过滤器：对高基数列（如 salary）快速判断某个值是否不在块中。

这些索引信息与列数据块一起存储，称为元数据索引。

4. 索引下推在列存储中的工作流程

以查询 WHERE department = 'IT' AND salary > 100000 为例：
步骤 1：读取列元数据索引

• 数据库先读取 department 列的每个数据块的元数据（如字典编码映射、值列表）。
• 若某个块的最小/最大值范围不包含 'IT'，则跳过整个块，无需读取该块的任何行数据。
• 对 salary 列同样操作，跳过最大值 ≤ 100000 的块。

步骤 2：组合过滤

• 对未跳过的块，计算行位置的交集（例如通过位图 AND 操作），得到可能满足两个条件的行集合。
• 仅对这些行读取 department 和 salary 列的详细数据，进行精确匹配。

步骤 3：延迟物化

• 直到过滤完成后，才从 name 列中读取最终结果对应的行数据（避免读取被过滤行的 name 列）。

5. 性能优势与适用场景

1. I/O 减少：通过元数据过滤跳过无关数据块，在存储层减少数据读取量。
2. CPU 优化：压缩列数据在内存中直接计算，减少解压开销。
3. 适合场景：
   • 宽表查询（仅涉及少数列）。
   • 高选择性过滤条件（可跳过大量数据块）。
   • 聚合查询（如 SUM、AVG 仅需读取聚合列）。

6. 实现注意事项

1. 元数据精度：块内最大值/最小值范围越精确，过滤效果越好，但元数据存储开销会增加。
2. 多列过滤顺序：优先过滤高选择性列，减少后续列的读取量。
3. 与压缩协同：字典编码列可直接在编码值上过滤，无需解压。

7. 对比行存储索引下推

• 行存储（如 B+ 树）：索引下推通常在索引叶子层过滤，但需回表读取整行。
• 列存储：索引下推在列数据块层过滤，且无需读取未涉及的列，节省更多 I/O。

通过结合列存储的数据布局和轻量级元数据索引，索引下推在列存储中实现了更细粒度的数据跳过，成为数据仓库和分析型查询的关键优化手段。