注意力机制中的加性注意力与点积注意力对比分析

知识点描述
加性注意力和点积注意力是注意力机制中两种核心的评分函数（scoring function）实现方式。它们的目标都是计算查询向量（query）与键向量（key）之间的相关性分数，但采用不同的数学方法和计算特性。理解二者的区别对于设计高效的注意力模型至关重要。

1. 注意力机制基础回顾
注意力函数可表述为：
给定查询向量Q和键值对(K, V)，通过计算Q与每个K的相似度得到注意力权重，再对V进行加权求和：
Attention(Q, K, V) = Σ(softmax(score(Q, K)) · V)
其中score(Q, K)是评分函数，加性注意力和点积注意力是两种典型实现。

2. 加性注意力（Additive Attention）原理

• 数学形式：score(Q, K) = Wᵀ·tanh(W_q·Q + W_k·K)
  • 其中W_q和W_k是将Q和K映射到同一维度的权重矩阵，W是输出标量的权重向量
• 计算过程详解：
  1. 线性变换：将Q和K通过不同矩阵投影到相同维度dₐ（注意力维度）
  2. 相加求和：对投影后的向量进行元素级相加
  3. 非线性激活：通过tanh函数引入非线性
  4. 降维评分：通过权重向量W将dₐ维向量压缩为标量分数
• 优势：
  • 可处理Q和K维度不同的情况
  • tanh激活函数能捕捉复杂非线性关系

3. 点积注意力（Dot-Product Attention）原理

• 数学形式：score(Q, K) = Q·Kᵀ
• 计算过程详解：
  1. 维度对齐：要求Q和K的维度必须相同（设为d）
  2. 向量点积：直接计算Q与每个K的内积作为相似度
  3. 缩放处理：实际中常加入缩放因子√d防止点积过大导致梯度消失
• 优势：
  • 计算效率高，可完全矩阵化实现
  • 无需额外参数，计算复杂度低

4. 关键差异对比分析

• 计算复杂度：
  • 点积注意力：O(n·d)（n为序列长度，d为向量维度）
  • 加性注意力：O(n·d²) 因需要矩阵乘法
• 适用场景：
  • 点积注意力适合Q/K维度相同且需要高效计算的场景（如Transformer）
  • 加性注意力适合Q/K维度不同或需要更强表达能力的场景
• 梯度特性：
  • 点积注意力在d较大时需缩放避免梯度饱和
  • 加性注意力通过tanh自然限制输出范围

5. 实际应用中的选择策略

• 当Q和K维度相同时优先选择点积注意力，特别是长序列处理场景
• 当需要跨模态对齐（如图文检索）或维度不匹配时使用加性注意力
• 现代Transformer架构普遍采用缩放点积注意力，因其在GPU上的并行计算优势