自注意力机制（Self-Attention）中的因果掩码（Causal Masking）原理与实现
1. 知识点描述
因果掩码（Causal Masking），又称序列掩码（Sequence Masking）或前瞻掩码（Look-ahead Masking），是Transformer解码器自注意力层中的关键技术。其核心作用是确保在生成序列时，每个位置的输出只能依赖于该位置之前（包括自身）的已知信息，而不能"看到"未来的信息。这种掩码机制是保证模型自回归生成（Autoregressive Generation）正确性的基础，广泛应用于机器翻译、文本生成等序列到序列任务。
2. 为什么需要因果掩码？
- 自回归生成需求：在生成任务中（如GPT系列模型），模型需要逐个生成序列元素。生成第t个词时，只能使用已经生成的1到t-1个词作为上下文，而不能使用尚未生成的t+1及之后的词。
- 防止信息泄露：如果没有掩码，在训练时模型会"偷看"到整个序列的答案，导致无法学习到正确的生成规律。因果掩码通过屏蔽未来位置的信息，模拟了推理时的生成环境。
3. 因果掩码的数学原理
3.1 标准自注意力计算回顾
给定输入序列的查询矩阵Q、键矩阵K和值矩阵V，注意力权重计算为：
Attention(Q, K, V) = softmax(QK^T/√d_k)V
其中QK^T是一个L×L的矩阵（L为序列长度），每个元素(i,j)表示位置i对位置j的注意力分数。
3.2 引入因果掩码
因果掩码矩阵M是一个下三角矩阵：
M_ij = { 0, if i ≥ j (允许关注当前及之前位置)
-∞, if i < j (屏蔽未来位置) }
加入掩码后的注意力计算：
CausalAttention(Q, K, V) = softmax(QK^T/√d_k + M)V
4. 掩码的具体实现步骤
4.1 掩码矩阵构造
以序列长度L=4为例，因果掩码矩阵为：
M = [[0, -∞, -∞, -∞],
[0, 0, -∞, -∞],
[0, 0, 0, -∞],
[0, 0, 0, 0]]
4.2 注意力分数计算过程
- 计算原始分数矩阵：S = QK^T/√d_k
- 应用掩码：S_masked = S + M
- 未来位置(i<j)的分数加上-∞后，在softmax中变为0
- 有效位置(i≥j)的分数保持不变
- 计算注意力权重：A = softmax(S_masked)
- 加权求和输出：O = A × V
示例说明：
假设原始分数矩阵S为：
S = [[1, 2, 3, 4],
[2, 3, 4, 5],
[3, 4, 5, 6],
[4, 5, 6, 7]]
应用掩码后：
S_masked = [[1, -∞, -∞, -∞],
[2, 3, -∞, -∞],
[3, 4, 5, -∞],
[4, 5, 6, 7]]
经过softmax后，每行只对非-∞的元素进行归一化，未来位置的权重为0。
5. 实际实现技巧
5.1 高效实现方法
实际中通常不显式构造掩码矩阵，而是使用以下技巧：
# Python/PyTorch示例
def causal_attention_scores(scores):
"""
scores: [batch_size, num_heads, seq_len, seq_len]
"""
seq_len = scores.size(-1)
# 创建下三角掩码（1表示有效，0表示屏蔽）
mask = torch.tril(torch.ones(seq_len, seq_len))
mask = mask.unsqueeze(0).unsqueeze(0) # 扩展维度
# 将无效位置设为负无穷
scores = scores.masked_fill(mask == 0, float('-inf'))
return scores
5.2 训练与推理的一致性
- 训练阶段：使用完整序列，但通过掩码确保每个位置只看到之前的信息
- 推理阶段：逐步生成，每次只处理已生成的部分序列
因果掩码保证了两个阶段的计算逻辑一致性。
6. 在Transformer解码器中的应用
6.1 编码器-解码器注意力
在Transformer的解码器中，有两类注意力：
- 掩码自注意力：处理解码器输入，使用因果掩码
- 编码器-解码器注意力：连接编码器输出，不需要因果掩码（可看到整个源序列）
6.2 实现位置
因果掩码仅应用于解码器的第一层（自注意力层），不应用于编码器或编码器-解码器注意力层。
7. 变体与扩展
7.1 滑动窗口掩码
在长序列处理中，可使用有限窗口的因果掩码，每个位置只关注前N个位置，降低计算复杂度。
7.2 分块因果掩码
用于稀疏注意力机制，将序列分块，在块内和块间应用因果约束。
通过这种精细的掩码机制，Transformer解码器能够以自回归方式生成高质量的序列输出，这是现代大语言模型能够进行文本生成的核心技术基础。