对比学习中的温度系数（Temperature Parameter）原理与作用 一、温度系数的描述 温度系数（τ）是对比学习损失函数（如InfoNCE）中的一个可调节超参数，用于控制相似度得分的分布尖锐程度。其核心作用是调节正负样本对相似度的权重，影响模型区分类似样本的难度。若τ过小，相似度差异会被放大，导致模型过度关注困难样本；若τ过大，相似度差异被平滑，模型难以区分细微特征差异。 二、温度系数的数学原理 相似度计算 ： 假设通过编码器提取样本特征后，使用余弦相似度函数计算特征向量间的相似度： \( s_ {i,j} = \frac{z_ i \cdot z_ j}{\|z_ i\| \|z_ j\|} \)，其中 \( z_ i, z_ j \) 为特征向量。 温度系数引入 ： 在InfoNCE损失中，相似度需经过温度系数缩放： \( \text{相似度得分} = \exp(s_ {i,j} / \tau) \)。 损失函数形式为： \( \mathcal{L} = -\log \frac{\exp(s_ {i,+} / \tau)}{\exp(s_ {i,+} / \tau) + \sum_ {k=1}^{N-1} \exp(s_ {i,k} / \tau)} \)，其中 \( s_ {i,+} \) 为正样本相似度，\( s_ {i,k} \) 为负样本相似度。 三、温度系数的作用机制 τ对梯度的影响 ： 计算损失函数对相似度 \( s_ {i,j} \) 的偏导，可发现梯度与 \( 1/\tau \) 成正比。 τ越小 ：梯度放大，模型对相似度变化更敏感，反向传播时权重更新幅度更大，适合学习细微特征差异（如区分相似图像的不同视角）。 τ越大 ：梯度缩小，更新平缓，模型更关注宏观特征，适合处理噪声较多或差异明显的样本。 调节困难样本权重 ： 困难负样本（与锚点相似度较高的负样本）的相似度 \( s_ {i,k} \) 接近正样本 \( s_ {i,+} \)。 当τ较小时，\( \exp(s_ {i,k} / \tau) \) 值显著增大，困难负样本在损失中占比升高，模型被迫更精细地区分此类样本。 四、温度系数的选择策略 常见取值范围 ： 经验上τ通常取0.05–0.2，需通过交叉验证调整。 与学习率协同 ： τ与学习率共同影响优化过程。若τ较小，需配合更小的学习率避免梯度爆炸；若τ较大，可适当增大学习率加速收敛。 任务依赖性 ： 高精度任务（如细粒度图像分类）需较小τ以强化细微差异学习。 噪声较多或类别差异大的任务（如网页文本聚类）宜用较大τ平滑噪声影响。 五、实例说明（SimCLR框架） 在SimCLR中，τ默认设为0.1： 对同一图像的两个增强视图生成特征向量，计算余弦相似度。 通过τ=0.1缩放后，模型能有效区分同一图像的不同增强（正样本）与其他图像的增强（负样本），同时避免相似度饱和（如sigmoid函数两端梯度消失问题）。 通过以上步骤，温度系数在对比学习中充当了“相似度调节阀”，平衡模型对困难样本的敏感度与泛化能力。