对比学习中的温度系数(Temperature Parameter)原理与作用详解
**对比学习中的温度系数(Temperature Parameter)原理与作用详解**
**1. 温度系数的基本定义与背景**
温度系数(τ)是对比学习损失函数(如InfoNCE)中的一个可调节超参数,用于控制相似度得分的分布尖锐程度。在对比学习中,模型需要学习将正样本对(相似样本)拉近,将负样本对(不相似样本)推远。温度系数通过缩放相似度得分,影响模型对困难样本(Hard Negative)的关注程度。
**2. 相似度得分的计算与缩放**
- 步骤1:假设通过编码器提取两个样本的特征向
2025-12-01 00:26:07
0