图神经网络（GNN）中的图自监督学习（Graph Self-Supervised Learning）方法详解
1. 问题描述
图自监督学习（Graph SSL）旨在不依赖人工标注的情况下，利用图结构数据自身的特性构建监督信号，学习有效的节点或图级别表示。核心挑战是如何设计预训练任务（Pretext Tasks），使模型捕获图数据的内在规律（如节点关系、图拓扑等）。本节将系统解析图自监督学习的典型方法及其原理。
2. 图自监督学习的核心思路
图自监督学习可分为两类主流范式：
- 对比学习（Contrastive Learning）：通过构造正负样本对，拉近正样本的表示距离，推远负样本的表示距离。
- 生成式学习（Generative Learning）：通过重建图数据的部分信息（如节点属性、边结构）学习表示。
3. 对比学习方法详解
3.1 数据增强策略
对比学习依赖数据增强构造正样本，常见增强方式包括：
- 节点特征掩码（Feature Masking）：随机掩盖部分节点特征，要求模型从上下文恢复被掩码特征。
- 边修改（Edge Perturbation）：随机添加或删除边，改变图局部结构。
- 子图采样（Subgraph Sampling）：通过随机游走或邻居采样生成子图作为原图的局部视图。
3.2 对比损失函数
以经典方法GRACE（ICML 2020）为例：
- 正负样本对构造：对原图施加两种随机增强（如边丢弃+特征掩码），生成两个增强视图。同一节点在不同视图中的表示构成正样本对，不同节点的表示构成负样本对。
- 损失计算：采用InfoNCE损失，对节点 \(v_i\)：
\[\mathcal{L}_{v_i} = -\log \frac{\exp(\text{sim}(\mathbf{z}_i^{(1)},\mathbf{z}_i^{(2)})/\tau)}{\sum_{j\neq i}\exp(\text{sim}(\mathbf{z}_i^{(1)},\mathbf{z}_j^{(2)})/\tau)} \]
其中 \(\mathbf{z}_i^{(1)},\mathbf{z}_i^{(2)}\) 是节点 \(v_i\) 在两个视图中的表示，\(\text{sim}\) 为余弦相似度，\(\tau\) 是温度系数。
4. 生成式方法详解
4.1 属性重建任务
- 掩码属性重建（Masked Attribute Modeling）：随机掩码节点特征，用GNN编码上下文后预测被掩码特征。损失函数常采用均方误差（连续特征）或交叉熵（离散特征）。
- 动机：迫使模型理解节点属性与拓扑的关联，例如社交网络中用户属性与其朋友特征的一致性。
4.2 结构重建任务
- 链路预测（Link Prediction）：随机掩码部分边，利用节点表示预测边是否存在。解码器可设计为内积形式：
\[P(A_{ij}=1|\mathbf{z}_i,\mathbf{z}_j) = \sigma(\mathbf{z}_i^\top\mathbf{z}_j) \]
- 动机：要求模型学习节点间的相似性，例如在分子图中捕获原子间的化学键倾向。
5. 多任务融合策略
实际应用中常结合对比与生成任务：
- 例如，GraphMAE（KDD 2022）同时进行特征重建和结构重建，使用缩放余弦误差优化特征重建：
\[\mathcal{L}_{\text{MAE}} = \frac{1}{|\mathcal{V}_M|}\sum_{v_i\in\mathcal{V}_M}(1-\frac{\mathbf{x}_i^\top\mathbf{\hat{x}}_i}{\|\mathbf{x}_i\|\cdot\|\mathbf{\hat{x}}_i\|})^\gamma \]
其中 \(\mathcal{V}_M\) 为被掩码节点集合，\(\gamma\) 为缩放系数。
6. 理论依据与优势分析
- 最大化互信息：对比学习本质是最大化正样本对间的互信息（如DGI方法直接优化全局图表示与节点表示的互信息）。
- 缓解过平滑：自监督任务可约束GNN不过度依赖邻居聚合，避免节点表示趋于相似。
- 标签稀缺场景优势：在医疗或金融等标注数据少的图数据上，自监督预训练显著提升下游任务（如节点分类）性能。
7. 总结
图自监督学习通过设计合理的预任务，使GNN无需标注即可学习通用图表示。对比学习强调区分性，生成式学习侧重重构能力，二者互补。未来趋势包括：设计更鲁棒的增强策略、统一多任务框架、理论分析表示质量与下游任务的关系。