对比学习

#2026/01/01 #ai

让模型学会“比较“的艺术

目录

一、先从一个故事说起：银行劫匪的回答

开始之前，我们先看一个有趣的例子：

记者问劫匪："你为什么要抢银行？"  
劫匪回答："因为银行里有钱。"

这个回答虽然事实正确，但并没有回答记者的真正问题。记者其实想问的是：

“你为什么要抢劫（而不是遵守法律）？”

这就是对比解释的核心思想：通过对比来理解事物的本质。

二、什么是对比学习？

1. 核心定义

对比学习是训练和微调文本嵌入模型的一种主要技术。它的目标很简单：

✅ 让相似的文档在向量空间中距离更近  
❌ 让不相似的文档在向量空间中距离更远

直观理解：就像教小孩认识动物，你不仅要告诉他“这是狗“，还要告诉他“这不是猫“，通过对比他才能真正理解什么是狗。

2. 与 word2vec 的联系

还记得第2章的 word2vec 吗？它其实就是对比学习的早期应用！

word2vec 通过对比来学习词的表示：

  • 正例：句子中靠近的词（应该相似）
  • 负例：随机采样的词（应该不相似）

三、对比学习的基本理念

核心思想

向模型输入相似的和不相似的文档对作为示例，这是学习文档之间相似性或差异性的最佳方式。

为什么需要对比？

模型需要将一个文档与另一个文档进行对比，从而学习：

  • 它们之间的相似之处
  • 它们之间的区别
  • 这些特征为什么重要

这种对比过程非常有效，并且与文档的背景密切相关。

四、对比学习的工作流程

基本框架

输入文档 A、B
┌─────────────┐  
│   文档 A    │ ────┐  
└─────────────┘     │  
                    ├──→  嵌入模型  ──→  输出：相似/不相似  
┌─────────────┐     │  
│   文档 B    │ ────┘  
└─────────────┘

对比学习通过向模型呈现具有不同程度相似性或差异性的文档组来实现目标。

五、用例子理解对比解释

例1：教模型理解“马“

简单问法：这是什么？

  • 回答：马
  • 特征：四条腿、尾巴、长鬃毛、耳朵…

对比问法：为什么这是马， 而不是斑马？

  • 回答：马没有条纹
  • 模型学到了关键区别

当我们提供对比内容时，模型开始学习是什么让事物彼此不同，从而理解概念的独特特征。

例2：理解“狗“的概念

你可以通过让模型发现“尾巴““鼻子”“四条腿“等特征来教会它理解什么是狗。

但这个学习过程可能相当困难，因为：

  • 特征通常没有明确定义
  • 可以从多个角度进行解释
  • 一个有“尾巴“和“鼻子“的“四条腿“生物也可能是猫

解决方案：

  • 通过问“为什么这是狗而不是猫？“，模型能学习定义这个概念的特征，以及哪些特征与之无关。

六、对比学习在嵌入模型中的应用

训练目标

通过向模型展示相似的和不相似的文档对，让模型开始学习：

  • 使这些文档相似或不相似的特征
  • 更重要的是，明白为什么会这样

替代选项的重要性

替代选项对于理解问题非常重要。在嵌入通过对比学习来进行学习时，替代选项同样非常重要。

不仅要告诉模型：这是什么  
还要告诉模型：这不是什么

七、对比学习与传统方法的区别

传统方法

模型：学习"好评"的特征  
数据：只给正面例子  
问题：模型不知道什么是"差评"

对比学习方法

模型：同时学习"好评"和"差评"的特征  
数据：既有正例也有负例  
优势：模型知道如何区分两者

八、对比学习的历史渊源

word2vec：最早的成功案例

word2vec 是自然语言处理领域利用神经网络进行对比学习的首批重大突破之一。

虽然并不广为人知，但它的核心思想与现代对比学习一脉相承：

  • 相邻词 = 正例对
  • 随机采样词 = 负例对

对比学习概念的运用：

  • 相似文档聚集在一起
  • 不相似文档分散开来

九、核心要点总结

三个关键概念

  1. 对比学习：通过展示相似和不相似的例子来训练模型
  2. 对比解释：通过“为什么是P而不是Q“来理解“为什么是P“
  3. 特征学习：模型学习使事物相似或不同的特征

为什么有效？

当我们将问题构建为对比形式时，我们能获得更多信息：

  • 不仅知道“是什么“
  • 还知道“为什么不是其他“
  • 这样学到的特征更准确

十、类比总结

学习外语的例子：

方法1（不对比）：  
老师：这是"好"  
你：记住了  

方法2（对比学习）：  
老师：这是"好"（不是"坏"）  
你：原来"好"和"坏"是相反的概念！

通过对比，你不仅记住了单词，还理解了它的真正含义。

十一、下一步

对比学习是许多强大嵌入模型的基础技术。在接下来的章节中，我们将看到：

  • 如何用对比学习构建实际的嵌入模型
  • 如何生成训练所需的对比样本
  • 如何选择合适的损失函数

记住核心思想：对比学习就是让模型通过比较来学习，这比单独学习每个概念要有效得多！