对比学习

2025年6月8日 星期日

15:13

监督学习：有显式的标签

无监督学习：在没有明确标签的情况下寻找数据的规律，如聚类，降维

自监督学习：self-supervised learning，介于监督学习和无监督学习之间，从数据本身创建一个预设任务Pretext task, 这个预设任务不需要额外的标签来评估模型的性能。通过在这个虚假的任务上训练 模型，我们希望它能够学习到一些有用的数据表示，可以稍后用于真正的问题。自监督学习的核心目标是学习多功能的通用表示，可以用于下游任务。

对比学习：是自监督学习的一种，对比学习，学习的是如何正确地进行embedding。思想很简单，相同类别的图像，其embedding的距离应该很近，不同类的图像，其embedding的距离应该远。对比学习的关键在于，如何在训练期间，通过损失函数，明确强制地执行这种关系。

损失函数：

1.经典对比损失

2.三元组损失

3.SimClear   simple framework for contrastive learning