标签: #DINOv2
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
自监督学习 1：从 SimCLR·MoCo 到 DINO·DINOv2 —— 如何在无标签的情况下学习特征以及防止“坍塌”
本文将按照 SimCLR·MoCo（负样本与推开）、BYOL（无负样本、预测器与慢速教师）、DINO（模仿教师分布）、DINOv2（数据策展与蒸馏）的顺序，介绍如何在没有任何标签的图像堆中学习有用的特征。贯穿这一系列的核心问题只有一个：如果仅仅让“两个变体接近”，那么把所有输入都映射到一个点的坍塌就会成为最优解，该如何防止这种情况发生？我们将在相同的玩具数据（toy data）上逐一运行四种方法及其消融实验，亲眼观察坍塌现象。
2026-10-17 · 16 分钟阅读 #비전 모델#자기지도 학습#SimCLR#MoCo#BYOL