按关键词阅读： 学习方法 vae
- Structural deep network embedding(SDNE)：这是一种基于自动编码器的方法 ， 由非监督部分和监督部分组成 。 第一个是自动编码器 ， 设计用于生成每个节点的嵌入结果来重建邻域 。 第二部分利用拉普拉斯特征映射 ， 在相关顶点相距较远时惩罚模型 。
- 基本GNN：图神经网络 (GNN) 是一种分类器 ， 它首先经过训练以预测标记节点的类标签 。 然后基于 GNN 模型的最终隐藏状态应用于未标记的节点 。 它利用了神经消息传递的优势 ， 其中通过使用神经网络在每对节点之间交换和更新消息 。
主要有两种模式 ， 一种是集成多个不同网络来提高整个框架的性能 ， 另一种是自训练 。 基于集成的方法训练多个学习者 ， 并专注于利用训练过程中的不同结果 。 自训练算法利用模型自己的置信度预测为未标记数据生成伪标签 。
- Pseudo-label（伪标签）：这是一种简单有效的 SSL 方法 ， 它允许网络同时使用标记和未标记的数据进行训练 。 模型使用交叉熵损失用标记数据进行训练并使用训练后的模型预测未标记的样本 。 将预测的最大置信度做伪标签 。
- Noisy Student：这是一种半监督方法 ， 用于使用相等或更大的学生模型进行知识蒸馏 。 教师模型首先在标记图像上进行训练用来生成未标记示例的伪标签 。 然后 ， 对标记和伪标记样本的组合训练得到更大的学生模型 。 这些组合实例使用数据增强技术和模型噪声进行增强 。 通过该算法的多次迭代 ， 学生模型成为新的教师模型并对未标记的数据进行重新标记 ， 如此循环往复 。
- SimCLRv2：这是 SimCLR的 SSL 版本 。SimCLRv2 可以概括为三个步骤：与任务无关的无监督预训练 ， 对标记样本进行监督微调 ， 以及使用特定任务的未标记样本进行自训练或蒸馏 。 在预训练步骤中 ， SimCLRv2 通过最大化对比学习损失函数来学习表征 。 该损失函数是在成对样本上计算的基于距离的损失 ， 理论使是同一样本的增强视图在嵌入空间中应该更接近 ， 而其余的应该远离 。
- MixMatch：该方法将一致性正则化和熵最小化结合在一个统一的损失函数中 。 首先介绍了有标签数据和无标签数据的数据增强 。 每个未标记样本增强K次 ， 然后平均不同增强的预测 。 为了减少熵 ， 在提供最终标签之前 ， 猜测的标签被锐化 ， 然后将Mixup正则化应用于标记和未标记数据 。
- FixMatch：该方法将一致性正则化和伪标记进行了简化 。 对于每一幅未标记图像 ， 采用弱增强和强增强两种方法得到两幅图像 。 这两个增强都通过模型得到预测 。 然后将一致性正则化作为弱增强图像的一个one-hot伪标签与强增强图像的预测之间的交叉熵作为损失进行训练 。
- SSL 在内部如何工作目前还是黑盒 ， 各种技术（如数据增强、训练方法和损失函数）究竟扮演什么角色也没有具体的确定 。
- 上述 SSL 方法通常只有在训练数据集满足设计假设的理想环境中才能发挥最佳效果 ， 但实际上 ， 数据集的分布是未知的 ， 不一定满足这些理想条件 ， 可能会产生意想不到的结果 。
- 如果训练数据高度不平衡 ， 则模型倾向于偏爱多数类 ， 并且在某些情况下完全忽略少数类 。
- 与仅使用标记数据学习的模型相比 ， 使用未标记数据可能会导致更差的泛化性能 。
稿源：(未知)
【傻大方】网址：/c/112cO14H021.html
标题：学习方法|深度半监督学习方法总结( 二 )