Hinton新作！越大的自监督模型，半监督学习需要的标签越少( 二 ) 编译|青暮本文介绍了Hinton团队

通过蒸馏，这些改进也可以迁移到较小的ResNet-50网络中，使用1％/ 10％的标签达到73.9％/ 77.5％的top-1准确率。
相比之下，对所有标签图像进行训练的标准监督ResNet-50可以达到76.6％的top-1准确率。
文章插图
表3：在半监督设置下训练的模型的ImageNet准确率。对于本文的方法，上表展示了在微调后进行蒸馏的结果。对于较小的模型，使用自蒸馏的ResNet-152（3×+ SK）作为教师网络。
关于一作
Ting Chen于2019年加入谷歌大脑，担任研究科学家。他在2019年3月获得了加州大学洛杉矶分校计算机科学系的博士学位，导师是UCLA计算机科学系的副教授孙怡舟。他也是论文SimCLR的一作。
文章插图
赠书福利
AI科技评论联合【机械工业出版社华章公司】为大家带来15本“新版蜥蜴书”正版新书。
在10月24号头条文章《1024快乐！最受欢迎的AI好书《蜥蜴书第2版》送给大家！》留言区留言，谈一谈你对本书内容相关的看法和期待，或你对机器学习/深度学习的理解。
AI 科技评论将会在留言区选出 15名读者，每人送出《机器学习实战：基于Scikit-Learn、Keras和TensorFlow（原书第2版）》一本（在其他公号已获赠本书者重复参加无效）。
活动规则：
1. 在留言区留言，留言点赞最高的前 15 位读者将获得赠书。获得赠书的读者请联系 AI 科技评论客服（aitechreview）。
2. 留言内容会有筛选，例如“选我上去”等内容将不会被筛选，亦不会中奖。
3. 本活动时间为2020年10月24日 - 2020年10月31日（23:00），活动推送内仅允许中奖一次。
文章插图