https|陈丹琦带着清华特奖学弟发布新成果:打破谷歌BERT提出的训练规律( 二 )
文章插图
共同一作Alexander Wettig,普林斯顿大学一年级博士生,本硕毕业于剑桥大学,对NLP的泛化能力方向感兴趣。
文章插图
钟泽轩(Zexuan Zhong),普林斯顿大学博士生,硕士毕业于伊利诺伊大学香槟分校,导师是谢涛;本科毕业于北京大学计算机系,曾在微软亚研院实习,导师是聂再清。
通过这一发现,不少NLP大模型说不定又能通过改进训练方法,取得更好的效果了。
论文地址:
https://gaotianyu.xyz/content/files/2022/02/should_you_mask_15-1.pdf
参考链接:
[1]https://twitter.com/gaotianyu1350/status/1493919318668713986
[2]https://www.cs.princeton.edu/~awettig/
[3]https://www.cs.princeton.edu/~zzhong/
[4]https://gaotianyu.xyz/about/
— 完 —
量子位 QbitAI · 头条号签约
- 显卡|我第一台电脑的显卡是,FX5200,它带着我踏上泰达希尔
- 原创|老师带着七台电脑来维修,结账时却只付一台钱,气得我扣下两台!
- 显示器|Doomscroll 永远带着超高 5: 16 便携式显示器
- Linux|带着“技术人员”跑路?挑选人才移民美国,美国在害怕什么?
- 特斯拉|郭台铭称:富士康如果带着苹果离开中国市场,将会有很多工人下岗
- VR|30岁就带着数百亿退休,他才是真正懂得激流勇退的互联网创始人
- 王者荣耀|离开乐视的五年,我带着伤疤生活
- 乐视|离开乐视的五年,我带着伤疤生活
- realme|小米12最大劲敌出现,realme带着新机登场,仅需2599元起
- 五棵松|离开乐视的五年,我带着伤疤生活