现在很多深度学习项目 , 开源是开源了 , 名义上每个人都可以训练 , 实则就好比在说 , 每个普通人都可以几年内奋斗成百万千万富翁 。 理论上人家这么说没啥可指摘的 , 开源出来的深度学习项目本来每个人都可以拿来训练的 , 而实际上则是 , 拿来训练的前提是有GPU , 也就是需要有钱 。
在大模型领域 , 没有最大 , 只有更大 。 现如今 , 十亿参数百亿参数都不值得让我们惊讶了 , 所以NLP领域再次向更高处冲锋 。 这次 , 机智客看相关资讯 , 是来自快手和苏黎世联邦理工学院研究人员的巨大成果 。 他们提出这么一个最新的也是最大的推荐系统Persia , 据称最高可支持100万亿级参数的模型训练 , 这货比目前最大的FB-ZionEX推荐系统还高出一个数量级 。
也正因为没有最大只有更大 , 为了能支持如此大的规模同时又保证效率和精度 , 此次研究成果提出了一种全新的混合训练算法:通过混合异步、同步机制对embedding层和dense层进行分别训练 。 正因为有如此算法 , 研究人员才表示 , 使用这套机制 , 任何人都可以很容易训练一个百万亿级参数量的模型 。
目前这个有论文 , 在代码托管平台也新建了项目 。 不得不说 , 现在的深度学习模型 , 已经渗入各个细分领域 , 而且在规模上 , 也是越来越大 。 推荐系统同样 , 也和其他大语言模型一样 , 类似人类万年不变的阶级思想一样 , 官大(参数量大)一级压死人 。
【推荐系统|真卷啊,快手和国外团队开源最大最新推荐系统Persia,人皆可训练】现在和未来 , 我们人人活在大模型之下 , 我们的智能生活和智能推荐 , 都受大语言模型驱动 。 虽然我们普通个体受制于数据量和GPU硬件无法训练自己的模型 , 不过大树底下好乘凉 , 预训练的大模型庇护下 , 我们每个人都会受益 , 以后可能都会被大模型和AI摸准习性 , 从而形成自己的专属模型 , 和你自己一样懂你 。
- oppo reno|情人节礼物推荐:OPPO诚意十足,Reno7 Pro到手3499起
- 富士|富士Fujifilm部分相机出现macOS系统不兼容问题
- thunderbolt|热门平板电脑推荐,iPad Air4限时促销,华为与小米表现不俗
- 蓝牙耳机|有什么男生喜欢的情人节礼物?五百元以内的蓝牙耳机推荐
- 诺基亚|塞班系统让诺基亚手机倒下了
- Windows11|麒麟990+5G+鸿蒙系统,华为旗舰跌至新低,花粉:幸福来得太突然
- 浏览器|浏览器的复杂程度,可以和一个操作系统媲美
- Linux|华为鸿蒙系统的优势,真的太明显了,是面向未来的IOT系统
- 笔记本电脑|工作用,预算4000-5000元有什么笔记本电脑推荐吗?热销五款帮您
- apk|我说安卓系统在国外怎么这么流畅