推荐系统|真卷啊,快手和国外团队开源最大最新推荐系统Persia,人皆可训练


推荐系统|真卷啊,快手和国外团队开源最大最新推荐系统Persia,人皆可训练

现在很多深度学习项目 , 开源是开源了 , 名义上每个人都可以训练 , 实则就好比在说 , 每个普通人都可以几年内奋斗成百万千万富翁 。 理论上人家这么说没啥可指摘的 , 开源出来的深度学习项目本来每个人都可以拿来训练的 , 而实际上则是 , 拿来训练的前提是有GPU , 也就是需要有钱 。
在大模型领域 , 没有最大 , 只有更大 。 现如今 , 十亿参数百亿参数都不值得让我们惊讶了 , 所以NLP领域再次向更高处冲锋 。 这次 , 机智客看相关资讯 , 是来自快手和苏黎世联邦理工学院研究人员的巨大成果 。 他们提出这么一个最新的也是最大的推荐系统Persia , 据称最高可支持100万亿级参数的模型训练 , 这货比目前最大的FB-ZionEX推荐系统还高出一个数量级 。

也正因为没有最大只有更大 , 为了能支持如此大的规模同时又保证效率和精度 , 此次研究成果提出了一种全新的混合训练算法:通过混合异步、同步机制对embedding层和dense层进行分别训练 。 正因为有如此算法 , 研究人员才表示 , 使用这套机制 , 任何人都可以很容易训练一个百万亿级参数量的模型 。
目前这个有论文 , 在代码托管平台也新建了项目 。 不得不说 , 现在的深度学习模型 , 已经渗入各个细分领域 , 而且在规模上 , 也是越来越大 。 推荐系统同样 , 也和其他大语言模型一样 , 类似人类万年不变的阶级思想一样 , 官大(参数量大)一级压死人 。
【推荐系统|真卷啊,快手和国外团队开源最大最新推荐系统Persia,人皆可训练】现在和未来 , 我们人人活在大模型之下 , 我们的智能生活和智能推荐 , 都受大语言模型驱动 。 虽然我们普通个体受制于数据量和GPU硬件无法训练自己的模型 , 不过大树底下好乘凉 , 预训练的大模型庇护下 , 我们每个人都会受益 , 以后可能都会被大模型和AI摸准习性 , 从而形成自己的专属模型 , 和你自己一样懂你 。