文章插图
文丨脑极体
自2018年谷歌发布BERT以来，预训练大模型经过三年的发展,以强大的算法效果，席卷了NLP为代表的各大AI榜单与测试数据集。2020年OpenAI发布的NLP大模型GPT-3，实现了千亿级数据参数。GPT-3除了具备传统的NLP能力之外，还可以算术、编程、写小说、写论文摘要，一时之间成为科技圈中的爆点。到2021年，我们可以看到各大学术机构、科技企业都在打造自己的大模型，并且对其能力边界、技术路径进行了极大拓展。
身在科技圈中会有明显的感受，今年大模型的会议与讨论越来越多，预训练大模型本身的优势我们在很多新闻中都感受到了。打造大模型并不是一件轻松容易的事情，需要耗费大量的数据、算力资源等，大模型的意义是为了让算法模型集中化，但是市场中有条件的企业和机构都开始耗费大量资源自研大模型。大模型算法模型的集中化优势，经过这些机构对集中资源的分化，又有种烟囱式的割裂。
其实现实可能只需要一个发展到极致化的大模型就足够大家使用了，没有必要人手一个。而且预训练大模型的发展在这样的模式下也会受到一些影响，而在这个态势下也有一些趋势与变化值得讨论与关注。
大模型发展模式的卡点【 大模型的未来在哪？】BERT、GPT 等大规模预训练模型（PTM）近年来取得了巨大成功，成为AI领域的里程碑。因为预训练大模型的显著优势，现在AI社区的共识是采用它作为下游任务的开始，而不是从头开始训练数据、建立模型。
随着产学研各界的深入研究，大模型在AI各界的地位得到不断加强。一些机构和产业界对大模型的参与到角逐，使得其呈现出一种宣传炫技般的画面感受。这样的发展模式很可能会给行业带来一些不好的影响：
1.大模型成为一些机构和企业秀肌肉的军备竞赛，大家开始比拼各自参数集数量级。你百亿级，我就千亿级。数据集本身就有限，标榜自己的数据集越大，也意味着水分比较多，而在真实落地使用的情况方面，也并不不一定理想。算力资源和训练时间消耗过大，并且也只限于部分行业的部分问题，普适性差。
2.国内预训练模型的玩家们可用的中文数据集有限，就是我们知道的几种主流常用数据来源。在有限的数据集里，大家使用的数据未免重复，而因此研究出来的大模型能力就比较接近。走相同的路径做类似的事情，有点浪费资源与算力。
3.大模型是否优秀，不仅依赖数据的精度与网络结构，也是对其与行业结合软硬件协同能力的比拼。单纯只强调低头研发高参数集、强算力模型等的方向，轻视一些与行业的协同二次调试等问题，就会陷入闭门造车的局面，限制了落地的路，走不远。
4.一些预训练大模型经过极致化（数据、模型、算力）的发展后，也有可能面临小众、泛用性差的情形，比如一些高校研发的预训练大模型只能在小众的学术圈子里使用，无法工程化使用，最终沦为一次性的模型，浪费大量的资源。
虽然我们看到各种大模型在集中式爆发发展，但其实目前大模型行业还处于初始阶段，面临一些问题与卡点无可避免。行业内人士应该会更加敏感地体察到这些现象，谁也不会想要让这些荆棘以常态的模式横亘在发展前路上。大家花费精力激荡脑力，想要发展的共识是打造出行业内唯一的模型。那么，对于行业来说，究竟什么样的大模型才是最好的呢？
究竟什么是好的大模型？在这场battle里，大模型向着规模极致化的方向发展。那么如何衡量大模型的能力，是一个绕不开的话题。衡量大模型能力的关键要素是，参数的规模和与细分行业结合对接的软硬件协同能力。我们在各种新闻中经常可以看到，机构或者是企业用数据集或者是参数规模，以及跑分来彰显自己的模型水平。
参数的规模决定了预训练模型有多大。参数越大一般来说意味着大模型具备更多的能力，泛化性、通用性也更加强。成功的大模型背后，还需要大规模分布式训练、并行计算、软硬件协同优化等能力。

文章插图
脑极体曾在GPT-3最火的时候，参与过一次试验：用GPT-3写个文章出来。我们给第三方提供了一些写作的思路，想要看一下机器写出来的效果怎么样（其实是想看看自己离失业还有多久）。结果得到的反馈是GPT-3在理解能力方面很牛很强，但是让它去生产一篇稿件，对于它来说还是比较复杂而且困难的一件事情。

稿源：(钛媒体APP)

【傻大方】网址：http://www.shadafang.com/c/102O342232021.html

标题：大模型的未来在哪？