说话者|机器学习不能解决自然语言理解 nlp

经验和数据驱动的革命20世纪90年代初，一场统计革命席卷了人工智能 (AI)，并在 2000 年代达到高潮。神经网络化身为现代深度学习 (DL) 凯旋归来，并席卷了人工智能的所有子领域。尽管深度学习最具争议的应用是自然语言处理 (NLP)，但仍旧带来了经验主义的转向。
NLP 中广泛使用数据驱动的经验方法有以下原因：符号和逻辑方法未能产生可扩展的 NLP 系统，导致 NLP （EMNLP，此指数据驱动、基于语料库的短语，统计和机器学习方法）中所谓的经验方法的兴起。
这种向经验主义转变的动机很简单：在我们深入了解语言如何运作以及如何与我们口语谈论的内容相关之前，经验和数据驱动的方法可能有助于构建一些实用的文本处理应用程序。
正如EMNLP的先驱之一肯尼思·丘奇（Kenneth Church）所解释的，NLP数据驱动和统计方法的拥护者对解决简单的语言任务感兴趣，其动机从来不是暗示语言就是这样运作的，而是"做简单的事情总比什么都不做好"。
丘奇认为，这种转变的动机被严重误解，他们以为这个“可能大致正确的”（Probably Approximately Correct ，PAC）范式将扩展到完全自然的语言理解。
“新一代和当代的NLP研究人员在语言学和NLP的理解上有差别，因此，这种被误导的趋势导致了一种不幸的状况：坚持使用"大语言模型"（LLM）构建NLP系统，这需要巨大的计算能力，并试图通过记住海量数据来接近自然语言。
这几乎是徒劳的尝试。我们认为，这种伪科学方法不仅浪费时间和资源，而且引诱新一代年轻科学家认为语言只是数据。更糟糕的是，这种方法会阻碍自然语言理解（NLU）的任何真正进展。
相反，现在是重新思考 NLU 方法的时候了。因为我们确信，对 NLU 的"大数据"方法不仅在心理上、认知上甚至计算上都是难以操作的，而且这种盲目的数据驱动 NLU 方法在理论和技术上也有缺陷。
语言处理与语言理解虽然 NLP（自然语言处理）和 NLU（自然语言理解）经常互换使用，但两者之间存在巨大差异。事实上，认识到它们之间的技术差异将使我们认识到数据驱动的机器学习方法。虽然机器学习可能适合某些 NLP 任务，但它们几乎与 NLU 无关。
考虑最常见的"下游 NLP"任务：
综述--主题提取--命名实体识别（NER）--（语义）搜索--自动标记--聚类
上述所有任务都符合所有机器学习方法的基础可能大致正确（PAC）范式。具体来说，评估一些NLP系统对上述任务的产出是主观的，没有客观标准来判断某些系统提取的主题是否优于另一个主题。
然而，语言理解不承认任何程度的误差，它们要充分理解一个话语或一个问题，一个演讲者试图传达的唯一一个想法。
举个例子，针对这句话，自然语言理解就需要考虑多种可能：我们有一个退休的BBC采访人员，曾在冷战期间驻扎在一个东欧国家吗？
某些数据库对上述查询将只有一个正确的答案。因此，将上述内容转换为正式的结构化查询语言查询是巨大的挑战，因为我们不能搞错任何错误。
这个问题背后的"确切"思想涉及：

正确解释"退休的BBC采访人员"——即作为所有在BBC工作的采访人员，现在退休了。
通过保留那些在某个"东欧国家"工作的"退休BBC采访人员"，进一步过滤上述内容。
除了地理限制之外，还有一个时间限制，即这些"退休的BBC采访人员"的工作时间必须是"冷战期间"。
以上意味着将介词短语为"在冷战期间"，而不是"一个东欧国家"（如果"冷战期间"被替换为"具有华沙成员资格"，就要考虑不同的介词短语')
做正确的量化范围：我们正在寻找的不是在 "一些" 东欧国家工作的采访人员，而是“任何”在“任何”东欧国家工作的采访人员。

上述具有挑战性的语义理解功能都不能"大致"或"可能"正确——而是绝对正确。换言之，我们必须从对上述问题的多种可能解释中得到一个唯一的含义。
总而言之，对普通口语的真正理解与单纯的文本（或语言）处理是完全不同的问题。在文本（或语言）处理中，我们可以接受近似正确的结果。
这时候，我们应该可以清楚地明白：为什么NLP与NLU不同，为什么NLU对机器来说是困难的。但是NLU 的困难根源究竟是什么？
为什么 NLU 很困难：文本容易丢失首先是"缺失文本现象"（MTP），我们认为它是自然语言理解中所有挑战的核心。语言交流如下图所示：演讲者将思想“编码”为某种自然语言中的话语，然后听众将话语“解码”为演讲者打算/希望传达的思想。"解码"过程是NLU中的"U"--即理解话语背后的思想。