数码实验室|两大模型分别解决中文分词及词性标注问题，中文分词最佳纪录刷新伊瓢发自中关村量子位报道|公众号QbitA

伊瓢发自中关村量子位报道|公众号QbitAI
中文分词的最佳效果又被刷新了。
在今年的ACL2020上，来自创新工场大湾区人工智能研究院的两篇论文中的模型，刷新了这一领域的成绩。

文章图片
WMSeg ，在MSR、PKU、AS、CityU、CTB6这5个数据集上的表现，均达了最好的成绩。
另外，在词性标注方面， TwASP模型同样刷新了成绩。

文章图片
中文分词的SOTA
中文分词目的是在中文的字序列中插入分隔符，将其切分为词。例如， “我喜欢音乐”将被切分为“我/喜欢/音乐”(“/”表示分隔符) 。
中文语言因其特殊性，在分词时面临着两个主要难点。一是歧义问题，由于中文存在大量歧义，一般的分词工具在切分句子时可能会出错。例如， “部分居民生活水平” ，其正确的切分应为“部分/居民/生活/水平” ，但存在“分居”、“民生”等歧义词。 “他从小学电脑技术” ，正确的分词是：他/从小/学/电脑技术，但也存在“小学”这种歧义词。
二是未登录词问题。未登录词指的是不在词表，或者是模型在训练的过程中没有遇见过的词。例如经济、医疗、科技等科学领域的专业术语或者社交媒体上的新词，或者是人名。这类问题在跨领域分词任务中尤其明显。
对此，《ImprovingChineseWordSegmentationwithWordhoodMemoryNetworks》这篇论文提出了基于键-值记忆神经网络的中文分词模型。
该模型利用n元组（即一个由连续n个字组成的序列，比如“居民”是一个2元组， “生活水平”是一个4元组）提供的每个字的构词能力，通过加（降）权重实现特定语境下的歧义消解。并通过非监督方法构建词表，实现对特定领域的未标注文本的利用，进而提升对未登录词的识别。
例如，在“部分居民生活水平”这句话中，到底有多少可能成为词的组块？单字可成词，如“民”；每两个字的组合可能成词，如“居民”；甚至四个字的组合也可能成词，例如“居民生活” 。
“民”→单字词“居民”→词尾“民生”→词首“居民生活”→词中
把这些可能成词的组合全部找到以后，加入到该分词模型中。通过神经网络，学习哪些词对于最后完整表达句意的帮助更大，进而分配不同的权重。像“部分”、“居民”、“生活”、“水平”这些词都会被突出出来，但“分居”、“民生”这些词就会被降权处理，从而预测出正确的结果。

文章图片
△键-值记忆神经网络分词模型
在“他从小学电脑技术”这句话中，对于有歧义的部分“从小学”（有“从/小学”和“从小/学”两种分法），该模型能够对“从小”和“学”分配更高的权重，而对错误的n元组——“小学”分配较低的权重。

文章图片
【数码实验室|两大模型分别解决中文分词及词性标注问题，中文分词最佳纪录刷新】为了检验该模型的分词效果，论文进行了严格的标准实验和跨领域实验。
实验结果显示，该模型在5个数据集（MSR、PKU、AS、CityU、CTB6）上的表现，均达了最好的成绩。

文章图片
创新工场大湾区人工智能研究院执行院长宋彦表示，与前人的模型进行比较发现，该模型在所有数据集上的表现均超过了之前的工作， “把中文分词领域广泛使用的标准数据集上的性能全部刷到了新高。 ”