知识|产品视角下的知识图谱构建流程与技术理解( 十 )

文章插图
图：问答系统
如果考虑在实际产品中涉及一个对话系统，通常需要考虑六大部分：

[ 语音识别ASR ] 将原始的语音信号转换为文本信息；
[ 自然语言理解NLU ] 将识别出来的文本信息转换为机器可以理解的语义查询；
[ 对话管理DM ] 根据NLU模块输出的语义表示执行对话状态的跟踪，并根据一定的策略选择相应的候选动作。包括对话状态跟踪DST和候选动作选择Pollcy两部分；
[ 自然语言生成NLG ] 负责生成需要回复给用户的自然语言文本；
[ 语音合成TTS ] 将自然语言文本转换成语音输出给用户；
[ 知识Knowledge ] 对话任务的完成离不开知识，不论是任务型中的意图及参数，问题型中的知识库，还是闲聊中的语料都属于知识（但是知识并不一定只有这三类）。对话系统结合知识后，能够形成完善的对话交互框架。

基于知识图谱的问答，是通过语义分析和答案排序完成的，即先将问题转化为知识图谱查询表达式，再通过检索和推理得到问题的候选答案集合，然后通过对不同候选答案实体进行打分，依据分数排序，选出最优答案。
3. 推荐系统推荐系统是我们每天都能接触到的系统，如淘宝的千人千面，网易云音乐的个性化歌单，目前的个性化推荐算法中应用最广的是协同过滤算法。
协同过滤分为协同和过滤两个步骤，协同就是利用群体的行为来做推荐决策，而过滤就是从可行的推荐方案中将用户最喜欢的方案找出来。
通过群体的协同和每个用户是否喜欢推荐的反馈不断迭代，最终的推荐会越来越准确。
当前协同过滤算法主要包括基于用户的协同过滤和基于物品的协同过滤，其核心是怎么计算标的物之间的相似度以及用户之间的相似度。
将与当前用户最相似的用户喜欢的标的物推荐给该用户，这就是基于用户的协同过滤的核心思想；将用户操作过的标的物最相似的标的物推荐给用户，这就是基于标的物的协同过滤的核心思想。
推荐的过程可以简单理解为三个步骤：召回、过滤、排序。

首先系统根据获取到的信息，召回适合推荐内容，获取的信息可以是用户的搜索记录、购买记录、评论等。
召回的内容中有的是这个用户不关注的，需要根据过滤的条件，将不需要的内容进行过滤。
经过过滤产生的推荐集还需要根据内容的相关度进行排序，最后系统根据相关度的排序，将内容分配到对应的模块，这样用户就能看到自己感兴趣的内容了。

基于协同过滤的推荐系统，主要有以下问题：
（1）数据稀疏/长尾/噪音问题
用于协同过滤计算的用户行为矩阵（用户和其对应有交互（如购买，点赞，收藏等）的物品矩阵），必然是一个稀疏矩阵，用较小范围的数据推测较大范围的数据，会存在预测不准确的问题。
（2）冷启动问题
对于新加入的用户或者物品，系统没有其历史交互信息，很难对其进行准确建模和推荐，相对应的推荐准确率和多样性也会大打折扣。
（3）可解释性
协同过滤算法侧重输入和输出，与神经网络模型一样类似于一个黑盒，计算模型提炼出的有效特征是什么很难说明，即决策的依据模糊，缺乏可解释性。
知识图谱可以针对这些问题进行改善，知识图谱可以用来表示实体之间的关系，如推荐系统中物品与物品、用户与物品、用户与用户之间的关系。
这些关系信息可以表示用户偏好与物品相似度等信息，将这些信息引入推荐系统中可以显著缓解推荐系统面临的冷启动与数据稀疏问题。
以阿里巴巴电商知识图谱为例，该知识图谱以商品为核心，以人、货、场为主要框架，共涉及9大类一级本体和27大类二级本体。一级本体分别为人、货、场、百科知识、行业竞争对手、品质、类目、资质和舆情。
人、货、场构成了商品信息流通的闭环，其他本体主要给予商品更丰富的信息描述。
阿里巴巴电商知识图谱的数据来源包含国内-国外数据、商业-国家数据、线上-线下等多源数据。目前有百亿级的节点和百亿级的关系边；主要靠机器维护，人工辅助。
有了这样规模庞大的知识图谱，可以对个性化推荐进行改进。
知识图谱可以增加更多的特征，提供了实体与实体之间更深层次、更长范围的关联，比如根据用户喜欢的物品进行推荐，有了知识图谱后，可以拓展该产品的更多属性，并且找到更多与其在属性上有关联的商品进行推荐。