去污|为看一看及搜一搜“去污”，AI怎么做到的？色情|语料|ai|看一看|去污

编辑导读：网上冲浪，我们时常会看见一些低俗色情的不良内容，这时候就需要平台介入清除。本文作者以微信的搜一搜和看一看为例，介绍低俗色情识别任务在从看一看业务迁移到搜一搜业务中遇到的一些问题、思考以及所做的一些尝试。

文章插图
本文主要介绍低俗色情识别任务在从看一看业务迁移到搜一搜业务中遇到的一些问题、思考以及所做的一些尝试。本文尝试分析一下看一看与搜一搜场景的差异以及因差异导致的应用迁移困难；进而思考如何建立更好的分析机制和评价体系；最后在模型方面谈一下基于Bert的一些迁移改进与应用；本文工作主要集中在短文本领域。
01 看一看与搜一搜场景的差异分析1. 业务焦点的差异在中心业务发展过程中，低俗色情识别最先应用于看一看场景，主要包括公众号文章、视频和新闻等内容源。在基于上述内容源的推荐场景中，由于内容以PGC生产为主，因此低俗色情问题的90%以上都是轻微低俗擦边，完全色情的问题比例很小；经过我们的努力，擦边程度以上的问题被控制在较低的水平（可参考之前的看一看介绍文章）。
随着搜索业务的发展，搜索场景的环境净化也变得刻不容缓，从用户query的提示、相关搜索到搜索结果的展示，都需要低俗色情识别来进行过滤。与看一看推荐场景不同的是，推荐是平台的主动行为，所以搜索场景90%以上的注意力更关注色情内容的识别过滤，推荐分发擦边内容是不可以的。（至少在看一看的调性中如此）
2. 数据的差异在从推荐场景转移到搜索场景中，我们面对的语料也发生了一些质变，从主要PGC生产的较标准的PGC语料转为了全网开放领域（例如搜索query与搜狗网页），色情问题规模也是相较之前有了爆发式的增长。因此看一看中多个数据源的模型在迁移到开放的搜索语料时，存在很大的领域差异，严重色情问题的召回不足，导致迁移应用的效果较差。
3. 问题解决环境的差异在问题发现上，看一看中有较完备的人工轮询机制，同时用户负反馈也可以提供很好的问题发现和样本。而到了搜一搜这里，相较海量用户query及网页结果，色情case的比例很低，轮询机制的效率极低（比如推荐中轮询100个可以发现1个问题case，而搜索汇总可能需要轮询1k个）；搜索也缺少像推荐那样用户对单个内容的即时负反馈。在问题分布上，由于推荐系统的机制及用户习惯，天然的会将擦边内容推到点击top的集合中；而这一效应在搜索中并不明显，依旧十分稀疏。由于搜索场景的问题稀疏，长尾问题更多（各种可能的作弊、黑话），这里不仅要跟黑产做对抗，还需要与用户的输入斗智斗勇，在效果评价上（主要是召回）也更加困难。
02 如何更好地分析样本与评价效果如上文所述，由于两个业务的差异导致原有一些模型迁移到搜索的语料上时效果较差，模型精度的提升一般相对容易，通过样本清洗、误分样本的纠正及特征权重的调整（比如使用Lime辅助分析），可以较快的对精度进行提升。而在面对开放领域的query、网页标题时，问题的稀疏性、长尾性以及问题发现机制的不健全（或者说低效）都导致了召回的提升是一个难题，同理召回的效果评价也更困难，因此这里也是主要探讨对于样本召回的分析，主要集中在query与搜狗网页标题。
在分析方法上，通过已有模型的baseline结合传统的基于关键词、embedding向量相似可以为我们提供一份较多的种子数据。在此基础上，我们结合搜索业务的场景特点以及一些可用的知识，尝试了以下一些方法并取得了更好的效果。
1. 搜索引擎结果的分析站在巨人的肩膀上，可以帮助我们快速取得提升。一些搜索引擎的搜索结果质量以及展现的特征可以辅助我们扩展语义与分析样本。通过分析网址安全中心提醒、搜索结果数、相关搜索等特征可以帮助我们快速分析筛选一些疑似样本。这个方法在色情小说等问题的运用上有较好的效果。
同时，搜索引擎的搜索结果以及相关搜索结果也可以帮助扩展query语义以及一些变种，达到举一反三的功效，在实践中得以应用。
2. Query用户改写串分析用户行为是我们做分析的一个利器，既然搜索场景没有推荐那样显示的负反馈，那就通过分析用户心理和行为为我们提供隐式的负反馈。这个idea的出发点很简单，用户的搜索行为往往是连续的，直到得到想要的结果才会停止。那么在一次用户的连续搜索行为中，我们可以利用用户query的改写串来进行批量分析，通过已有模型对改写串的打分可以高效的分析目前模型还不能解决的case。