使用Transformers和Faiss构建语义搜索引擎( 三 )
我们输入的文字讨论了错误信息 ， 事实检查 ， WhatsApp和巴西和印度的选举 。我们希望基于矢量的搜索引擎返回有关这些主题的结果 。通过检查论文标题 ， 大多数结果看起来与我们的查询非常相关 。我们的搜索引擎可以正常工作！
文章插图
结论在本教程中 ， 我们使用Sentence Transformers和Faiss构建了一个基于矢量的搜索引擎 。我们的索引效果很好 ， 并且相当简单 。我们可以使用像SciBERT这样的领域特定的转换器来提高嵌入的质量 ， 该转换器已在语义库的语料库上的论文中进行了预训练 。我们还可以在返回结果之前删除重复项并尝试其他索引 。
对于使用Elasticsearch的人员 ， Open Distro引入了近似的k-NN相似性搜索功能 ， 该功能也是AWS Elasticsearch服务的一部分 。
最后 ， 您可以在GitHub上找到代码（github/kstathou/vectorengine） ， 并通过Google Colab进行尝试（colab/github/kstathou/vectorengine/blob/master/notebooks/001vectorsearch.ipynb） 。
作者:Kostas Stathoulopoulos
【使用Transformers和Faiss构建语义搜索引擎】deephub翻译组
- 会员|美容院使用会员管理软件给顾客更好的消费体验！
- 中国|浅谈5G移动通信技术的前世和今生
- 芯片|华米GTS2mini和红米手表哪个好 参数功能配置对比
- 桌面|日常使用的软件及网站分享 篇一：几个动态壁纸软件和静态壁纸网站：助你美化你的桌面
- QuestMobile|QuestMobile：百度智能小程序月人均使用个数达9.6个
- 二维码|村网通?澳大利亚一州推出疫情追踪二维码 还考虑采用人脸识别和地理定位
- 不到|苹果赚了多少？iPhone12成本不到2500元，华为和小米的利润呢？
- 机器人|网络里面的假消息忽悠了非常多的小喷子和小机器人
- 华为|骁龙870和骁龙855区别都是7nm芯片吗 性能对比评测
- 花15.5亿元与中粮包装握手言和 加多宝离上市又进一步？|15楼财经 | 清远加多宝