推荐系统正步入快速迭代期

近年来 , 随着网络技术的快速发展 , 互联网深刻影响着人们的生产、生活 , 在为人们带来各种便利的同时也带来了"信息过载"的问题 , 引发一系列的困扰 。 人们在浩瀚的网络空间中越来越难以找到他们感兴趣或者对他们有用的信息 , 网络离人们越来越近 , 反而价值信息离人们愈来愈远 。 在这样的情况下 , 人们对网络推荐系统的需求也逐步加大 。 从技术演进的角度看 , 在众多信息筛选的技术中 , 推荐系统能向用户提供建议和推荐物品 , 能帮助用户选择物品和服务 , 为用户决策提供辅助 , 在互联网应用中拥有不可比拟的优势 。 与搜索引擎需要用户主动提供准确的关键词检索信息相比 , 推荐系统能够在用户没有明确目的的时候帮助他们发现感兴趣的新信息 , 提供个性化的服务 , 具有更强的智能性和主动性 。
目前 , 推荐系统已经广泛应用 。 例如 , 在电子商务平台领域 , 国内有淘宝 , 京东 , 拼多多等 , 国外有Amazon和eBay等 。 再比如 , 在在线社交平台领域 , 国内有微信和微博 , 国外有Instagram和Facebook 。 其他流行的互联网平台如网络学习平台、新闻资讯应用(如今日头条)、金融理财平台和旅游助手等都有广泛地使用推荐系统来提升用户体验 。 与此同时 , 推荐系统涉及的推荐内容也多种多样 , 推荐社交潜在好友、实体商品、电影、音乐、新闻之类的电子资源 。 从应用的价值来看 , 推荐系统的商业价值主要体现在提升广告的曝光与转化、提升会员的转化与会员留存等方面 。
随着我国互联网产业与其他产业如医疗、教育、金融 , 出行等产业进一步融合 , 互联网向精细化发展 , 推荐系统正步入到一个黄金发展期 , 需求越来越大 , 应用场景也更加多样 。 例如 , 推荐系统和搜索引擎互补 , 在学术研究和工业界的发展也非常成熟 。
不过 , 由于推荐系统的技术体系和应用模式还有待进一步成熟 , 在创新与应用中还存在一些突出的问题 , 具体表现在:一是与海量数据资源的结合度不够 。 目前许多混合推荐系统的推荐准确度有了很大的提升 , 但是模型训练效率和更新都存在效率不高的问题 , 而工业界能实时部署在线学习的推荐算法往往不是在单机离线状态下最佳的算法 。 许多推荐算法在大数据面前往往因为得训练时间过长或者内存要求过高而被工程师所弃用 。 二是应用中对数据要求高 , 对数据缺失敏感 。 数据缺失问题主要表现形式有两方面 。 一方面是推荐系统的训练数据中用户只和极小一部分物品有互动 , 导致大部分用户物品对应的喜好评分是缺失的 , 称为稀疏性问题 。 另一方面则是新加入系统的新用户或新物品 , 因为缺乏交互数据而无法被推荐系统学习建模 , 称为冷启动问题 。 这样 , 无法向顾客推荐有价值、符合预期消费标准、真实有效的产品 , 也是电商平台目前面临巨大挑战 。 三是算法层面可解释性不足 。 推荐可解释性可以帮助用户更精准地做决策 , 提升推荐的准确性 , 同时提升推荐系统的可信度 。 而目前的推荐算法大多属于"黑盒子"算法 , 无法精确给出推荐的理由 。 这样的推荐算法可能会给用户带来不信任感 , 用户如果产生了厌恶心理 , 推荐系统的效果就很难发挥 。
因此 , 行业企业正不断加快推荐系统的迭代演进 , 力图获取未来发展的主动权 。 从演进方向来看 , 以下几个方向更受关注 , 部分企业也已经形成一些有价值的探索 。
【推荐系统正步入快速迭代期】一是不断强化数据需求与供给之间的关联度 , 形成数据闭环 , 从而最大程度规避潜在的数据风险 。 根据大数据基本理念 , 关联数据足够多的情况下 , 即便缺乏完整的目标数据 , 也能够获得较为理想的推荐结果 。 以明略科技最新的推荐系统为例 , 其数据采集及服务体系深入到全行业多场景 , 从而构建起完整的数据服务闭环 。 明略科技推荐系统负责人邱文一指出 , 明略推荐系统的设计思路是从供需匹配的角度出发 , 不局限于人和物的匹配 , 而是延伸到任何实体之间的匹配 , 因此明略的推荐系统是面向实体的智能匹配解决方案 。