在论文中 ， 研究者也提到了 ， 分析预印本论文而不是科学期刊接收论文可能会影响到研究结论 。 但有一点是没有疑问的：当前用于评估AI基准任务的大多数指标都可能存在无法充分反映分类器性能的问题 ， 尤其是在和不平衡数据集一起使用的时候 。
越来越多的学者在呼吁 ， 应该将重点放在人工智能的科研进展上 ， 而不是在基准上取得更好的性能 。 谷歌大脑团队的前成员DennyBritz在今年六月的一次采访中表示 ， 追求SOTA不是最明智的做法 ， 因为存在着太多令人困惑的变量 ， 更适合像OpenAI、DeepMind等资金雄厚的实验室去攻克 。
同时 ， 他也提到：「实验室缺乏资金也许是一件好事 ， 这迫使研究者进行深入思考并找到成本更低且可行的替代技术 。 」
参考链接：https://venturebeat.com/2020/08/10/researchers-find-inconsistent-benchmarking-across-3867-ai-research-papers/
【来源：机器之心Pro】
【产业气象站|他们发现追求SOTA其实没什么意义，扒出了3万个基准测试结果】声明：转载此文是出于传递更多信息之目的 。 若有来源标注错误或侵犯了您的合法权益 ， 请作者持权属证明与本网联系 ， 我们将及时更正、删除 ， 谢谢 。 邮箱地址：newmedia@xxcb.cn

• 辉常观察|产业互联网：区块链与数字货币的分水岭，原创
• 精选热点资讯|服务江西产业发展，晏斌：围绕直播大赛
• 天文在线|SpaceX展示并宣称他们的巨型星舰将在几个月内发射
• 爱集微|投向智能制造/人工智能等领域，欣旺达子公司参与设立产业基金
• 戏说电子竞技|友好抚摸暴扣，张大仙解说：请给他们一块肥皂，药水哥刮痧流拳击
• 产业气象站|华为新款移动路由双网双通在线，告别断网烦恼，手机一碰就能上网
• 中国蓝新闻|“薅羊毛”入刑越城法院一审宣判，坚决斩断灰色产业链
• 上游新闻|智博会上将签约GPP芯片生产项目，关注智博会｜30多家电子产业企业构建梁平电子信息产业链
• 北京商报网|2020中国电信5G产业创新联盟北京站启动
• 玛雅人|玛雅文明有多先进？千年前的壁画被复原，或许他们早已踏足宇宙