脑极体▲你还敢信任强化学习吗？，当AI开始“踢脏球” 足球机器人排成一排向球门发起射击

足球机器人排成一排向球门发起射击，但守门员却并没有准备防守，而是一屁股倒在地上开始胡乱摆动起了双腿。然后，前锋跳了一段十分令人困惑的舞蹈，跺跺脚，挥挥手，啪叽一下摔倒在地上。然后比分守门员1-0 。
这场景像不像比国足对战梵蒂冈（并没有），一切都是那么迷幻且不真实。如果说它是阿尔法狗和OpenAIFive等的“同门师兄弟” ，都是用强化学习训练出来的，大家想不想开除它的“AI籍”？
显然，虽然曾经大败柯洁李世石，团灭Dota2国家队，并被视作AGI（通用人工智能）必由之路，但强化学习算法，头顶上始终有着一口摘不掉的“安全性”大黑锅。
而这也是阻止它真正落地应用的根本原因。毕竟没有人希望自动驾驶汽车开着开着就把乘客带到沟里去，或者是机器人端一杯开水直接浇到主人头上。
到底为什么，强化学习总会犯一些匪夷所思的错误，有研究人员认为，这是因为系统中的智能体可能会被一些怪异的行为所欺骗。
具体是怎么回事呢？研究原本打算今年4月在埃塞俄比亚举行的学习代表国际会议上发表，目前看来能顺利召开的概率几乎不存在，所以我们就提前云解读，来聊聊看似稳健的强化学习策略背后，究竟掩盖着哪些严重的缺陷。
不省心的AI：告别脏数据，但学会了脏行为
强化学习取代监督学习，成为深度学习领域的“未来之星” ，不是没有原因的。
【脑极体▲你还敢信任强化学习吗？，当AI开始“踢脏球”】因为监督学习是通过标记好的数据集来进行训练的，这意味着，如果对输入的数据进行一些微小的调整，比如改变图像的像素或是更换语音包的内容，都可能让AI陷入混乱，有可能将虫子识别为赛车，让绅士学会脏话……
与之相比，强化学习就智能多了。因为它是模仿人类的学习模式，能体（Agent）以“试错”的方式进行学习，通过与环境进行交互，以获得最大的奖赏为追求来做出行为反应。
就像不断告诉小孩子好好写作业就有好吃的食物奖励，不好好写就关小黑屋，久而久之为了“利益最大化” ，自然就会将写作业与好吃的联系起来，去产生正确的动作。
通过这种“行动-评价”机制来获得知识，改进行动以适应环境，是不是聪明了许多。这也是为什么，人类开始让强化学习玩游戏、开汽车、搞药物实验……

文章图片
但研究证明，强化学习的效果并没有预期的那么稳定，很容易受到篡改输入的影响。
加州大学伯克利分校的亚当·格里夫（AdamGleave）发现，强化学习不会因为添加少量噪音（不适当的输入）而被破坏，因为智能体（agent）可能根本看不到那些东西，而如果改变它周围事物的行为方式，智能体却会被那些奇奇怪怪的行为所欺骗，进而产生一些奇怪的“对抗”策略。
比如开篇提到的足球比赛，当“守门员”开始不按规矩出牌， “前锋”也就跟着瞎舞动起来了。这种错误的“对抗性策略” ，导致的安全威胁可能会更大。
首先，比起投喂给监督学习“脏数据” ，强化学习“被误导” ，受影响的将是AI系统的整体行为。如果说数据集被污染会让AI准确率下降，那么强化学习错误训练出的AI有可能将摄像头输入的信息错误分类，然后指导传感器做出预期之外的反应。比如行人突然挥舞手臂，无人驾驶汽车就失控了……这，听起来还是挺“灾难片”的。

文章图片
其次，超强的学习能力也会导致研究人员根本来不及发现和纠正AI的错误行为。
研究小组利用强化学习训练棒形机器人玩两人游戏，包括踢一个球进一个球，横越一条线，和相扑等等。然后，又训练了第二组机器人来寻找打败第一组机器人的方法。结果发现，第二组机器人很快发现了对抗策略，并用不到3%的训练时间后就学会了可靠地击败受害者，要知道受害者可是在第一时间就学会了玩游戏啊。这就像新来的高智商版的胖虎同学，拼命欺负大雄，老师还没办法及时发现，妥妥的校园霸凌啊！