中国科学院|AAAI 2022大奖出炉！中科院德州扑克程序AlphaHoldem获卓越论文奖

文章插图

作者 | 西西、王晔
编辑丨陈彩娴
近日，人工智能国际顶会 AAAI 2022 正在召开，大会论文奖也陆续公布。AI科技评论获知，中国科学院自动化所的兴军亮教授团队获得 AAAI 2022 的卓越论文奖（Distinguished Paper）！
AAAI 的英文全称是“Association for the Advance of Artificial Intelligence”（美国人工智能协会）。该协会是人工智能领域的主要学术组织之一，具有一定的学术权威性。
兴军亮团队此次获奖的工作是他们所开发的轻量型德州扑克 AI 程序——AlphaHoldem。据介绍，该系统的决策速度较 DeepStack 的速度提升超1000倍，与高水平德州扑克选手对抗的结果表明其已经达到了人类专业玩家水平。

论文名称：《AlphaHoldem: High-Performance Artificial Intelligence for Heads-Up No-Limit Poker via End-to-End Reinforcement Learning》
作者团队：赵恩民，闫仁业，李金秋，李凯，兴军亮

德州扑克AI的意义

与围棋任务相比，德州扑克是一项更能考验基于信息不完备导致对手不确定的智能博弈技术。
德州扑克是国际上最为流行的扑克游戏，由于最早起源于20世纪初美国德克萨斯州而得名。
德州扑克的规则是使用去掉王牌的一副扑克牌，共52张牌，至少2人参与，至多22人，一般参与人数为两人和十人之间。
游戏开始时，首先为每个玩家发两张私有牌作为各自的“底牌”，随后将五张公共牌依次按三张、一张、一张朝上发出。在发完两张私有牌、三张共有牌、第四张公共牌、第五张公共牌后玩家都可以多次无限制押注，这四轮押注分别称为“翻牌前”、“翻牌”、“转牌”、“河牌”。图1展示了一场德州扑克游戏的完整流程示意。

文章插图

图1：两人无限注德州扑克一次游戏过程示意
经过四轮押注之后，若仍不能分出胜负，游戏进入“摊牌”阶段，所有玩家亮出各自底牌并与公共牌组合成五张牌，成牌最大者获胜。图2给出了德州扑克不同组合的牌型解释和大小。

文章插图

图2：德州扑克不同牌型大小说明和比较
德州扑克博弈的问题复杂度很大，两人无限注德州扑克的决策空间复杂度超过10的161次方；其次，德州扑克博弈过程属于典型的回合制动态博弈过程，游戏参与者每一步决策都依赖于上一步的决策结果，同时对后面的决策步骤产生影响；另外，德州扑克博弈属于典型的不完美信息博弈，博弈过程中玩家各自底牌信息不公开使得每个玩家信息都不完备，玩家在每一步决策时都要充分考虑对手的各种可能情况，这就涉及到对手行为与心理建模、欺诈与反欺诈等诸多问题。
研究者认为，由于德州扑克游戏规则又非常简单且边界确定，特别适合作为一个虚拟实验环境对博弈的相关基础理论方法和核心技术算法进行深入探究。
近年来，国际研究者在德州扑克这一大规模不完美信息博弈问题的优化求解中也取得了长足进步。
比如，之前加拿大阿尔伯特大学和美国卡内基梅隆大学的研究者就设计出 AI 程序 DeepStack 和 Libratus，并先后在两人无限注德州扑克中均战胜了人类专业选手，随后卡内基梅隆大学设计的 Pluribus 又在六人无限注德州扑克中战胜了人类专业选手。
但目前主流德州扑克AI背后的核心思想是利用反事实遗憾最小化（Counterfactual Regret Minimization, CFR）算法逼近纳什均衡策略。
具体来说，首先利用抽象（Abstraction）技术[3][7]压缩德扑的状态和动作空间，从而减小博弈树的规模，然后在缩减过的博弈树上进行CFR算法迭代。
这些方法严重依赖于人类专家知识进行博弈树抽象，并且CFR算法需要对博弈树的状态结点进行不断地采样遍历和迭代优化，即使经过模型缩减后仍需要耗费大量的计算和存储资源。例如，DeepStack使用了153万的CPU时以及1.3万的GPU时训练最终AI，在对局阶段需要一个GPU进行1000次CFR的迭代过程，平均每个动作的计算需耗时3秒。Libratus消耗了大于300万的CPU时生成初始策略，每次决策需要搜索4秒以上。
这样大量的计算和存储资源的消耗严重阻碍了德扑AI的进一步研究和发展；同时，CFR框架很难直接拓展到多人德扑环境中，增加玩家数量将导致博弈树规模呈指数增长。另外，博弈树抽象不仅需要大量的领域知识而且会不可避免地丢失一些对决策起到至关作用的信息。