黑叔科技|用强化学习设计税收策略，Salesforce开发AI经济学家机器之心报道编辑：小舟、张倩用强化学

机器之心报道
编辑：小舟、张倩
用强化学习设计税收策略，效果如何？

文章图片
Salesforce作为一家颠覆软件定义的公司，开创了SaaS、PaaS的时代。它的创始人MarcBenioff给Salesforce的市场定位是：「软件终结者」。
人们对于企业软件的刻板印象一般是笨重、无聊和缓慢，但Salesforce的企业软件却用其在科技上的创新造就了一个市值巨大的公司。
一向以创新著称的Salesforce ，这一次把目光聚焦在了经济上。
经济不平等正在全球范围内愈演愈烈，并且因其对经济机会、健康和社会福利的负面影响而备受瞩目。对于政府来说，税收是一项减轻经济不平等的重要工具，但如何在减轻经济不平等的同时保证生产率仍是一个待解决的问题。为此， Salesforce提出了一项名为「TheAIEconomist」的新研究。该研究首次将强化学习（RL）引入税收政策设计，以提供纯粹的模拟和数据驱动解决方案。
TheAIEconomist使用两级RL框架（智能体和税收政策）来学习有理论基础的经济模拟中的动态税收政策。该框架不使用先验世界知识或建模假设，能够直接针对任何社会经济目标进行优化，并且仅从可观察的数据中学习。
实验表明，与EmmanuelSaez提出的税收框架相比， theAIEconomist可以将经济平等与生产率之间的权衡提高16% 。
此外， theAIEconomist在有人类参与的模拟中非常有效，除了在经济平等-生产率的权衡方面优于基线之外，还能显著提高收入加权（income-weighted）的平均社会福利。这表明，该方法有望改进实体经济的社会成果。
Salesforce的开发者希望theAIEconomist能够以传统经济研究无法轻易处理的复杂性水平，针对政策对现实世界经济的影响进行客观研究。
目前， Salesforce已将theAIEconomist这个项目在github上开源。
项目地址：https://github.com/salesforce/ai-economist
开发者希望：
AI研究者能为theAIEconomist项目代码提出更多改进的意见；
经济社区的研究者为该项目贡献专业知识，以开发丰富的经济模拟、评估AI策略以及探索AI如何进一步解决更为复杂的经济问题；
政策专家能够对此项目作出指导，并指出他们想用theAIEconomist框架解决哪些经济问题。
以下是该研究的详细内容。
TheAIEconomist
应对现实世界中的社会经济挑战，需要设计和测试经济政策。但是，由于缺乏适当的经济数据和进行实验的机会，在实践中很难做到这一点。而在theAIEconomist中，研究者训练了社会计划者（socialplanner）模型，用以发掘能够在经济平等和生产率之间高效寻找平衡点的税收策略。开发者基于智能体和政府都可以学习和适应的经济模拟，提出了一种两级深度强化学习方法来学习动态税收策略。但theAIEconomist的数据驱动方法未利用经济建模假设，仅从观测数据中学习。

文章图片
论文链接：https://arxiv.org/abs/2004.13332
theAIEconomist主要有四点贡献：
首先，研究者提出了一个具有竞争压力和市场动态的经济模拟环境。他们通过证明基准税收系统与经济理论相一致验证了模拟的有效性，包括学得的智能体行为和专业。
其次，该研究表明，由AI驱动的税收政策与包括著名的Saez税收框架在内的基线政策相比，将平等与生产率之间的平衡提高了16% 。
第三，研究者展示了几个新出现的特征：AI驱动的税收政策在质量上与基线不同，设置了较高的最高税率和较高的低收入净补贴。此外，针对AI代理商学到的新兴税收博弈策略， AI驱动的税收政策表现出色。