行政|张凌寒：算法自动化决策与行政正当程序制度的冲突与调和( 九 ) 张凌寒北京科技大学文法学院副教授

目前，我国各级警务部门的算法系统上线过程基本采用“个别试点后全面上线运行”的模式。这种模式可以视为试运行阶段的算法影响测评，但上线前此类算法系统并无明确的评估程序，公众无法借助参与过程提出自身的诉求。为了保证算法自动化决策系统被安全地部署于政府部门，欧洲议会提出了“算法影响评估（AIA）”的制度框架，即对于可能对公民权利造成影响的算法自动化决策系统，应允许社区和利益相关者进行评估，以确定是否可以、以及在什么领域使用算法。一些国家则已经将算法影响评估制度从倡议落实为制度。加拿大在2020年生效的《自动决策指令》中，提出了对算法影响的评估制度。美国华盛顿州通过了众议院和参议院的针对公共部门算法系统的HB165法案，要求政府部门的算法系统在使用之前必须由政府在公共网站上公布， “并邀请公众就算法问责报告发表评论，时间不得少于30天” 。实际上，在欧盟《一般数据保护条例（GDPR）》（以下简称GDPR）中规定的“数据处理活动影响评估”制度实际上也是类似的算法自动化决策系统影响评估制度，而且既适用于私营公司也适用于公共部门。
算法自动化决策的评估程序，不仅是公众参与的有效路径，也是算法设计者和使用者（平台或政府）进行自我监管的重要方式。例如，我国中央网信办将某些算法应用定义为“具有舆论属性或社会动员能力的互联网信息服务” ，并要求其进行自我安全评估。举轻以明重，由政府部门购买使用的算法自动化决策，也不应被置于秘密黑箱之中，而应在投入使用切实影响公民权利之前，经过公众参与的算法评估程序。在我国2020年7月发布的《数据安全法（草案）征求意见稿》中，提出了重要数据处理者的风险评估制度，以及政务数据委托处理的批准程序，但此类规定出于保护数据安全，基于保护公民权利的程序制度尚付诸阙如。
（二）将通知与申辩环节作为算法决策生效必经程序
第一，应避免全自动行政行为直接对当事人发生法律效力，保证行政相对人可以收到算法自动化决策的有效通知，作为行政行为生效的必经程序。为保障行政效率，很多的算法做出具体行政行为时完全无需任何人工干预。但是，当算法做出了不利于当事人的决定时，按照正当程序更应该提供有效通知。例如我国荣成市将个人信用评分的计算和评级分为指标得分和直接判级两种，前者是按照信用信息评价标准予以加（减）分，后者则是针对严重失信行为，将自然人的信用级别直接降级，被降级的自然人可能面临如限制出境、限制高消费、公布姓名等惩戒行为。这类算法自动化决策应以对相对人的及时通知作为后续行政活动展开的基础，公民可以主张相关内容的更改、撤销或者无效，方可为公民提供后续的救济路径。基于这种考虑，德国行政程序法上对完全自动化行政的适用规定了两个条件：其一，法律保留，即仅当法律法规允许时方可适用；其二，行政机关不存在裁量和判断余地时方可适用。
第二，应保证当事人有陈述和申辩的权利，确保公民获得人工干预算法自动化决策的权利。心理学的认知实验表明，人类将算法自动化系统看做防错系统，当算法与人的决策出现分歧时，自动化系统的操作员倾向于相信计算机的回答。因为解码算法自动化决策的成本过高，而验证该算法做出的某个具体决策是否准确相比之下收益变得极小。这导致算法自动化决策做出具体行政行为的情况下，具体个案的听证成本极高，并不符合成本收益分析。 GDPR第22条为类似境遇的相对人提供了出路：不受完全的自动化决策支配的权利，以及获得人为干预的权利。在官方的解释性文本中指出，该条款的目的旨在保护数据主体的利益，保障数据主体可以参与对其重要的决策。强有力的行政部门对个人使用数据进行自动化决策的行为，使数据主体活在“数据阴影”之下，剥夺了个人影响决策过程的能力。