陈根，从价格歧视到算法偏见，随着人工智能的第三次勃兴( 二 ) 文/陈根不论承认与否

数据画像与算法的运用，加剧了交易中的价格歧视。
早在20世纪70年代，就有精准广告的理念，企业掌握消费者信息成为提高企业利润的法宝。但当人工智能迎来第三次勃兴，算法在海量数据的加持下，对个人信息的掌握在范围、深度和精确度方面都有了量级的极大提升。我们自己不记得的事情算法却能进行娴熟调取，并使在此技术条件下绘制精确的“用户画像”成为可能。
平台收集消费者的身份数据、行为数据等，通过数据画像，透视消费者的消费意愿和预期价格，实施“一人一价”差异化定价，这种价格歧视的实质正是利用算法与大数据来“杀熟”或“杀贫” 。如滴滴平台通过大数据分析，在同一起点与终点的情况下，老用户打车费比新用户高，苹果手机用户打车费比安卓手机用户要贵。
其次，越来越多的事例表明，算法歧视与算法偏见客观存在，这将使得社会结构固化趋势愈加明显。早在20世纪80年代，伦敦圣乔治医学院用计算机浏览招生简历，初步筛选申请人。然而在运行四年后却发现这一程序会忽略申请人的学术成绩而直接拒绝女性申请人以及没有欧洲名字的申请人，这是算法中出现性别、种族偏见的最早案例。
今天，类似的案例仍不断出现，如亚马逊的当日送达服务不包括黑人地区，美国州政府用来评估被告人再犯罪风险的COMPAS算法也被披露黑人被误标的比例是白人的两倍。算法自动化决策还让不少人一直与心仪的工作失之交臂，难以企及这样或那样的机会。而由于算法自动化决策既不会公开，也不接受质询，既不解释，也不予以救济，其决策原因相对人无从知晓，更遑论“改正”
面对不透明的、未经调节的、极富争议的甚至错误的自动化决策算法，我们将无法回避“算法歧视”与“算法”导致的偏见与不公。随着算法决策深入渗透我们的生活，我们的身份数据被收集、行迹被跟踪，我们的工作表现、发展潜力、偿债能力、需求偏好、健康状况等特征无一不被数据画像，从而被算法使用者掌控。
如今不管是贷款额度确定、招聘筛选、政策制定乃至司法辅助量刑等，诸多领域和场景中都不乏算法自动化决策。社会原有的结构将被进一步固化，个体或资源在结构框架之外的流动愈发被限制。算法对每一个对象相关行动代价与报偿进行精准评估的结果，将使某些对象因此失去获得新资源的机会，这似乎可以减少决策者自身的风险，但却可能意味着对被评估对象的不公。

文章图片
“数字人”的数据规制
当我们进入大数据时代，在数字化生存下，不管是“社会人”还是“经济人”我们首先都是“数字人”现实空间的我们被数据所记载、所表达、所模拟、所处理、所预测，现实空间的歧视也是如此。
正因为如此，对算法规制首先要对数据进行合理规制，而对数据的规制不仅需要国家层面的治理，更包含对个人和群体行为的引导。当然，不管是国家还是对个体或群体进行行为引导，技术与法律往往都不可缺位。
2018年5月25日生效的欧盟《统一数据保护条例》GDRR就在1995年《数据保护指令》Directive 95/46/EC的基础上，进一步强化了对自然人数据的保护。《统一数据保护条例》不仅仅了一系列具象的法律规则，更重要的是它在“数据效率”之外，传递出“数据正义”data justice的理念，这也使其可成为我国可借鉴的他山之石。对数据进行合理规制要做到以下几点：
首先，尊重个人的选择权。当自动化决定将对个人产生法律上的后果或类似效果时，除非当事人明确同意，或者对于当事人间合同的达成和履行来说必不可少。否则，个人均有权不受相关决定的限制。