引 言
得益于数据、算法和算力三大要素的全面突破，人工智能在医疗、交通、金融、司法等场景中业已显现出媲美甚至超越人类的实力，成为数字时代世界各国竞相追逐的技术高地。然而，在享受技术红利的同时，社会公众对智能社会的憧憬开始夹杂起对人工智能潜在弊端的担忧。作为数字时代具有广泛渗透性的底层技术，人工智能具备颠覆性重构人类社会的潜能。如果说对“技术奇点”迫近的莫名恐慌尚属杞人忧天，那么当人工智能屡屡在再犯风险评估中涉嫌种族歧视，在遴选雇员中恣意表达性别偏好，关于科技失范击穿社会公平正义底线的忧虑不应再被等闲视之。
在人工智能带来的诸多法律挑战中，“非歧视”是各国政府部门、科技公司、科研机构、政府间或超国家组织高度关注的议题。我国目前虽少有人工智能歧视事例见诸公共媒体，但舆论场的集体静默更像是无声的警报——嵌入人工智能的歧视不再像过去一般露骨，而是隐匿到数字世界的角落悄无声息地侵蚀社会公平正义。考虑到人工智能技术逻辑的共通性、歧视发生的规律性和我国智慧产业发展的规模性，端倪已现的歧视风险是我国开发、部署人工智能中无法回避的法律挑战。近年来，科技界已经在不同场合呼吁重视人工智能歧视和偏见之于我国社会秩序的挑战。国务院《新一代人工智能发展规划》（国发〔2017〕35号）以及中国电子技术标准化研究院《人工智能标准化白皮书》、国家人工智能标准化总体组《人工智能伦理风险分析报告》、国家新一代人工智能治理专业委员会《新一代人工智能治理原则》、全国信息安全标准化技术委员会秘书处《网络安全标准实践指南——人工智能伦理安全风险防范指引》等政策文件正在积极规划、倡导和推进多维治理人工智能的歧视问题。
学界通常以“算法歧视”统摄人工智能公正性论题。综观相关研究，“算法歧视”概念框架实际纳入了两类构形相近但性质迥异的歧视。其中一类是反垄断语境下的价格歧视。“千人千价”式的大数据“杀熟”是数字时代价格歧视的突出样态。其本质乃是经营者滥用市场支配地位，借助人工智能技术实施差别待遇，排除、限制市场竞争的垄断行为。另一类是平等权语境下的身份歧视。这类歧视根源于个人内心偏见，呈现为基于性别、残障、种族、传染病病原携带等特定集体身份实施的区别对待或造成的区别影响。诸如性别歧视、残障歧视等即属此类。尽管都被冠之以“歧视”之名且在特定情境中有所重合，但两者在发生机制、与人工智能的交互路径、侵害的具体法益和法律规制策略等方面存在明显差异。限于篇幅，本文仅讨论平等权语境下人工智能的歧视问题。
人工智能的歧视并非技术创新的产物，而是数字时代前沿科技“赋能”前数字时代传统社会矛盾的结果。易言之，人工智能遵循的技术逻辑耦合了发生歧视的社会规律。数字技术成为歧视表达的新载体。就此而言，从根本上预防和治理人工智能的歧视需要解析歧视发生的社会动力机制并厘清其嵌入人工智能的技术路径。更加重要的是，有必要回归到我国场域内，审慎检视我国现有禁止歧视法律体系因应“人工智能+歧视”的制度余量，做好人工智能歧视法律治理的规则体系储备。
一、嵌入人工智能的歧视
歧视是人类认知世界的副产品，其产生和发展遵循独特的社会逻辑。早在人工智能诞生之前，歧视已经在人类社会普遍存在。个体层面的内隐偏见和社会层面的结构性不平等是当代社会持续生成歧视的主要动力。
（一）内隐偏见驱动的无意识歧视
歧视发端于个人认知层面。人类依赖分类认知客观世界。分类将无限多样的外在刺激组织成几个在数目上更易管理的不同类型，并通过在同一类型内强调事物间的相似性，夸大类型间事物的异质性，将模糊的世界明晰化。对社会成员的分类就是从性别、种族、残障、宗教信仰等不同维度赋予个人集体身份并建立身份刻板印象的过程。具备相同集体身份的个人被认为具备相同的特质，以区别于其他人群。
出于维持积极的自我认同以及提高自尊的需要，群体总是倾向于将贬义刻板印象赋予外群，将褒义刻板印象赋予内群。内群在没有足够证据的情况下恶意揣度他人，建立起对外群的偏见。这不仅意味着针对目标群体的消极习得态度，也意味着支持这一态度的消极信念以及回避、控制与支配目标群体内个体的行为意向。个人将认知层面的偏见表达到社会生活场景中，即具象化为法律所禁止的歧视行为。
社会生活中，偏见沿着两条截然不同的通道表达。人类的决策和推理过程受双系统的支配——依赖直觉的启发式系统和依赖理性的分析系统。前者并行加工且加工速度较快，不占用或占用很少的心理资源，反应自动化，通常只能意识到其加工结果而意识不到加工过程；后者串行加工且加工速度慢，占用较多的心理资源，主要基于规则进行，其加工过程和结果都可以被意识到。相应地，偏见的表达通道包括了经由分析系统表达的外显偏见和经由启发式系统表达的内隐偏见。
因为存在分析加工过程，个体能在外显偏见的表达中意识到偏见对自己行为的影响，所以可以用法律责任等来抑制个体在推理和决策中表达偏见。但启发式系统对内隐偏见的表达则大相径庭。因为缺少加工过程，个体在决策和推理中往往表达出内隐偏见而不自知。换言之，个体的无意识成分参与了其有意识的社会认知加工过程。人们总是情不自禁地青睐翩翩少年而非耄耋老人、健全人而非残障者、异性恋而非同性恋；总是自然而然地将男性与自然科学、工作等等同，将女性与人文科学、家庭等关联。即使是在崇尚公正的司法场域亦潜藏着不易察觉且难以消除的偏见。年龄、种族、性别等因素都会以微妙且隐蔽的方式影响法官决策。
内隐偏见近乎自发的表达机制危害更甚。内心笃信平等并不能必然抑制内隐偏见的表达，因为对平等的虔诚信仰通常依赖分析系统发挥作用。一旦启发式系统与分析系统作用方向不同，往往启发式系统会获胜，亦即内隐偏见在表达顺序上更占优势。这足以使人表里不一，作出的行为与其秉持的信念南辕北辙。
（二）结构性不平等驱动的系统性歧视
歧视不仅受到内在偏见态度的影响，而且也是权力关系和资源配置情况的反映。宏观层面上，歧视影响资源在不同人群间的分配格局，重塑社会权力结构。从歧视中获利的群体将其占有的资源兑换成政治、经济、文化等领域的优势地位，构建对其有利的社会权力结构。个案中的不平等累积形成结构性不平等。歧视或明或暗地被嵌入政治、经济、教育、公共服务等各个领域，成为组织规范乃至国家层面的制度安排。与制度的结合意味着歧视完成从零散到系统性歧视的质变。
在歧视与禁止歧视此消彼长的法律较量中，结构性不平等驱动的系统性歧视是颇为难缠的对手。它善于把自身包装成集体意志，模糊了责任主体；它攀附制度体系，狐假虎威地绑架制度为其张目；它脱离特定个体的偏见表达，形成独立的运作方式。最重要的，它指皂为白，不遗余力地巩固、加剧结构性不平等。
一方面，系统性歧视借助制度体系强化歧视的发生密度和执行力度，偶发的歧视行为常态化，碎片化的歧视做法制度化。其结果是女性、残障者、传染病病原携带者等特定人群遭受到更加严密且有效率的社会排斥。伴随着歧视的系统化，歧视造成的损害后果随之扩大。单次歧视的即时危害虽不明显，亦足以在大时间尺度上造成深远影响。例如，义务教育阶段强制有条件随班跟读的残障儿童进入特殊教育学校必然影响其未来获得高等教育的机会乃至职业选择和发展。在系统性歧视的推波助澜下，“学校、商业部门和政府部门等社会机构不合比例地将积极社会价值（如高社会地位、良好的医疗保健、优质的住房）分配给支配者，而将消极社会价值（低社会地位、劣质的住房、长期的监禁、拷打和行刑）分配给从属者”。以性别、残障、户籍等集体身份为边界的歧视性资源分配格局日益明晰。受歧视群体缺乏发展所需的必要资源，社会竞争力遭到系统阉割，很难依靠个人努力赢得向上社会流动的机会。更重要的是，结构性不平等可能以政治、教育、职业、财产等为中介实现代际转移。子代在继承父代占有资源的同时，也一并继承了父代所处的社会权力地位。一个人的初始资源禀赋越高，终其一生的资源平均收益率也就越高。即便回归没有歧视的理想状态，不同群体间资源禀赋天冠地屦的客观差距也只会让“公平竞争”徒有其表。
另一方面，系统性歧视制造“自我实现预言”规训受歧视群体，将处于支配地位群体的偏见植入受歧视群体的自我认知。自我实现预言指的是，一个虚假的初始情境定义诱发了后续行为，该后续行为转而让原本虚假的初始情境成为现实。例如，系统性歧视将女性排斥在信息技术行业外，并构建出女性不擅长学习理科、不擅长从事此类工作的虚假情境定义。如果女性受此影响，调整个人职业方向和人力资本投资策略，回避进入相关领域，由此导致自身职业准备不足、从业热情缺乏，无法在劳动力市场上同男性竞争，则会让前述虚假定义戏剧性地由假变真。自我实现预言的真正作用在于降低受歧视群体的自我评价，进而自愿认同、接受结构性不平等及其制度安排。在自我实现预言的催眠下，受歧视群体对自身不利处境的归因不再与外部的系统性社会排斥有关，而是视为自我选择的结果。结构性不平等借此剥离违法性，在认知层面完成对受歧视群体的思想驯化。
二、歧视嵌入人工智能的路径
内隐偏见驱动的无意识歧视和结构性不平等驱动的系统性歧视是我国人工智能开发、部署中面临的主要歧视风险。遗憾的是，人工智能的技术发展阶段和发展路径决定了其在歧视面前近乎不设防的虚弱状态。一方面，人工智能仍处在弱人工智能阶段，只能按照人设定的逻辑，判断、决策、执行各个任务环节，并无能力自主识别、拒绝、修正开发者或者其他利益相关方将自身偏见写入其代码。另一方面，就人工智能的技术发展路径而言，处于基础与核心地位的是以深度学习（Deep Learning）等算法为代表的机器学习技术谱系。其底层逻辑是从结构化和非结构化的数据中实现特征提取、模式识别，亦即从具体样例中抽象出普遍规则指引实践。算法基于“大数据集”而通过自我训练、自我学习以形成“规则集”的过程，实质上是对于过往人类社会模式特征的总结并将其用于对未来社会的感知与决策，不可避免地复制并延续当前社会的既有格局与特征。经由人和数据，偏见与结构性不平等得以代码化、数据化，成为人工智能的决策基础。
（一）问题建构维度的歧视
问题建构是人工智能执行一切任务的起点。其目的在于将抽象的目标需求借由可观察、可测量的特征转译为机器能够处理的计算问题。如，银行希望借助人工智能从海量贷款申请人中筛选出潜在的“优质”客户，首先就需要将作为目标需求的“优质”转译为诸如收入状况、职业类型、年龄等可测量的特征。筛选优质客户由此被转译为筛选具备稳定收入、良好信用等特征的客户。
问题建构是人类思考、判断、选择的思维产物，因其开放性特质常被称作数据发掘的“艺术”。有关数据是否可得的判断、数据是否相关的理解和数据处理方法的选择等诸多主观因素共同决定着问题建构。平台和算法设计者往往将效率与利益作为首要考虑因素，因为公平是模糊的，难以量化的概念。计算机完全不能理解公平的概念，程序员亦不知道该如何为公平编码。转译者为偏见所累会将抽象的目标需求转译为歧视性的测量标准进而输出歧视性结果。正如银行若偏颇地把残障状况视为客户“优质”与否的测量标准，输出的贷款审批结果必将使残障人群遭受普遍的歧视。
问题建构维度的歧视是内隐偏见和结构性不平等共谋的结果。能够接触多元观点的个人会审慎对待新信息并根据对其的评估调整态度，而被隔绝了外部声音的个人则不会。结构性不平等假系统性歧视之手，有针对性地排斥特定群体，加剧某个领域或组织人员构成的同质化程度，为达成虚假共识培育外部环境。“异质性被同质性所吞没，无意识的品质占了上风。”缺少多元视角的抑制，内隐偏见恣意表达，资源配置更紧密地与集体身份捆绑，又催动系统性歧视蔓延。正因为如此，引领人工智能开发、应用走向的互联网企业在员工结构方面愈演愈烈的同质化趋势已经引发广泛担忧。
我国互联网综合实力排名前十企业披露的信息显示，健全年轻男性是这些企业员工的基础画像。在性别构成方面，男性员工的总体数量是女性员工的1.3倍至3.4倍。不仅如此，女性占比与岗位层级之间呈现明显的逆相关关系。企业管理层中男多女少的情况更为突出。在年龄构成方面，相关企业普遍钟情年轻员工，40岁以下中青年员工占比最高达到97.9%。员工平均年龄大多在30岁左右。残障员工在相关企业中更属凤毛麟角，几乎难觅踪影。
严格来说，上述企业员工构成情况不过是互联网全行业从业人员同质化的缩影。男性化、青年化和健全化是互联网企业对员工的共同期待。信息技术工作者中女性占比较低的问题长期困扰着我国。第四次全国经济普查数据显示，软件业从业人员约426万，其中女性约147万，占比仅为34.6%。整个互联网行业从业人员的平均年龄约为28.3岁。互联网企业普遍偏好以年轻的员工队伍彰显自身“活力”，对员工青年化的追捧甚至引发我国互联网行业独有的“35岁危机”现象。
其他国家和地区的互联网行业同样存在不容忽视的从业人员同质化问题。截至2018年，美国计算机和数学行业五百余万名从业者中，女性占比为25.6%；白人从业者占比67%，亚裔22%，非裔和拉丁裔的比例为8.4%和7.5%。欧盟82.8%的信息和通信技术从业者是男性。除法国、比利时、荷兰等国稍有增长外，女性从业者的比例在过去十年间年均下滑5%。
互联网企业员工结构同质化程度越高，问题建构的视野越狭窄，也就越倾向于盲目地为同类人群设计和编程并漠视如此行为的责任。不平等、无意识和不宽容也就越容易滋长。近年来，老年人群在健康码、移动支付、交通出行等智慧场景中频繁遭遇数字鸿沟，很大程度上正是问题建构中年龄视角缺失所致。
（二）数据理解维度的歧视
数据是歧视嵌入人工智能的另一条重要通道。数据的价值在于从中提取知识或作出推断。如果作为基础的数据中充斥着偏见和结构性不平等，那么人工智能只能从中得出歧视性的结果。
1.数据代表性不足
女性、老年人、残障群体等的数据在数据集中分布过于稀疏而代表性不足时即产生数据暗点。截至2019年末，我国60岁及以上的老年人口数已达2.54亿，但同期老年网民人数仅为0.97亿。这意味着约1.57亿老年人几乎从未在互联网上留下些许数字痕迹。在大数据时代，数据通过被动、主动和自动三种途径产生，即依赖人工的被动记录、依赖用户的自主创造和依赖感知系统的自动生成。诚然，数字时代的任一个体都是潜在的数据生产者，但只有当个体数据被感知和采集，聚合为巨大体量的数据集方能产出与之匹配的巨大价值。受结构性不平等制约，特定群体或者缺乏涉足某些领域的必要条件，或者不能负担互联网终端等数据生产工具，或者难以掌握微信、微博、短视频等数据生产技能，或者受基础设施等外部条件限制，相关数据被不成比例地放弃、遗漏、错记。结果就是特定群体的数据在数据集中异常稀疏甚至完全缺失，造成数据暗点乃至盲点。
当数据代表性不足时，人工智能只能从数据集中提取到零星的群体特征，算法模型不能精确匹配，在应用层面产生厚此薄彼的排斥效果。以较为成熟的计算机视觉领域为例，基于开源数据集训练的图像识别系统能够识别身披西式婚纱的新娘，却无法分辨印度婚礼中身着南亚传统服饰“莎丽”（Sari）的新娘，原因即在于世界范围内广泛用于训练人工智能的数据集收录的多是反映西方文明风土人情的图片。
不同群体记录、创造和生成数据方面存在差异的根源是结构性不平等。现阶段的人工智能既不会质疑数据分布的均衡性，也意识不到深藏在数据背后的结构性不平等。对数据的盲目依赖可能错把偏见和结构性不平等当作决策的事实基础和逻辑前提，陷入数据营造的虚假情景而不自知。
2.数据代表性过度
流动人口、少数族裔等群体的数据，也会在偏见、结构性不平等的作用下被不成比例地负面生成，从代表性不足走向代表性过度。在代表性过度的数据集中，特定群体的数据异常稠密，形成数据亮斑。人工智能从中提取到夸张甚至变形的群体特征。建立在这些“真实”谎言之上的决策也将继承数据本身的全部缺陷。
预测警务是数据代表性过度导致人工智能决策失准和极化的高危场景。预测警务的基本原理在于，使用统计方法处理犯罪违法率的大型数据集，确定与一个或多个群体特征相关的犯罪水平，并基于前述相关性预测特定个人过去、现在或将来的犯罪行为，管理其刑事司法结果。用于预测犯罪的数据通常源自记录犯罪违法率的历史警务数据等。而警务数据看似客观，但其背后可能隐藏着极其深刻、复杂的权衡与妥协。以刑事诉讼为例，司法实践中，流动人口的逮捕率通常高于本地户籍人口，取保候审率则低于本地户籍人口。造成这种局面的原因在于流动人口的强流动性、逮捕适用标准的模糊和司法机关错用、误用、滥用逮捕措施等。更高的逮捕率数据并不能支撑流动人口更具社会危险性的结论。
至于执法机构被性别、种族偏见等牵引，任意解读同质事件，或者有意无意地将性别、族裔等集体身份奉为甄别违法犯罪嫌疑人的特异性指标，刻意针对相关群体的歧视性执法则会进一步加剧数据的扭曲程度。如，印度执法机构将丈夫对妻子的殴打定性为家庭暴力，但却轻描淡写地将妻子对丈夫的殴打以夫妻拌嘴一笔带过。美国的非裔、拉美裔司机在道路上被执法机关拦截检查的几率是白人的3倍和7倍。法国的非裔、阿拉伯裔青年被执法部门查验身份证件的几率是其他人群的20倍。
机器能解决处理效率的问题，却不能避免“过往数据”本身造成的缺陷。人为制造的失真信息充斥在数据集中，现实世界中的假象被机器当作虚拟世界中的现实。笃信数据的人工智能从代表性过度的数据集中习得偏见后，再度把偏见复现为现实世界中的歧视性做法，造成歧视的恶性循环。
（三）特征选择维度的歧视
人工智能的目标需求需要被转译为具备相关性的特征，但模型性能与特征数量之间并无线性关系。当候选特征数量超过阈值时，反而可能引发维度灾难、过拟合和噪声侵入等问题，降低模型性能。特征选择即从一组特征中去除冗余或不相关的特征，在模型效率、精度和成本之间寻求最优解。
特征选择可以由算法自动完成，也可能借助人类积累的经验法则。特征集合中公然纳入种族、性别、残障等受到法律保护的集体身份可能“教唆”人工智能输出歧视性结果。多数情况下，对违法成本敏感的开发者或使用者会在特征集合中剥离受到法律保护的集体身份，主动拉开与歧视的安全距离。
问题在于，表面上回避了歧视风险的人工智能却可能转头跌入特征选择的伪中立陷阱。集体身份与候选特征之间可能存在着千丝万缕的联系，形式上的脱钩难以阻止集体身份将自身嵌套入看似中立的特征当中，透过这些“中立”特征继续影响、操纵人工智能的输出结果。如，美国医疗系统近年来引入人工智能系统，尝试基于对患者医疗支出的预测提高稀缺医疗资源配置效率。将支出作为与资源配置这一目标需求具备高度相关性特征的逻辑在于患者病情越严重越依赖医疗服务，产生的支出相应越高。表面上看，医疗支出与集体身份并无干系。但美国不同族裔获取、利用医疗资源的能力受到结构性不平等的制约。交流障碍、不信任抑或偏见等让非裔群体在面临健康问题时更少诉诸医疗系统。在病情严重程度相似的情况下，非裔患者的医疗支出显著低于白人患者。人工智能基于“中立”的医疗支出预测个人未来医疗需求异化为变相基于种族配置医疗资源。
避免伪中立陷阱需要追问中立特征项下相关数据的社会生成机制，尤其是集体身份在何种程度上干涉了数据生成。与中立特征关联的数据可能是身份化了的。基于集体身份的资源配置格局无形中限定了个人决策的空间。具备相同集体身份的个体占有相似的资源，即使彼此没有意思联络，亦会自发呈现近似的决策偏好。集体身份在资源配置中的作用愈明显，个体决策的身份色彩也就愈浓厚。在这种情况下，表面中立的特征可能扮演性别、残障等集体身份中介者的角色，诱导人工智能输出歧视性结果。
（四）个人信息维度的歧视
个人信息具备可识别性，能够精准定位到特定个体。个人信息泄露不仅会出现侵害自然人隐私权等人格利益以及财产权的恶果，也会对歧视的发生起到催化作用。因为识别个人集体身份，完成“我们”抑或“你们”的归类，是歧视发生的基本前提。
种族、性别、残障等是生理层面的自然身份，也是文化意义上社会建构的想象结果。原本仅具生理功能的自然身份经由人为建构获得额外的社会意义。特定种族、性别等被期待扮演特定的社会角色，遵守对应的行为规范。离经叛道者则由社会舆论等外部压力机制予以惩罚。由此，种族、性别等不再止步于静态描述个人某一特征，也成为影响个人在社会参与中定义自我、作出决策的动态因素。在这个互动过程中，集体身份或显式或隐式地被冗余编码在足够丰富的特征空间中。即使没有确切的直接信息，仍然可以通过其他维度的线索标识出特定人群。一个典型的例子是姓名之于性别的联动关系。不同性别差异化的社会角色左右了社会成员起名规则，名字因而能够表征个人的性别身份。
在大数据时代，只要有足够的数据，无论如何都做不到完全的匿名化。凭借爆炸式增长的算力，个人信息的获取成本随之下降。人工智能可以从人脸图像中估算个人年龄，从微博上的情绪词和相关语言风格推测用户性别，从汽车品牌偏好等蛛丝马迹中揣度个人种族、政治倾向等敏感个人信息。此类信息的泄露将个人集体身份暴露在外，显著提升歧视发生的风险。尤其是传染病病原携带者、残障者等长期被严重污名化的群体，其病原携带、残障状况等敏感个人信息一旦泄露即意味着歧视的开始。
三、禁止歧视法律体系的制度余量
从问题建构到个人信息，内隐偏见和结构性不平等轻而易举地穿透人工智能看似固若金汤的技术屏障，影响人工智能持续不断输出歧视性结果。在科技界尚无法提供完美的技术修复方案时，我国禁止歧视法律体系必须直面“人工智能+歧视”组合带来的冲击。问题在于，现有法律体系的制度余量是否充足，可以波澜不惊地化解挑战。
我国目前尚无专门法律规制歧视。相关禁止歧视的规定散见于《劳动法》《就业促进法》《妇女权益保障法》《残疾人保障法》《电子商务法》等法律。虽然适用领域不同、针对对象各异，我国禁止歧视的法律制度设计实际沿着基于责任规则、信息约束和平权行动的逻辑分别展开。
（一）基于责任规则的禁止歧视机制
责任规则是我国禁止歧视法律体系中最基本的规制工具。《就业促进法》《妇女权益保障法》和《残疾人保障法》有关劳动者、女性、残障者等得就遭受歧视向法院提起诉讼的规定是责任规则的直观体现。
脱胎于传统的侵权法，责任规则通过责任的运用，将那些由于高交易成本造成的外部性内部化。具体而言，一方面，法律向遭受歧视的受害人提供可以获得公平赔偿的允诺，激励其向法院积极主张不受歧视的权利；另一方面，实施歧视的施害人被课予赔偿责任，确保歧视预期净收益为负，进而抑制施害人的歧视冲动。两者之间依赖锚定装置保证连接强度，将歧视行为受惩罚的概率维系在合理区间。
我国既有禁止歧视司法实践主要针对区别对待形态的歧视。区别对待是直接基于集体身份实施的克减、限制或剥夺特定人群法律权利的歧视行为。按照法院在审理区别对待案件中发展出的成熟审查框架，锚定责任需受害人证明三个要素：第一，受害人具备特定性别、残障、传染病病原携带等受法律保护的集体身份；第二，受害人遭受了不利益；第三，受害人遭受的不利益与其集体身份之间存在因果关系，亦即施害人基于受害人的集体身份实施了区别对待。
从实践情况来看，原告证明存在歧视的成功率并不乐观。以职业歧视为例，2010年至今我国法院审理的职业歧视案件中，确认用人单位确有歧视行为的案件数量约占该类案件总数的36%。其他国家和地区原告胜诉的几率亦普遍偏低。如，美国职业歧视诉讼案件原告的胜诉率不仅比其他民权类案件低6.78%-25.91%，也大大低于侵权、合同纠纷等类型的案件。
制约歧视案件原告胜诉的瓶颈在于建立集体身份与遭受不利益间的因果关系。施害人的决策过程如同黑盒一般，外界不能窥见其中关键细节。34%的职业歧视诉讼原告败于因果关系证明不能，是该类案件中原告败诉的首位原因。如果排除很少需要证明因果关系的行政类案件，这一比例会上浮至40%。事实上，绝大部分法院确认存在歧视的案件中，与其说是原告成功证明了因果关系，不如说被告因为自身对禁止歧视法律规范的违法性认识错误而将因果关系拱手呈上——被告要么不惮于直接回复求职者不接受河南人，要么在知悉求职者携带传染病病原后随即拒绝录用，要么在网络平台发布的招聘广告中公开声明仅招男性。可以预见，经历禁止歧视立法和司法判决的“洗礼”后，施害人必将愈发小心地把歧视意图包裹在冠冕堂皇的说辞之下。对女性、残障者、传染病病原携带者等的嫌恶将被粉饰为对其专业能力等的考量。穿透施害人给出的“正当理由”势必愈发艰难。
在数字场景中，歧视被重构为0和1的组合，因果关系也随之被封装进算法铸造的黑盒中，“前因”与“后果”更加晦暗不清。最直观意义上，算法以代码形式存在，首先形成感知维度上的黑盒。施害人的偏见由算法表达并执行，即使是最赤裸裸的歧视亦披上数字隐身衣。很长时间内，外界甚至无法确知算法部署与否。其次，算法附着的一系列法益形成法律维度上的黑盒。施害人部署的算法是其或者第三人合法拥有的商业秘密。受害人即使发现了算法中歧视的蛛丝马迹，司法机关纠结于商业秘密等缘故难以强制权利人披露技术细节。公共领域作为关键信息基础设施的部分算法更是事关公共安全。披露技术细节意味着暴露算法基础逻辑，削弱算法抵御被人为操纵风险的能力而将公共安全置于险境。这显然是禁止歧视不能承受之重。再次，编排算法的另一套符码规则构成认知维度上的黑盒。算法通常表现为繁芜的程序、枯燥艰深的代码，体现了极强的专业性和技术性。即使完全开源，对缺乏写作、阅读代码和设计算法等专业技能的社会大众而言，依然无法跨越技术门槛。受害人无法理解算法逻辑，遑论在代码的字里行间找寻到歧视的因果关系。最后，部分算法的不可解释特性形成技术维度上的黑盒。尤其是基于深度学习算法搭建的人工智能系统运行过程不透明，“给它一个输入，其反馈一个决策结果，没人能够确切地知道它背后的决策依据以及它作出的决策是否可靠”。在最糟糕情况下，集体身份是否以及如何影响输出结果无法揭晓。受害人在技术上不能证明是否存在基于特定集体身份的区别对待，锚定法律责任几乎成为不可能完成的任务。
（二）基于信息约束的禁止歧视机制
责任规则适用时间的滞后性和适用结果的不确定性意味着由其单独消除歧视既不现实也不经济。在责任规则外，我国从个人信息保护视角切入，发展出独立的基于信息约束的歧视治理机制。
信息约束与责任规则立足不同的治理逻辑。责任规则以交易成本外部性的内部化在后端威慑施害者不得歧视，而信息约束从前端阻断交易发生，通过截断施害者获取集体身份等关键信息的渠道，人为制造出信息不充分的决策环境，达到以“不知”求平等的效果。当内部群体和外部群体之间的界限是模糊的，对外部群体成员的歧视就是难于实现的。缺少个人性别、残障、传染病病原携带等关键信息，施害者纵然有心，亦无力歧视。如，20世纪70年代以来，美国多支交响乐团引入盲选机制，在试演过程中用幕布遮挡候选人以模糊其性别，女性乐手获选几率得以显著上升。
相较于责任规则，阻止施害者获得集体身份信息比威慑其据此作出歧视行为效率更高。信息约束在我国被广泛用于性别、传染病病原携带等歧视的治理，与责任规则一道形成禁止歧视的“组合拳”。针对性别歧视，除《就业促进法》规定不得歧视妇女外，人力资源和社会保障部、教育部等九部门颁布的《关于进一步规范招聘行为促进妇女就业的通知》，从信息约束角度着手，禁止用人单位在招聘环节中询问妇女婚育情况或将妊娠测试作为入职体检项目。针对传染病病原携带歧视，除《就业促进法》要求用人单位不得以是传染病病原携带者为由拒绝录用求职者外，教育部办公厅、原卫生部办公厅《关于普通高等学校招生学生入学身体检查取消乙肝项目检测有关问题的通知》（教学厅〔2010〕2号）以及人力资源和社会保障部、教育部、原卫生部《关于切实贯彻就业体检中乙肝项目检测规定的通知》（人社部发〔2011〕25号）禁止在普通高等学校招生、研究生招生入学体检和企业就业体检中检测乙肝项目。其他国家和地区同样采取了将信息约束嵌入歧视治理机制的做法。如，《美国残障者法》（Americans with Disabilities Act）禁止雇主在作出雇佣决定前询问、检查求职者的残障状况。德国《人类基因检测法》（Gesetz über genetische Untersuchungen bei Menschen）禁止保险机构、雇主等在缔结保险合同或建立劳动关系前后要求个人接受基因检测或提供相应结果。
立法者日益清醒地意识到个人信息保护之于治理歧视的正溢出效应。如，我国正在酝酿中的《个人信息保护法（草案）》指出种族、民族、宗教信仰等敏感个人信息泄露或非法使用可能导致个人受到歧视，需就敏感个人信息处理作出更严格限制。欧盟、印度等在个人信息保护立法中严格控制种族、宗教信仰、基因、性倾向、种姓等敏感个人信息的获取、处理、使用，均包含通过抑制数据流动降低歧视发生几率的意图。
遗憾的是，信息约束绝非包治歧视的灵丹妙药，其适用局限性在数字时代愈发明显。首先，信息约束无法抑制区别影响形态的歧视。不同于区别对待的歧视，区别影响的发生没有基于集体身份的分类过程。即使集体身份信息完全缺失，施害人依然能够通过表面中立的做法对特定人群造成不成比例的不利影响。如，正在我国大规模部署的智能面试系统将个人语音语调、面部微表情等纳入评价范围。存在视力、言语、肢体等障碍的残障求职者可能在中立规则影响下承受更高比例求职失败的后果。意大利法院在“意大利贸易、酒店、餐饮和服务业工人联合会（博洛尼亚），意大利新工作身份工会（博洛尼亚）和意大利运输工人联合会（博洛尼亚）诉户户送公司案”（以下简称“户户送案”）的判决中也注意到，平台部署的工作时段自助预约系统足以在不知晓骑手工会会员身份的情况下，基于中立的派单算法克减、剥夺其罢工权等合法权利。
其次，信息约束的实际效率与特定场景中施害者能够获取信息的丰裕度、集体身份与其他信息的联络度反向相关。场景中的信息丰裕度越低，信息间的联络度越稀疏，约束效果越明显。如，在遴选乐手的场景中，乐团只能获得有关幕布后表演者演奏技巧的信息，演奏技巧不能关联表演者的性别信息，性别歧视自然难以发生。同样地，在求职场景中，医疗机构被禁止开展入职乙肝检测，用人单位自无可能基于求职者传染病病原携带状况作出取舍。
转换到复杂信息环境后，信息约束随即暴露出规制能力的短板。复杂信息环境中可得信息类型繁多、体量巨大；而在数字时代，大数据造就的复杂信息环境方是决策的常态。形式上的“不知”——将性别、残障、传染病病原携带等集体身份从决策信息中予以剔除，愈发不能缓和社会之于平等的焦虑。诸如数据最小化、匿名化等原则，在大数据强有力的反向识别和预测性挖掘等技术下，早已失去了应有的价值。信息环境愈复杂，施害者愈有可能借助可以合法获取的信息绕开预设约束，迂回接近集体身份信息进而实现对特定人群的歧视。
最后，信息约束隐含着前数字时代人类数据处理能力相对有限的适用前提。遵循近似逻辑行动的集体成员会将建构出来的集体身份信息映射到日常行为中。对日常行为数据的调查分析即可洞察潜在的映射规律，逆向解析出隐藏在行为背后的集体身份。这些巨量数据过去远超人类分析处理能力，沉睡在社会各个角落。但对人工智能而言，数据挖掘恰恰是其擅长的作业。2012年以来，投入训练人工智能的算力大约每3.4个月翻一番，截至2018年已增长超过30万倍。人工智能甚至发掘出诸如搜索引擎使用行为与罹患帕金森症等神经退行性疾病之间过去鲜为人知的联系。湮没于巨量数据中的信息正在指数式增长的算力面前逐一显形。法律需要兼顾保护平等权和促进数字社会健康发展等多元目标，既不能过度限制信息技术发展，也不能无限拉长被约束的信息清单。信息约束治理歧视的制度潜能已现捉襟见肘之虞。
（三）基于平权行动的禁止歧视机制
在禁止歧视法律工具的光谱中，责任规则居于一端，是面向个案的回应式治理措施。在光谱的另一端，平权行动不再止步于被动应对歧视，转而借助法政策工具，以超越个案情景的激进姿态强势介入宏观层面的结构性不平等，力图改变滋长歧视的社会土壤。
我国针对残障人群的按比例就业制度，面向边远、贫困、民族地区优秀农村学生的大学专项招生计划等，皆为就业、教育等领域典型的平权行动。平权行动对抗结构性不平等的方式是牺牲部分市场效率，基于集体身份逆向配置资源。由于歧视历史上长期存在，受歧视群体在资源占有和素质发展诸多方面均落后于其他群体，几乎无望通过个人努力等常规管道实现向上的社会流动。既然结构性不平等扭曲了市场机制，形成资源配置身份化格局，那么通过逆市场操作，牵引资源回流受歧视群体，即有望改善该群体在政治、经济、社会生活等领域的参与率，推动社会权力结构变迁。
悖论在于，首先，所有平权行动的设计和实施皆须以知晓个人集体身份为前提。这意味着，需要获取敏感个人信息还原特定群体在政治、经济和社会领域面临的结构性不平等，为平权行动提供正当性基础；在具体实施时，还需明确特定个体的集体身份归属，决定其能否作为倾斜性资源配置的对象。如此持续性、大规模地采集、存储、传输和使用敏感个人信息与个人信息保护之间已然产生张力。
更现实的挑战在于，平权行动在松动社会权力结构的同时，人工智能却可能反向而行，以更高的效率固化、加剧既有的结构性不平等。人工智能达成平等是比提高效率难度更高的设计目标。在人工智能中带入结构性不平等只需袖手旁观，但要保证输出结果公正则必须刻意检视、防范、修正源自算法、数据等的歧视风险。不仅如此，人工智能应当遵循何种平等、如何实现平等在现阶段可谓言人人殊。如，仅在机器学习的分类问题中就存在群体均等、预测均等、几率均等等对平等不同的技术定义。
其次，结构性不平等是多因素长期共同作用的复杂结果。正如解决残障人群面临的职业歧视问题无法一禁了之，还需要在职业领域贯彻按比例就业以及从教育、社群文化改造和无障碍环境建设等其他领域综合施策。现阶段受制于算力的物理上限和算法模型的技术边界，人工智能大多应用于场景化、短期化任务。连贯交互的社会生活被分割成彼此独立的静态片段，复杂的社会系统被抽象成相对简单的算法模型。参与社会变迁的多元要素及其复杂互动可能散佚在场景化的简单模型之外。算法累积的效果也可能与人类社会整体发展的目标和价值不一致。单个细分场景中人工智能给出的最优解跨场景连续加总后完全可能导致整个社会的无效率。
最后，人工智能长于发掘相关性而非解析因果性。快速清晰的相关关系分析甚至被认为比慢速的因果分析更有用和有效。相关性可以描述性别之于职业选择、户籍之于逮捕率、残障之于劳动参与率等事物之间的客观联系。至于形成此种联系的社会机理有赖于对因果关系的审慎解读。女性对特定职业的排斥可能确系自发的职业偏好，也可能因为该领域内猖獗的性别歧视阻止了女性进入。在厘清因果关系的基础上，还需要引入价值判断明确因果关系的正当性，决定是否进行法律干预。由此可见，止步于相关性无法触及隐藏在深处的社会权力结构以及对应的资源分配格局——这恰恰是平权行动力图改变的对象。
四、治理人工智能歧视法律框架的构造
人工智能的歧视是科技不确定性的内生风险。无论承认与否，成型于工业社会的禁止歧视法律体系在数字时代暴露出结构性缺陷，已现降效失能的颓势。究其原因，一是人工智能带来的技术霸权加剧了私权利的弱势地位。伴随人工智能的加入，技术使用者达成对使用对象全方位信息压制。两者之间信息不对称的格局正在向信息单向透明演变，而现有法律体系缺乏面向使用对象的对抗技术“赋能”歧视的法律资源供给。二是人工智能的普遍应用带来歧视风险的深化和泛化。许多情况下，单靠事后救济与算法责任机制不足以真正控制和防范算法风险的危害。现有个案回应式的事后治理模式必然顾此失彼，无法充分响应普遍侵权风险。当务之急是因应歧视智能化的趋势实现我国反歧视法律体系数字化转型，从数据主体、代码规则、开发行为和社会环境等角度入手，补齐传统治理工具短板并发展出适应数字时代治理歧视需求的法律方案。
（一）数据主体赋权：基于算法解释权穿透算法黑盒
赋权数据主体的核心在于赋予其算法解释权。面对算法决策带来的诸多挑战，算法解释权成为监管者和数据主体逃脱算法操纵并重获控制的关键一环。算法黑盒造成的决策过程不透明已经对查证是否存在歧视构成严重妨碍。不能打开算法黑盒等同于宣告基于责任规则的歧视治理机制在数字时代脑死亡。在“威斯康星州诉卢米斯案”中，法院无法确知涉案智能系统（COMPAS）评估被告人再犯风险高低的具体方法，在该系统是否存在歧视的问题上采取了保守立场；而在“户户送案”中，法院掌握了平台算法的运作逻辑，进而作出算法规则构成歧视的判断。这一正一反两个案例说明，知悉算法决策过程是评价数据主体是否因其集体身份遭受区别对待或区别影响的关键步骤。
《个人信息保护法（草案）》有关个人有权要求个人信息处理者对自动化决策予以说明的规定，显示算法解释权在我国已有初步共识。算法解释并非披露人工智能的技术细节。因为如此解释既有害商业秘密之保护，又使相对人不能理解而无实际意义。在禁止歧视的语境中，解释的目的在于展开包裹在算法中的决策过程，为数据主体、司法机关等判断是否存在区别对待或造成区别影响提供具有法律意义的信息。算法的运行逻辑、输入的数据、决策考量的因素及其权重等均可纳入解释范围。
就对象而言，算法解释应当结合一般意义上的系统功能解释和面向个案的具体决策解释。解释系统功能的确可能因为缺乏问题聚焦而失之宽泛，但仅针对具体决策的解释可能无法完整呈现人工智能运作情况。况且，具体决策解释以存在相关决策为前提，有其适用局限性。如若未来我国公益诉讼拓展至数字领域，检察机关无法依托具体决策解释，必须通过功能解释掌握人工智能系统的决策过程。
（二）代码规则监督：基于算法审核抑制歧视风险
算法解释权有助于缓解之于算法黑盒的焦虑。但面对人工智能使用者给出的错误乃至虚假解释，算法解释权缺乏行之有效的制约手段。相较于同样存在黑盒难题的人脑，算法逻辑具有稳定性，不会因人因事因时因地而异。并且，虚拟世界亦可便宜开展现实世界中可望而不可及的实验和模拟。这意味着，算法可以做到更为透明。通过审核“拷问”人工智能或可暴露埋藏其中的歧视风险。
算法是人类利用信息技术自主构筑的人造物，也是各种利益纵横交错的节点。审核算法的制度设计不宜简单地将平等凌驾于安全、效率等其他价值之上，而需要平衡复杂博弈的公私利益，在多元诉求的张力间努力沟通协商建立基本共识。
算法审核的主体应当由相对独立的第三方机构担任。开发者自我审查难以取信于公众，但面向公众袒露技术细节可能对公共安全、商业秘密等造成负担。折中做法是由具备技术能力且不存在利益冲突的第三方机构负责在人工智能部署前及运行过程中实施审核，开发者或权利人仅在必要范围内向审核主体公开算法技术细节。如此安排既能一定程度上调和平等与安全、财产等法益在算法审核中的紧张关系，也较为符合信息技术领域对软件产品、软件过程进行检查，评估其对规格、标准、合同协议或其他标准遵守情况的一贯做法。
算法审核的标准、强度等应视具体应用场景而定。对预测警务、量刑辅助、智慧医疗等部署在公共部门、分配公共产品涉及公民人身自由、生命健康等基本权利的人工智能，需要严格审核，在实际部署前和投入使用后定期检查算法目标设定、逻辑架构、模型选择、假设评估、输入数据和输出结果等各个环节的歧视风险。对员工招聘、商业信贷审批、语音识别等部署在私人部门，但涉及混合产品分配的人工智能，可以按照中等强度进行审核。根据系统更新幅度重点检视数据质量，分析算法是否存在基于特定集体身份区别对待或者输出结果是否对特定群体造成不成比例的不利影响。对于新闻推送、产品推荐等部署在私人部门、提供私人产品的人工智能，只需着重排除算法中公然基于性别、残障等集体身份实施区别对待的风险即可。
在审核范围上，需要兼顾对算法本身及对应数据集的审核。由于结构性不平等的存在，源自数据的歧视风险远远高于源自代码的歧视风险。在现阶段，有效评估歧视风险尚需知晓个人性别、残障等集体身份信息。个人信息保护法律可以就敏感个人信息处理设置更为严格的要求，但不宜一概禁止采集、处理此类信息。相反，保存性别等敏感个人信息对审核歧视风险至关重要。因为只有在集体身份一定的前提下方能判明是否存在歧视。个人信息保护机制需要在敏感个人信息保护和利用间作出平衡，探索适当放开反歧视情境中敏感个人信息采集、使用限制，通过算法审核提供更为有效的公平性保障。
（三）开发行为规范：非歧视作为人工智能合规标准
在审核之外，人工智能的开发、运行还应当严格遵循非歧视原则。现阶段非歧视原则嵌入人工智能的具体技术方案虽无定论，但因为完美的控制不可能，并不能得出有效的控制不可能的推论。禁止歧视最有效率的实现路径始终是通过法律将非歧视植入规制对象的底层行动逻辑，诱导出立法者期待的结果。如果设计开发者可能会把自己持有的偏见与喜好嵌入或固化到智能算法中，法律亦可将非歧视设定为人工智能的开发准则，推动形成普遍遵守的社群规范，降低歧视发生风险。
人工智能的开发首先需具备正当目的，不得被设计用于执行歧视性任务。非为保障公共安全等重大公共利益或者促进历史上受歧视群体的合法权益等，禁止开发、部署人工智能执行基于性别、残障、传染病病原携带等特定集体身份的分类或预测任务。
训练算法模型的数据集需具备均衡性。恪守中立的算法可因为偏颇的数据作出偏颇的判断。对于训练数据的来源、内容需要进行公开，保证训练数据的全面性、多样性。在我国语音识别场景中，语料库相关数据的缺乏导致人工智能识别普通话和各地方言的词错率、句错率相差悬殊。在美国，微软、苹果公司等开发的自动语音识别技术也因为训练模型时缺乏非裔美国人的音频数据导致该群体的字错率异常偏高。人工智能使用的数据集需从数据采集、数据清洗、数据采样等环节着手，均衡反映不同性别、地域、残障状况等人群的客观情况，避免带入数据中沉淀的偏见和结构性不平等。
非歧视原则还意味着人工智能开发者有义务对技术方案进行歧视风险评估。人工智能技术方案选型实质是开发者与社会公众基于技术载体的对话。算法总是蕴含着价值判断，总是与特定的价值立场相关。不经意间流露出来的开发者偏见透过人工智能的技术方案表达，在与社会公众的交流互动中激发、固化甚至加重偏见。语音助手多以女性声音为默认设计的做法无形中“传递出女性是热情、温顺、召之即来的助手的讯号……这加剧了普遍存在的性别偏见，即妇女是次要的并且能够容忍糟糕的对待”。在这个意义上而言，人工智能的技术方案确定不应是简单的性能择优。开发者在事前风险评估中应当引入非歧视视角，评估不同方案对公平正义的影响，在技术效果近似时，优先选择更利于实现平等的方案。
（四）社会环境重塑：基于数字平权行动变革权力结构
人工智能歧视风险根源于无意识的偏见表达和结构性不平等。算法解释、算法审核、非歧视合规标准等可以降低歧视发生几率，但无法从根本上动摇结构性不平等。数字平权行动是工业社会平权行动在数字领域的延伸。只要人工智能延续从数据中提炼一般规律的技术进路，由国家引导，企业、高校等多方主体参与的数字平权行动就是遏制偏见和结构性不平等侵蚀人工智能的必要手段。
首先，需要推动人工智能开发团队构成多元化。人工智能团队及其领导者多样性匮乏会导致弱势、少数群体和受保护阶层蒙受歧视。团队构成多元化是在人工智能开发、部署层面开展有效商谈，规范开发行为规范，抑制无意识表达偏见的重要保障。相关团队不仅需要跨学科背景，也需要来自不同性别、种族、社会经济背景、残障和性倾向群体的人员。互联网企业需定期检视并向社会公开自身多元化水平。企业多元化水平也可以成为未来我国政府采购人工智能产品、制定税费征收方案等的考量标准。
其次，数字平权行动的意义不仅在于重申宪法和法律对平等权的承诺，也在于维护禁止歧视立法和司法实践的成果。考虑到知识和技能的扩散对于不平等的削减起着关键性作用，我国数字平权行动应当直指人工智能歧视的风险源头，重点关注与人工智能密切相关的职业和教育领域，以专项计划、优先录取等方式激励女性，残障者，边远、贫困、民族地区学生等代表性不足的群体进入数学、软件工程、计算机科学等专业和行业，保障信息技术领域的人员构成沿着多元化方向发展。
最后，数字平权行动的第三层含义是利用人工智能作为消除歧视的工具。如果认为对算法进行训练和操作的现实充满了歧视，对种族主义或性别歧视算法问题的处方就是算法平权行动。辩证地看，人工智能“赋能”歧视的风险中也孕育着利用人工智能治理歧视的契机。在广阔的社会领域中，人工智能可以被用于实施平权行动，辅助我国政府部门、相关企业等更加准确地把握女性，残障者，老年人，边远、贫困、民族地区学生等群体面临的不利处境，制定更加灵活的平权方案，更加及时地评估实施效果，精准引导教育、职业、公共服务等资源向相关群体流动，实现从大水漫灌式向精准施策型的平权行动转变，在尽可能压缩平权行动负面影响的同时，有效弥合我国社会的数字鸿沟。
结 语
歧视和禁止歧视的博弈从工业社会延续到了数字时代。归根到底，歧视是人与人，而非人与技术之间互动的产物。一方面，无论技术本身如何前沿，人工智能不会当然消解歧视发生的心理和社会基础。相反，个体层面的内隐偏见和社会层面的结构性不平等正在透过问题建构、数据理解、特征选择和个人信息等维度侵入人工智能系统，诱导其输出否定个人尊严、错配社会资源的歧视性结果，缓慢但持续地侵蚀社会关于平等的基本共识。另一方面，人工智能的确深刻改变着歧视的表达形态、传播效率和影响规模。“智能化”了的歧视更加隐晦且高效，更擅长以表面客观中立的做法克减、剥夺弱势群体的平等权利。我国现有禁止歧视法律体系的内核是工业时代治理歧视的思路。其所依赖的责任规则、信息约束和平权行动等治理工具在面对“人工智能+歧视”的组合时暴露出不同程度的结构性缺陷，无法充分满足数字时代保障平等权利的迫切需要。有鉴于此，我国禁止歧视法律体系亟待因势而变，引入算法解释、算法审核、非歧视开发准则和精准的数字平权行动等治理措施，在数字时代切实维护我国社会公平正义的底线。