作者：张欣  来源：网络法理论与实务课程

一直备受关注的《个人信息保护法》（草案）终于在10月21日揭开面纱。该草案稿一共八章七十条，对个人信息处理规则、个人信息跨境提供的规则、个人信息处理活动中各方的权利和义务以及履行个人信息保护职责的部门予以了系统规定。本文拟聚焦于草案稿中的自动化决策和自然人个人信息自动化处理相关条款，对我国的《个人信息保护法》（草案）稿进行解读和分析。【第一期请参见公众号往期推送】

四、确定了个人信息处理审计制度

条文第五十三条规定“个人信息处理者应当定期对其个人信息处理活动、采取的保护措施等是否符合法律、行政法规的规定进行审计。履行个人信息保护职责的部门有权要求个人信息处理者委托专业机构进行审计。”

【条文解读】

本条是关于个人信息处理审计制度的规定。就自动化个人信息处理而言，仅通过赋予个人以新型系列权利的方式难以周全保证治理实效。个人在行使各项权利时，基于时间、精力、知识等限制，可能出现怠于行使或者行使不利等情形。因此，从立法中要求个人信息处理者采取系统化的保护措施与个人享有的系列权利协同发挥效用为目前国际上的通行做法。

在GDPR和美国、加拿大为代表的与算法问责制度有关立法中，均要求了对自动化决策处理实施审计。例如，最早颁布算法问责制相关立法的纽约自动化决策工作组就通过发布指南、会议召集等方式在公共事业领域中积极推动算法审计实践。

在商业化场景中，目前多由独立的第三方算法审计师(algorithm auditor)担任算法稽核的任务，以确保算法的透明、公平以及特定场景下具有可解释性。在算法稽核（审计）过程中，通常对算法应用的基础数据是否存有偏差进行定期检查，以确保模型部署后的公平性。除此以外，还会对模型设计（例如是否存在模型参与设计导致代表性不足的问题）、如何使算法更具道德性和可解释性等方面提出建议。从算法治理的流程来看，算法审计的目的是在算法可能对公民和社会造成不良影响前就采取预防纠正措施。

但需要注意的是，算法审计也可能带来误导或者不准确的结论。近期发表于Nature Machine Intelligence的研究表明，目前对具有黑箱特性的算法模型进行解释和审计时仍然受限，依据部分特征展开的解释和审计无法保证可信性、还原性。众所周知的ProPublica对于COMPAS软件发布的报告就是一个经典例证。

ProPublica的报告本质上体现为外部主体对COMPAS软件决策逻辑做出的解释和审计。该报告指出，COMPAS软件基于种族并结合主体其他特性对被告人进行累犯预测，可能存在种族歧视的算法偏误。但该项研究指出，ProPublica的解释虽然模仿了原始COMPAS模型的计算过程，却并非完全忠于原始模型。

ProPublica仅对原始模型的部分特征与预测结果关系进行了趋势汇总，认为其是一个基于种族的线性模型。但实际上，COMPAS是非线性模型，客观上的确存在不依赖种族进行预测的可能性。因此，ProPublica的报告并非对 COMPAS的“真正解释”，相反会产生极大误导。因此，这一例证形象地展示出算法审计可信度的重要政策意涵。

因此，从目前国际通行的治理实践来看，我国在此次立法中规定了自动化决策审计制度具有积极意义。但目前条文仍然存在以下不足：

（1）对于在何种情形下由个人信息处理者进行内部审计，何种情形下需要启动外部设计未能予以规定。一方面可能对于企业的合规指引不清，另一方面可能使得审计制度流于形式而未能起到真正的作用。建议立法者未来通过颁布次级立法或者细化条文的方式对这一制度进行细化。

（2）审计的依据限定为符合法律、法规，而未采取国际较为通行的“法律法规+道德伦理”的审计模式。这可能使得审计的内容存在局限。众所周知，智能社会中法律法规常常滞后于技术的发展和应用实践。因此仅以法律法规为审计基础，可能导致审计的内容滞后于实践发展。

图为国际实践中算法审计的核心内容

五、确定了自动化决策风险事前评估制度

条文第五十四条第一款规定“个人信息处理者应当对下列个人信息处理活动在事前进行风险评估，并对处理情况进行记录：……（二）利用个人信息进行自动化决策；”

第二款规定“风险评估的内容应当包括：

（一）个人信息的处理目的、处理方式等是否合法、正当、必要；

（二）对个人的影响及风险程度；

（三）所采取的安全保护措施是否合法、有效并与风险程度相适应。

风险评估报告和处理情况记录应当至少保存三年。”

【条文解读】

本条是有关自动化决策风险评估制度的规定。条文中不仅明确提出个人信息处理者应当进行事前风险评估，同时还对风险评估的核心内容进行了规定。

此条中规定的自动化决策风险评估与国际上通行的算法影响评估实践十分类似。面对日益攀升的算法治理压力，算法影响评估制度(Algorithmic ImpactAssessments, AIA)已经成为当下算法治理实践最为瞩目的焦点。2018年纽约市通过颁布《算法问责法》首创自动化决策系统的影响评估制度。2019年加拿大政府颁布了《自动化决策指令》系统化创建算法影响评估指标。2020年欧盟《人工智能白皮书》中也不约而同地提出应针对人工智能应用建立清晰、易懂且兼顾各方利益的影响评估标准。

在技术领域中，算法影响评估是指对自动化决策系统的稳健性、公平性和可解释性等特性进行的评估。其目标是设定系统的运行边界和使用周期，创建系统设计者对运行结果负责的切入点。在算法治理领域中，算法影响评估多从事前、事中和事后，对技术架构、防治不良影响的技术措施、权利救济渠道、算法透明实现机制等方面进行评估。目前，各国主要集中于公共事业领域进行影响评估。

我国目前的立法与美国、加拿大等国的立法路径有四点不同：

（1）我国集中于风险评估，而非更为广泛的影响性评估。但从操作层面来看，何为风险其实是一个棘手而又必须解决的问题。只有明晰了风险的衡量标准和基准，才可能在此之上搭建起更具可行性的平台。

（2）我国的风险评估主要集中于对个人的影响和风险程度。而目前国际中的通行做法不仅聚焦于对个人的影响，还对社会、经济、生态等多方面的影响予以关照。

（3）我国的风险评估并不区分被评估系统的优先级。实际上，在欧盟、美国和加拿大的算法影响评估中，更加注重对自动化决策系统重要性、应用场景的划分，在重点领域中实施更为严格的评估方法。

（4）我国的风险评估聚焦于事前阶段，而目前已有的算法影响评估实际上是采取事前、事中和事后阶段的全周期视角的评估。

六、明确了公共事业领域自动化决策活动应当遵循的原则

草案稿第二章第三节专门对国家机关处理个人信息进行了规定，可以说是本次立法的一大亮点。

该节第三十四条规定国家机关为履行法定职责处理个人信息，应当依照法律、行政法规的权限、程序进行，不得超出履行法定职责所必须的范围和限度。

第三十五条规定国家机关为履行法定职责处理个人信息，应当依照本法规定向个人告知并取得其同意。

第三十六条规定国家机关不得公开或者向他人提供其处理的个人信息，法律、行政法规另有规定或者取得个人同意的除外。

【条文解读】

本节对于国家机关处理个人信息应当履行的职责和义务进行了规定，弥补了很长一段时间以来我国立法中多聚焦商业场景下自动化决策而忽略公共事业场景的问题。

目前我国已有的立法中，《电子商务法》、《网络交易管理办法》、《数据安全管理办法（征求意见稿）》均对商业场景下自动化决策进行了规定。但在实践中，公共事业场景中的自动化决策应用实际上非常广泛，可是相关的立法却十分滞后和薄弱。

算法应用的边界在公共领域不断扩展之时，公众可能无从知晓某一对其产生影响的决策是由算法做出，对于决策形成过程亦无法有效参与。即使知晓相关决策的存在，个体亦难以理解算法决策的运行逻辑和具体依据，因此持有异议并挑战算法决策的行动空间十分有限。由此可见，在公共事业场景中，个体的行动空间、控制能力、影响范围和救济渠道正在不断消解，与之伴随的知情权、参与权、异议权和救济权纷纷失效，甚至个人的自由和尊严在不同程度都会受到挑战和侵犯。

实际上面对高效运转架构复杂的自动化决策，长久以来为确保人类决策的理性、避免人类决策的武断、恣意和不当，以正当程序为内核而设置的制衡机制已经频繁失效。例如以“通知-公告”为代表的一系列公众参与机制已无法妥当适用于自动化决策领域。例如法国总统马克龙在2018年接受连线杂志采访时称，由政府资助开发或者自主开发的算法如果在公共事业领域应用，会逐步公布其代码和模型，以获得较好的算法透明度。但在效能上，可以发现传统行政决策有效的规制路径对于自动化决策显得力不从心。

目前我国公共事业场景中，以社会信用体系为代表，非常广泛地对自动化决策予以应用。例如厦门近年来推动社会信用信息共享平台与智慧审批平台、网上执法平台、多规合一平台、商事登记主体平台、投资项目在线审批系统、公共资源交易平台等自动对接，完全实现自动比对、自动拦截、自动监督、自动惩戒、自动反馈。

因此，此次《个人信息保护法（草案）》能够以专节形式提出国家机关处理个人信息的原则和应当履行的法定职责，对于未来搭建公共事业场景中自动化决策的治理框架具有非常重要的意义。

七、《个人信息保护法（草案）》中与自动化决策相关的条文梳理