文章作者丨安永：高旭宏、余庭瑄、黄秋桦、廖婉丞
个人微信丨hello_SSX
前言
我们关注到现有AI系统评估框架大多借鉴资料保护影响评估（DPIA）与隐私影响评估（PIA），前者与资料存储、搜集与使用相关；后者涉及个人数据搜集与处理过程的风险评估，两者皆集中在资讯系统议题，甚少考虑人工智能对个人、社会和环境的广泛影响，例如：环境影响评估（EIA）、道德影响评估（EtIA）以及人权影响评估和或社会经济影响评估（SEIA）。
本文主要整理安永与Trilateral Research研究汇整国际AI监管发展趋势、对AI服务提供商（Vendor）与AI服务使用／应用者的风险评估与合规标准，以及金融业AI监管与风险评估发展趋势，期望通过本研究摘要协助金融机构更加了解国际与国内监管差异，进而更好地管理、评估和应对AI风险管理的监管需求与演变。
01
各国监管原则发展趋势
虽然人工智能的发展已有历史，但对于人工智能的监管规范才逐渐成形。研究欧洲、北美地区与部分亚太地区的监管机构发布的人工智能监管计划与监管目标，可以发现监管原则大致上分成两类：
就人工智能的使用进行评估：着重评估人工智能使用上可能产生的风险并逐一进行风险评估，如：训练资料的偏误、系统的稳健性、资讯安全的防护性等。
依据人工智能系统或应用进行风险分类后进行评估：根据AI应用领域进行不同维度的风险评估如：医疗领域AI应用较消费者推荐系统AI应用风险层度来的高，应适用不同较严格且全面的风险评估。
在2021年2月，OECD AI专家提出了一个用于分类AI系统的框架，而后各国监管在这个架构下结合风险基础法发展各自的监管方向。以欧盟委员会AI法案中的风险评估建议为例，其风险评估结果可分为四个等级：
不可接受的
高风险
有限／低风险
几乎无风险
该法案认为企业对于不同层级的风险应该要设定相关的管控措施，特别是对于不可接受的风险（亦即损害可逆性或可复原性几乎为零者），应设计相关的禁止措施，而对于有风险存在者，应设计风险抵减的手段，以保护使用者与所有利害关系人的权益。
观察国际AI监管发展，发展相对快的是欧盟，其推出的AI法案，预计明年会正式立法；已有草案成形但尚未有立法时程的国家则有加拿大、美国等国，而提出框架研拟相关草案细节的则有印度等国。我们的研究发现各国监管机关对于AI模型开发的监管共识是其发展需要符合一定程度的道德准则，然而对于AI服务提供商与AI使用者的规范面向则有不同，如：美国对于AI服务提供商的规范相较AI服务使用者之规范较多，AI服务提供商的规范多是对AI服务的本身是否有存在风险，并且对于这些风险是否有设计相对应的管控方式。AI使用者则是偏向在使用AI进行各类产出时，是否存在侵害他人权利的风险。后续章节我们将会分别对AI服务提供商与AI服务使用者的规范跟风险指标进行进一步说明。
02
风险评估合规观察：AI服务提供商（Vendor）
1. 风险管控与合规标准
自2019年开始，美国参议院提出了演算法问责法案，目标是对于AI服务提供商，提升系统决策的透明性与公平性，该法案亦为资策会关注焦点之一。该法案对于AI服务提供商进行监管上的收紧与罚则。观察监管趋势，我们认为对于AI服务商而言，可信赖的AI应该至少要包含以下的指标：人工介入与监督、技术稳健性与安全性、隐私防护与资料治理、透明度、多元，无偏见且具公平性、社会与环境友善、问责性。
许多监管机构建议AI服务提供商在系统开发／导入阶段就需要设计一套人工智能风险评估与监控方法，以此确保在服务进入市场前后，任何可能的风险都能被实时监控；若发生任何重大问题，AI服务提供商应该要向相应的监管机关回报。我们认为，开发商及服务提供商面对监管的风险评估要求，可透过以下几个步骤建构人工智能风险管理措施：
辨识分析已知风险
评估可能发生风险
在进入市场前的监控阶段评估其他可能风险
导入合适的风险管理机制与衡量指标
对于欲建构人工风险管理架构的AI服务提供商，我们建议可参考加拿大提出的演算法影响评估工具（AIA），其集结了公私领域的参与者意见，如学术单位、社群或其他公开机构，提出一趟完整的演算法影响自我评估方法，根据风险维度（演算法的使用与固有风险）与管控维度（是否有任何风险抵减措施）进行区分，透过回答线上的问题集可以协助AI服务提供商了解并分析AI系统的风险与目前内部的管控情形。
加拿大演算法开发评估工具
下方汇整由标准制定组织所发布的AI风险管理及治理相关标准，建议AI服务提供者可以参酌下列验证标准将AI风险评估纳入现行的风险管理和治理流程中，用以开发一套以风险为基础考量的可信赖AI商品。
2.风险评估建议
AI开发原则选定可以依据当地监管期望或行业需求进行调整，像是OECD人工智能五原则、欧盟执委会人工智能高级专家小组《可信赖的人工智能伦理准则》、美国《AI权利法案蓝图》等。而针对前述原则衍生的风险管理框架特点则建议包含：
广泛范畴：组织应全面考虑AI对不同道德问题和社经议题的影响；
可操作性：组织应能够将概念原则转化为可实施的策略，涵盖AI生命周期的各阶段，包括AI系统应用情境发想、系统开发、部署和监控；
灵活性：该框架应能适应各种AI系统、使用案例、实施情境和组织环境，确保框架可以根据特定需求和要求进行调整；
滚动调整：该框架应贯穿在AI系统的整个生命周期并持续调整；
透明：在使用人工智能时确保相关参与者知晓数据驱动的决策，并有渠道查询和挑战这些决策；
参与：该框架纳入来自各学科专家和可能受到人工智能系统影响的利益相关者的观点和意见，确保评估过程中听取和考虑到多元的声音。
我们观察到若要将上述AI原则落地，可透过建构一个有效的AI风险评估方法来符合各国监管期望与认证标准，相关服务提供商可考虑以下风险评估要点发展自己的风险评估架构及流程：
在企业层面应发展一个迭代的风险评估与管理流程，其中包含：
内部分析：辨识该AI服务的开发与营运单位；
AI使用者与利益关系者参与：讨论使用该AI服务后可能对人类福祉与社会环境的影响；
资料搜集：与影响评估相关的数据收集和追踪（可能超出与AI服务开发本身相关的数据范围）。
在商品开发单位层面建议风险评估至少应在以下三个阶段进行导入：
该服务的初始设计阶段；
该服务上市前；
该服务上市后；
并邀请相关单位进行反覆讨论与检视。
我们期望透过上述整理帮助AI服务提供商理解和应对AI道德议题和社会影响，从而弥补并落实可信赖AI的治理与管控。
03
风险评估合规观察：AI服务使用／应用者
1.风险管控与合规标准
分析各国对于AI监管方向，对于AI服务使用者／应用者而言，可信任AI应该要有以下特性：
取代人为决策的必要性
具备人工管控的程序与监督流程
无偏见且公平的
不侵害著作权、隐私权等利害关系人权益
使用／应用的透明（使用者需知悉AI系统的功能与可能发生的风险）
特别是应具备人工管控的程序与监督流程，是需要特别关注的。
此外，AI服务使用者／应用者在导入前或上线前应对AI系统进行风险评估，建议的风险评估与管理措施包含：
根据AI服务提供商的文件说明辨识分析已知风险
评估AI系统本身是否有其他可能风险
根据应用的领域评估可能发生风险
导入合适的风险管理机制与衡量指标
各国对于AI应用监管规范或架构中，多数的规范对象以企业或机构为主；少有对个人使用者之规范。对于欲建构AI风险管理架构的AI服务使用者，可参考新加坡政府对于人工智能应用所提出的使用者风险评估架构。为使AI服务提供商与使用者可以审视AI服务的风险层级，新加坡政府在2022年提供一套可信赖AI治理测试框架和工具包（Verify AI），适用于希望以客观和可验证的方式展现可信赖AI 的公司，评估架构范本汇整于下表。
下方汇整由标准制定组织所发布的AI风险管理及治理相关标准，建议AI服务使用者或应用者可以参酌下列验证标准将AI风险评估纳入现行的风险管理和治理流程中，用以确保其使用的AI系统与相应服务达成其营运目标同时亦符合法规监管原则。
2.风险评估建议
AI服务使用／应用者可用之风险评估方法论种类繁多，过去AI系统风险评估框架大多借鉴DPIA与PIA，较侧重信息安全，近期监管机构开始关注算法系统风险评估议题，本章节将针对算法监管与风险评估方法做进一步的解析与说明。
参考相关算法风险评估研究，评估算法系统的方法可分为以下两种类别：
1.算法审查（Algorithm audits）：为透过外部独立机构查核与验证确保算法应用或AI工具的合规性，是较严谨且较受认可的风险评估方法。此审查方式可细分为特定系统应用流程查验或全面查核两种做法：
偏见审查(Bias audit)：仅评估算法输入、计算与输出结果是否存在偏见。
合规检查(Regulatory inspection)：对整个算法系统根据特定法规或标准进行检查，如数据保护法。通常由具有法定权力的监管机构或与开发人员合作的审计专业人员执行，并且检查时也需考虑与该算法系统相关的组织流程和使用者行为。
2.算法影响评估（Algorithmic impact assessments）：依据算法系统生命周期的不同阶段、影响的类型和被评估的系统类型，此评估方式可依据执行时间点分为以下两种做法：
算法风险评估（Algorithmic risk assessment）：在算法系统上线「前」评估其社会影响和风险的内部流程，建议持续监控。它全面评估系统实际使用情况和后续与用户的互动，由系统商或采购方实施。
算法影响评估（Algorithmic impact evaluation）：算法系统上线「后」对使用者或受影响单位进行评估，如：针对系统对特定客群的影响进行事后检视或测试。
04
金融行业AI监管与风险评估发展趋势观察
如同欧洲金融稳定研究所观察「人工智能包括机器学习（ML），具有显著的潜力改善金融服务、营运和风险管理流程。科技已经成为金融服务的一部分，毫无疑问，它将继续对消费者和金融机构产生深远的变革。在此发展过程中，健全的监管框架对于最大程度发挥新技术的利益并最小化风险至关重要。」金管会银行局亦于2023年10月公布《金融业运用人工智能（AI）之核心原则与相关推动政策》，与国际组织及监管机构概念呼应。
除了原则性指引，我们也观察到越来越多的声音呼吁金融监管机构提供更具体的实用指导，以下针对欧洲保险局（EIOPA）的AI治理原则与框架进行实例解析说明 ，期望后续可以作为相关金融机构建构风险治理框架与评估流程之参考。
参考FSI与EIOPA指引架构（图例），金融机构可将使用的所有AI模型进行场域定义并分为两类：「服务客户使用」与「服务组织内部使用」，并邀请各部门与利益相关者对于该AI模型的完整生命周期（开发— 部署）进行参与角色辨识与决策影响程度高低评分。举例来说，针对「服务客户使用」的类别，如：客服机器人，可请相关部门针对该AI模型对于「影响客户程度」问卷进行回覆，若客服机器人在与客户互动中，对客户「人类自主性」影响程度低，则其「影响客户程度」得分也会较其他AI工具低，可被分类为「低影响」。以风险为基础考量，依据场域影响分类后的结果，若被分类为「低影响」的AI模型，仅需导入有限的治理措施，如：补强合规差异、AI模型开发标准等；但若判断为「高影响」者，则建议导入全面性的治理措施，如：AI持续监控框架。
建议金融机构可结合内部需求与AI应用案例问卷结果加强或是建立对应AI风险管控机制与标准，使其开发与使用的AI模型均能符合监管期待且可被信赖。
结语
综观人工智能风险评估可大致分成评估源于使用AI所产生的风险以及依据AI系统或应用所辨识的风险评估两类，然而针对这两类的风险评估方法都建立在隐私影响评估、环境影响评估、道德影响评估和人权评估等基础之上。观察各地区与领域发展的风险评估方法，都鼓励企业，不论是AI系统的开发商或使用者思考下列问题：
何时为合适的风险评估启始阶段（在设计阶段、采购前和／或使用期间）？
基于预算考量，多数企业都会选择在AI工具或系统部属前后进行风险评估。然而当使用的AI工具或方案复杂度越高则可能衍生较多的风险。在涉及较复杂的AI应用工具时，建议从设计开发阶段到部署阶段都需要进行相应的风险评估。
谁该参与或主导风险评估以避免的潜在利益冲突？
为了使风险评估可信，评估者不应仅限使用者参与。即使在同一组织内，评估者也应获得管理层的授权，以评估风险并避免有风险被掩饰的可能。
在开发或使用AI过程中，风险评估结果若过高，是否有对应的解决方案？
企业在追求特定的人工智能方案时应了解可能导致的负面影响和声誉损害并依据风险评估结果判断相应的风险抵减措施或解决方案。
是否需公开揭露AI风险评估结果？
要能达到可信赖的AI开发与使用，进行独立的风险评估审查，并将结果交付公众评核是至关重要，但企业若考虑商业和竞争敏感性，亦可选择摘要揭露并向监管机构陈述不公开评估的原因。
我们相信任何监管与治理框架都需要基于不同风险基础考量进行相应的调整，以适应其应用的司法管辖区法规体系。过程中，除了需要考虑适用于与人工智能相关的数据、隐私法规和讯息安全等数位基础设施的监管生态外，尚须具备明确标准的风险评估制度与流程以建构一个可信赖的AI发展应用体系与环境。
编辑 | Jinya
进一步交流
进入专业社群展开深度讨论
慎思行通过微信等平台覆盖超过10万战略人、咨询人等各类专业人士。我们也构建了专业社群，推动战略与咨询领域的问题讨论、信息交流和机会分享，社群已有超过5年历史，并成为了顶尖专业人士感知市场前沿，获得实践经验的首要选择。入群请添加慎思君微信，并提供名片。
现在微信公众号更改规则，如果你不特地点进来，很可能看不到我们的推送了。希望喜欢【慎思行】的读者朋友们将本号【设为星标★】，方便找到我们；也欢迎点击右下角的【在看】。