人工智能治理

人工智能治理是组织用来指导和监督人工智能的一组角色、政策、工作流程、控制、证据实践和记录。它涵盖从供应商采购的人工智能系统、内部开发的模型、嵌入式人工智能功能、人工智能辅助工作流程、提示、生成的输出和依赖于人工智能活动的运营决策。

在企业环境中，人工智能治理必须回答五个问题：人工智能存在什么、在哪里使用、谁负责、存在哪些风险以及什么证据证明做出了适当的决策。当这些答案持续可用而不是在审计、事件或执行审查期间重建时，程序就成熟了。

人工智能治理与人工智能合规、人工智能风险管理、数据治理、模型风险管理和技术治理相关，但并不等同于其中任何一项。它将这些学科与企业内部运行的实际人工智能系统和工作流程连接起来。

人工智能的采用往往比企业监管的传播速度更快。部门可能会测试生成式人工智能助手，产品团队可能会添加人工智能功能，业务功能可能会自动进行文档审查。从规模上看，组织可能会失去对关键系统、敏感工作流程、第三方依赖性、数据暴露、人工监督和记录保留的可见性。

治理很重要，因为人工智能改变了运营责任。人工智能系统可能会影响决策、生成建议、总结证据、转换文档、对客户进行分类、编写代码、更改工作流程或创建可重用资产。如果组织无法识别明确的责任人、审查状态、使用背景和证据记录，领导层就无法可靠地管理风险或捍卫决策。

治理对于信任也很重要。员工、客户、监管机构、审计师、合作伙伴和董事会越来越期望组织能够证明人工智能的使用是负责任的。这需要记录责任归属、清单记录、风险分类、审查历史、控制、例外、监控信号和持久记录。

人工智能治理和人工智能风险管理密切相关，但它们回答不同的问题。人工智能风险管理识别、评估和监控人工智能系统和工作流程产生的不确定性。人工智能治理定义了使这些活动可问责、可重复和可审查的运营模式。

风险管理可能会确定客户决策系统需要偏差测试、人工监督、监控和升级阈值。治理决定谁负责该系统、系统如何进入清单、哪些审查者批准它、证据存储在哪里、如何处理异常情况以及何时必须重新评估系统。在成熟的项目中，人工智能风险管理是更广泛的人工智能治理模型中执行的核心流程之一。

AI 合规侧重于履行法律、监管、合同和内部政策义务。它询问该组织是否能够满足适用规则的要求，例如欧盟人工智能法案、隐私法、部门监管、采购承诺或内部负责任的人工智能政策。人工智能治理范围更广。它创建允许执行和展示合规性的所有权、流程、控制和证据结构。

组织在拥有成熟的治理计划之前可以承担合规义务，但如果没有治理记录，它将很难证明合规性。合规性需要可追溯的证据：系统范围、所有者证明、风险分类、审查结果、控制决策、通知、监督设计、监控结果和变更历史。

人工智能清单是人工智能系统、人工智能用例、工作流程、供应商、所有者、生命周期状态、风险背景、控制和证据参考的维护记录。人工智能治理是一门使用该清单来制定决策、应用控制、路线审查、监控变化和保留责任的学科。

这种区别很重要，因为单独的列表并不能实现治理。当清单记录成为运营模型中的活动对象时，治理才真正开始。每条记录都应有责任人、审查状态、风险分类、所需控制、证据历史以及更新或变更触发条件。清单是记录系统；治理是围绕清单建立的问责体系。

实用的人工智能治理运营模型定义了决策权、接收路径、审查责任、控制要求和记录责任归属。该模型对于业务团队来说应该是清晰的，对于法律、风险、安全、审计和合规团队来说应该足够强大。它还应该认识到，并非每个人工智能用例都值得同等程度的审查。

运营模式通常始于人工智能治理委员会或指导小组，负责制定政策、风险偏好和升级标准。日常工作分配给负责任的企业所有者、系统所有者、数据所有者、安全审查员、风险审查员、法律审查员和审计利益相关者。中央治理职能协调流程、维护清单并确保证据连续性。

接收过程应捕获业务目的、人工智能功能、所有者、数据类别、受影响的用户、决策影响、地理位置、生命周期阶段和预期记录。分类应确定系统或工作流程是低风险、中风险、高风险还是受限风险。然后，审查会分配适当的控制措施，例如人工监督、监控、访问限制、用户披露、供应商尽职调查、测试和审批门。

当供应商更新功能、团队扩大使用、数据流变化或发生事件时，批准的系统需要定期重新评估、控制确认、所有者重新认证和变更审核。目标是协调责任：共享清单、一致的控制和足够的本地所有权，以便业务团队保持记录最新。

人工智能治理生命周期描述了人工智能系统或工作流程如何从最初的信号转变为持续的监督。它通常从发现、吸收或采购审查开始。然后，组织验证业务目的，识别所有者，对风险进行分类，确定数据和用户上下文，映射监管风险并分配所需的审查路径。

经过初步审查后，生命周期进入决策和控制阶段。系统可以被批准、有条件批准、限制、补救、暂停、退役或存档。批准的系统不应从治理中消失。当供应商更新功能、团队扩展使用、模型更改、添加新数据类别或工作流程对业务决策变得更加重要时，它们需要所有者重新认证、监控、控制证据、定期重新评估和变更审查。

最后阶段是保留和退休。当人工智能系统退役时，组织应该保留它所做的事情、谁负责该系统、做出了哪些决策、存在哪些证据以及下游记录或依赖关系是否仍然存在。

人工智能治理框架将原则转化为运营组件。实用的企业框架包括治理目标、范围定义、角色分配、政策标准、准入标准、清单要求、风险分类、控制库、审查工作流程、异常处理、监控要求、报告周期和证据标准。

该框架应与公认的外部参考保持一致，而不应成为清单练习。 ISO/IEC 42001 可以为管理体系结构提供信息。 NIST AI RMF 可以告知风险词汇。经合组织人工智能原则可以体现透明度和问责制等价值观。欧盟人工智能法案可以为范围内的系统提供分类、记录和监督期望。

强大的框架也是相称的。低风险的内部生产力使用可能需要注册、可接受的使用控制和所有者确认。重要业务工作流程可能需要风险评估、控制映射、法律和安全审查、监控和证据记录。高影响力或受监管的系统可能需要更深入的文档、测试、人工监督设计、事件程序和正式批准。

在政策执行之前从可见性开始。组织通常在知道人工智能的应用场景之前就起草原则。一个实用的计划首先是发现人工智能活动、验证所有权并创建持续维护的清单。当策略执行连接到真实的系统和工作流程时就会变得可信。

为每个受管理的记录分配明确的责任人并使用基于风险的途径。每个系统或工作流程都需要业务所有者、相关技术或供应商所有权，并审查利益相关者的风险、法律、合规性、安全性、隐私和审计。治理应定义适当的实验路径、低风险生产力使用、重要业务工作流程、受监管的决策支持和限制实践。

将证据设计到工作流程中。证据应该在工作发生时捕获，而不是事后重建。准入记录、审查记录、批准、控制证据、监控信号、例外情况和所有者证明应根据清单记录进行存储，并提供足够的背景信息，以便将来的审查人员理解决策。

使用清单完整性、所有者覆盖范围、审核周期时间、高风险系统计数、逾期重新认证、未解决的异常、证据质量和供应商审核状态等指标来衡量运营健康状况。

规范的人工智能治理顺序从发现开始：识别跨工具、团队、供应商、系统和工作流程的人工智能活动。可见性将发现的活动转变为团队、工作流程、供应商、敏感数据、责任归属缺口和生命周期阶段的利益相关者视图。

清单将该视图转化为持续维护的记录，涵盖系统、责任人、供应商、风险分类、批准状态、证据引用和监控要求。治理负责安排审查、分配控制、记录批准、管理异常并跟踪补救措施。记录则保留组织当时作出何种决定以及为何作出该决定的证据。

人工智能治理架构是使操作模型发挥作用的一组系统和集成。至少，它应该连接发现源、清单记录、治理工作流程、策略和控制库、证据存储、报告视图和访问控制。成熟的程序还连接采购系统、身份系统、安全工具、数据目录、模型注册表、供应商风险系统、票务工作流程和审计存储库。

该架构应支持三个级别的对象：人工智能系统、人工智能用例或工作流程以及人工智能生成的资产或记录。分离这些对象有助于企业管理运营现实，而不是强迫每个人工智能活动都采用单一的技术定义。

报道应该服务于不同的受众，而不是创造相互竞争的事实版本。高管们需要采用、曝光和补救趋势。风险和合规团队需要分类、控制状态和证据质量。业务负责人需要批准状态和所需的操作。审计团队需要持久的记录和变更历史记录。

访问控制至关重要。治理记录通常包含敏感的业务上下文，但组织仍然需要跨职能的可见性。该架构应保留证据引用、元数据、审查状态和版本历史记录，而不会不必要地暴露机密提示、源文档或客户数据。

人工智能治理的主要优势是负责任的可见性。领导层可以查看存在哪些人工智能系统和工作流程、哪些团队拥有它们、适用的风险级别以及哪些活动需要关注。这有助于组织从被动审查转向托管采用。

治理可以提高审计准备度和风险优先级。当在接收、审查、批准、监控和报废过程中保留证据时，组织可以更快地回答问题并减少干扰。团队可以专注于高影响力的系统、敏感数据的使用、受监管的工作流程、供应商依赖性和重大运营变化，而不是平等对待每个人工智能实验。

人工智能治理还可以加速采用。当团队了解批准路径、控制期望和证据要求时，他们更愿意使用批准的人工智能系统。清晰的治理可减少不确定性并为负责任的部署创建可重复的模式。

治理通过建立关于采用、集中、曝光和成熟度的稳定视图来改善执行决策。领导者可以比较业务部门，识别重复的工具，并针对最重要的控制差距进行直接投资。

第一个挑战是隐藏的人工智能使用。员工和团队可以使用最初并非作为人工智能系统采购的工具内部的人工智能功能。影子使用可以保持不可见，直到客户问题、安全审查或监管调查将其暴露。

第二个挑战是所有权分散。人工智能工作经常跨越业务、技术、数据、安全、法律和合规边界。如果没有共享记录，团队可能会承担另一个职能来负责审查、监控或证据保存。

第三个挑战是供应商不透明。企业可能依赖第三方人工智能功能，但无法完全了解模型行为、训练数据、评估方法、数据处理、分包商或更新节奏。治理必须体现供应商的勤勉程度，并在透明度有限的情况下定义补偿性控制措施。

第四个挑战是证据质量和相称性。许多组织都有政策文件，但缺乏证据证明该政策适用于特定的人工智能系统和工作流程。如果治理过于宽松，就会错过重大风险。如果太重，团队就会避免这个过程。

第五个挑战是变革管理。人工智能治理改变了团队引入工具、与供应商合作、记录工作流程和保存证据的方式。计划需要简单的接收路径、明确的问责制、执行支持和实用报告，以便治理成为正常运营的一部分，而不是特殊的审查活动。

人工智能治理正在从政策文档转向运营基础设施。企业越来越需要实时清单、证据记录、工作流程级所有权、供应商AI 可视化和执行报告，而不是孤立的政策文档。这种转变反映了人工智能嵌入日常系统中的方式，而不是仅作为独立模型部署。

AI 智能体和自动化工作流程将使治理更加精细。组织需要了解每个系统可以做什么、可以调用哪些工具、可以访问哪些数据、何时进行人工干预以及哪些记录证明工作流程仍在批准的范围内。

AI 智能体将治理扩展到模型和应用程序之外，因为它们可以使用工具、访问系统、协调任务并在委派的操作权限内采取行动。

因此，企业不仅必须管理代理所使用的技术，还必须管理代理的业务目的、连接的工作流程、允许的操作、系统访问、数据访问、人工升级条件、负责的团队和生命周期状态。

AI 智能体治理应该回答几个实际问题：

所需的控制措施应与代理的自主权、访问权限和潜在业务影响相称。内部研究助理不需要与修改业务记录、与客户沟通、触发付款或协调多个操作系统的代理相同级别的审查。

因此，AI 智能体治理是企业人工智能治理中的一个专门的操作层。它将AI 智能体连接到持续维护的清单、相关工作流程、负责人、访问权限、治理决策、监控信号和持久证据。

如需了解更多信息，请访问 AI 代理治理词汇表定义和AI 代理治理资源中心。

监管格局正在走向可论证的治理。 《欧盟人工智能法案》于 2024 年 8 月 1 日生效并逐步适用，主要义务根据制度和义务类别在 2025 年、2026 年和 2027 年适用。对于企业来说，实际意义是AI 清单、分类、问责和证据管理正在成为运营必需品，特别是对于高风险或广泛部署的人工智能系统。

ISO/IEC 42001:2023 提供了建立、实施、维护和持续改进人工智能管理系统的要求和指南。它是相关的，因为它将人工智能治理视为一个具有目标、流程、控制、责任和改进周期的管理系统，而不是一次性的政策项目。

NIST 人工智能风险管理框架 1.0 为组织提供了一个自愿框架，用于管理个人、组织和社会的人工智能风险。其功能和可信特性通常被用作风险识别、测量、缓解和监控的实用语言。

特定行业的预期仍然很重要。金融服务、医疗保健、就业、教育、保险、关键基础设施和公共部门用例可能面临有关公平性、安全性、可解释性、人类监督、隐私、记录保存和可审计性的额外规则。治理计划应将一般人工智能义务映射到部门义务和当地法律要求，而不是假设一个框架涵盖所有风险。

人工智能治理是企业负责任地采用人工智能的运营基础。它将发现、可视化、清单、治理工作流程和记录连接成一个管理层能够理解、团队能够使用的体系。目标并非减缓人工智能的采用，而是让采用过程可问责、可审查且可持续。

规范的实施模式非常明确：持续识别人工智能活动，将活动转化为共享可视化，维护动态清单，应用相称的治理控制，并长期保存能够证明决策、批准、变更和相关证据的记录。建立这一基础的组织能够以更高的信任度、更快的审计准备速度和更清晰的企业问责机制规模化采用人工智能。