企业 AI 风险治理：四层防线与上线清单

风险治理不是上线前的一次盖章

企业 AI 风险经常被简化为“模型会不会幻觉”。实际上，风险贯穿数据获取、知识处理、模型调用、工具执行、内容发布和长期运营。即使模型回答正确，也可能因为越权读取、错误身份、未经确认的操作或缺失审计而造成事故。

可信 AI 不是追求零错误，而是让风险被识别、被限制、被发现并能恢复。治理应嵌入项目生命周期，由业务、技术、安全、法务和数据责任人共同承担，而不是等上线前交给合规部门检查。

第一层：数据与身份防线

进入系统的数据应有合法来源、明确用途、保存期限和责任人。客户、员工、财务、经营和研发数据按敏感程度分级，遵守最小必要原则。能够脱敏的先脱敏，不应提交给外部模型的数据必须在技术层拦截。

工具和账号采用白名单管理，API 密钥、密码和令牌进入凭证系统，禁止写入脚本、Prompt 或共享文档。用户身份要传递到知识检索和工具调用，不能因为经过智能体就失去原有权限边界。

知识库还要处理文档级和片段级权限。来源文件被删除、调岗导致权限变化或文档到期时，索引同步失效。日志应记录访问主体、知识来源和操作结果，同时避免日志本身泄露敏感内容。

第二层：模型输入输出防线

系统提示词可以定义角色和禁区，但不能作为唯一安全措施。外部网页、邮件、附件和用户输入都可能包含提示词投毒，诱导模型忽略规则、泄露上下文或调用不该使用的工具。

输入层应检查敏感信息、恶意指令、越权意图和高风险内容，并对外部文本与系统指令进行隔离。输出层要进行事实、格式、敏感信息和内容政策检查；重要结论要求引用来源，无足够证据时允许拒答或转人工。

偏见、公平与可解释性需要结合场景评估。招聘、信贷、医疗、法律等高影响决策不能直接以模型输出作最终决定，应保留人工审核、申诉和责任追踪。所谓“人工在环”必须明确谁审核、看什么证据、多久响应，而不是界面上放一个确认按钮。

第三层：工具调用与流程防线

智能体能够写入系统后，风险从“说错”升级为“做错”。每个 Function 都应有参数校验、最小权限、幂等、频控、超时、重试和操作日志。模型只提出结构化意图，由确定性服务再次验证业务规则。

按后果设置确认等级：读取公开资料可以自动执行；创建内部草稿可以事后抽检；对外发送、价格调整、付款、删除、权限修改和生产控制必须人工确认。批量操作还要限制数量，并提供预览和撤销。

完整流程需要设计失败路径。模型不可用时是否切换或降级，接口失败是否重复产生订单，知识冲突是否停止回答，人工超时是否升级，都要在上线前演练。

第四层：供应链、监控与应急防线

企业依赖模型 API、代理、开源组件、插件和云服务，需评估数据处理条款、服务地域、可用性、价格变化、版本升级和退出方案。关键能力应避免只有一个不可替代供应商，模型或组件变更后必须回归评测。

运营监控至少覆盖失败率、延迟、成本、敏感拦截、越权尝试、工具调用和用户投诉。建立异常告警、责任人和处置时限，定期抽检日志与输出。安全事件发生后，要能暂停某个 Agent、某项工具或某类数据，而不是只能关闭全部系统。

应急预案包括隔离访问、撤销凭证、保留证据、切换降级、通知相关责任人、修复并复盘。备份也要通过恢复演练证明可用，仅看到备份文件不代表能够恢复。

上线前的最小检查

检查数据来源与分级、权限映射、工具白名单、敏感信息拦截、提示词投毒样本、事实引用、人工节点、幂等与回退、日志告警、供应商退出和事件响应。每项都要有负责人和测试证据。

风险等级应决定治理强度。低风险内部草稿可以快速试点，高风险自动决策需要更严格的评测、审批和监控。治理不是阻止创新，而是让团队知道什么可以快、什么必须慢，以及出错后怎样控制影响。

本文依据本地知识库《风险规避》《AI 生产化三大鸿沟》《AI 项目实施方法》整理；具体合规要求仍应由企业依据所在行业与地区审查。