大语言模型在邮件安全运营（SOC）中的应用边界在哪里？哪些环节不能交给 LLM？

NIST 于 2023 年 1 月 26 日发布 AI 风险管理框架（AI RMF 1.0，出版编号 AI 100-1），供自愿采用，用以提升组织在 AI 产品、服务与系统的设计、开发、使用与评估中纳入可信性考量的能力。其 Core 由四项功能构成：govern（治理）——在设计、开发、部署、评估或采购 AI 系统的组织内培养并实施风险管理文化；map（映射）——建立情境以框定与 AI 系统相关的风险；measure（衡量）——采用定量、定性或混合方法的工具与方法论分析、评估、基准测试并监控 AI 风险及相关影响；manage（管理）——按 govern 所定义的方式，定期把风险资源分配至已映射与已衡量的风险。把 LLM 引入邮件 SOC，第一步不是选模型，而是先完成 map：说清楚它在告警流水线的哪一环、输入是什么、失败会导致什么后果。

• 告警与样本摘要：把长邮件头、认证结果、URL 链路与沙箱报告压缩为分析师可读摘要，输出仅供人阅读，不驱动动作。
• 初步归类与去重：把大量用户举报邮件按主题、诱饵类型、仿冒品牌聚类，缩短人工排队。
• 检索增强问答：基于本组织的处置手册、历史工单与标准文本回答「这类事件按什么流程走」。
• 报告与通报草稿：生成事件时间线草稿、面向业务方的风险说明初稿，交由人工核对事实后发布。
• 规则与查询语言辅助：把自然语言意图翻译为检索语法或网关规则草案，由工程师复核后上线。

OWASP Top 10 for LLM Applications 2025 的 LLM06:2025「Excessive Agency（过度代理）」定义了这一边界：当 LLM 被授予调用函数或经扩展与其他系统交互的能力时，针对非预期、含糊或被操纵的模型输出执行破坏性动作，即构成过度代理漏洞；其根因通常是过度功能、过度权限、过度自治三者之一或组合。该条目明确把「幻觉/虚构」与「直接或间接提示词注入」并列为常见触发因素。据此，以下邮件动作不应由模型自主终局裁定：全域阻断某发件域或某 IP、批量释放隔离区邮件、禁用或重置用户账号、修改 DMARC/SPF 等 DNS 记录、向外部方发送通报邮件。OWASP 在该条目下给出的缓解措施包括最小化扩展与扩展功能、避免开放式扩展、最小化扩展权限、在用户上下文中执行扩展、要求用户审批高影响动作（human-in-the-loop），以及完全中介（complete mediation）——即在下游系统中实施授权，而不是依赖 LLM 判断某动作是否被允许。

第一，读写分离：给模型的邮件系统凭据只授予只读范围（OAuth read-only scope），发送、删除、移动等写操作走独立的、需人工触发的通道；OWASP 在 LLM06 的示例中即指出，一个只需摘要邮件的助手不应持有发送或删除消息的功能。第二，可追溯：对应 AI RMF 的「Accountable and Transparent（可问责且透明）」可信特征，模型的每次建议须记录输入快照、模型版本与提示词版本，使事后可复盘。第三，持续度量：对应 measure 功能，需要建立独立于模型供应商的评测集，定期测量误判率与漂移；Google Threat Intelligence Group 在 2025 年 1 月的报告中把当前生成式 AI 定位为提升既有工作效率的工具而非能力跃迁，这一判断同样适用于防守方——LLM 是缩短分析师工时的杠杆，而非可以替代检测引擎与授权模型的裁决者。NIST AI RMF 1.0 所列的可信特征——有效且可靠、安全、安全且有韧性、可问责且透明、可解释且可理解、增强隐私、公平且有害偏见得到管理——可直接作为邮件 SOC 引入 LLM 的验收清单维度。