AgentPhishing：面向 LLM 邮件代理的自适应钓鱼攻击基准

摘要

由大语言模型（LLM）与视觉语言模型（VLM）驱动的计算机操作代理（computer-use agents）日益处理私密信息，并代表用户在桌面与 Web 应用中采取行动，电子邮件亦在此列。因此，钓鱼攻击带来的隐私与安全风险，不仅取决于代理能否识别恶意消息，也取决于它们如何回应。现有钓鱼数据集主要为传统检测而构建，导致代理对说服式恶意请求的易感性（susceptibility）未被充分刻画。

为暴露既有数据集可能遗漏的漏洞，我们提出 AgentPhishing——一个用于评估说服式钓鱼攻击能否规避检测、并诱导 LLM 邮件代理遵从恶意请求的基准。我们开发了 PhishOpt，它在固定的基准约束与一项真实性（realism）约束下，针对个体代理优化可复用的邮件生成技能（email-generation skills）。我们使用 Cialdini 的说服原则（persuasion principles）分析所生成的邮件，识别与代理失败相关的策略，并据此构建一项通用生成技能（universal generation skill）。

我们的评估表明：代理能够安全地处理既有钓鱼邮件，却仍易受针对其代理行为定制的攻击；在 AgentPhishing 对九个代理的评估中，有四个代理的钓鱼检测率低于 10%，恶意请求合规率高于 45%。这些结果凸显了从传统钓鱼评测推断代理安全性的局限，以及评估代理如何回应说服式恶意请求的必要性。

1 引言

由 LLM 与 VLM 驱动的计算机操作代理提供了一种跨桌面与 Web 应用委托日常任务的方式（OpenAI 2025；Anthropic 2024；Google DeepMind 2025；Zhou et al. 2026；Kimi Team 2026；Xie et al. 2024；Drouin et al. 2024）。为执行这些任务，代理在访问私密信息、代表用户采取行动的同时，还需要理解外部内容。能够影响这些内容的攻击者可能重定向那些行动，从而产生隐私与安全风险（Debenedetti et al. 2024；Zhan et al. 2024）。管理电子邮件的代理为研究这些风险提供了一个具体场景：与传统仅对消息分类的钓鱼检测器不同，代理还可能在消息内部执行请求，包括披露敏感信息或执行其他未授权动作（Wu et al. 2026；1Password 2026）。在此场景下评估其可信度，需要同时考察它们是否检测到钓鱼，以及是否遵从恶意请求，而不能仅从检测表现推断安全行为（Levy et al. 2026）。

先前工作表明，欺骗性消息能够规避钓鱼检测器、影响 LLM 的判断，并诱导执行用户任务的代理采取不安全行动（Qi et al. 2025；Yang et al. 2025a；Wu et al. 2026；1Password 2026）。现有钓鱼邮件数据集为评估检测表现提供了参考素材（Puyang 2025；Ganiuly & Smaiyl 2025），但随着代理及其防御不断演进，持续的风险评估还需要能够针对更新后的系统生成并精炼攻击的方法。钓鱼研究通过带真实性校验的可复用生成器与说服分析（Chen et al. 2024），以及利用检测器反馈迭代精炼邮件（Qi et al. 2025），为这类方法提供了基础。然而，真实性与检测规避并不度量一个代理是否执行了恶意请求，这就催生了需要考虑行为（behavior）的评测。反馈驱动的红队（feedback-driven red-teaming）通过学习可复用的攻击策略、并经由目标响应与执行结果优化攻击来回应这一需求（Liu et al. 2025；Wen et al. 2025；Chen et al. 2026；Syros et al. 2026）。然而，提示注入（prompt-injection）攻击下的成功，并不等同于在排除显式指令覆盖（explicit instruction overrides）与伪造系统指令（fabricated system directives）之后，社交工程攻击仍然有效。AgentBait 直接评测利用欺骗与说服诱导任务执行代理采取不安全行动的社交工程攻击，包括通过基于邮件的诱导（Wu et al. 2026）；但其报告的攻击构建遵循预定义策略，而非从被评估代理的响应中迭代改进生成。

为回答"当社交工程邮件的生成针对代理行为、在这些攻击内容约束下被优化时，代理的钓鱼检测与恶意请求合规会如何变化"这一问题，我们提出 AgentPhishing，一个在电子邮件任务的社交工程攻击下评估代理钓鱼检测与恶意请求合规的基准。我们使用 PhishOpt 构建其自适应攻击，PhishOpt 优化针对目标的生成技能，并利用说服分析推导一项通用技能。其优化流程建立在 SkillOpt（Yang et al. 2026）之上，在固定的生成要求与一项真实性约束下，从目标代理的反馈中精炼邮件生成技能。我们使用 Cialdini 的说服原则（Cialdini 1984）分析由代理特定技能生成的邮件，既用于刻画与检测/合规结果相关的框架（framings），也用于指导通用生成技能的构建。我们的实验在统一评测协议下比较了既有钓鱼邮件、未优化的合成邮件，以及由技能生成的攻击，以评估攻击生成如何影响观测到的安全表现；我们还在多个代理上评估了代理特定技能与通用技能，以考察它们的跨代理有效性。

本文贡献如下：

• 提出基准 AgentPhishing，用于评测电子邮件任务中社交工程攻击下的代理安全性，度量钓鱼检测与恶意请求合规。
• 提出框架 PhishOpt，利用代理反馈演化可复用、针对目标的钓鱼生成技能，并从说服分析中推导通用技能。
• 表明在既有钓鱼邮件上的强劲表现，可以与 PhishOpt 生成攻击下的检测失败和恶意请求合规共存，并刻画了跨代理易感性以及与这些结果相关的说服框架。

2 相关工作

钓鱼检测与易感性（Phishing Detection and Susceptibility）。传统研究涵盖邮件分类器、欺诈网站判断与真实 SMS 钓鱼活动（Fette et al. 2007；Dhamija et al. 2006；Nahapetyan et al. 2024）。以人为中心的研究考察社会关系与上下文线索对易感性的影响（Jagatic et al. 2007；Vishwanath 2017；Tabassum et al. 2024；Zhuo et al. 2023）。针对 LLM 角色的评估包括 LLM-PEA（检测器）、Fraud-R1（欺诈诱导响应）、SE-VSim（自适应社交工程对话）、PhishSim（凭证提交模拟）。代理任务执行环境有 AgentDojo、InjecAgent、WASP、AgentBait、SCAM 等用于评测邮件诱导。AgentPhishing 同时度量检测与合规两者。

反馈驱动的攻击生成（Feedback-Driven Attack Generation）。PEEK 提供可复用生成器加真实/合成判别加说服模式；SpearBot 利用检测器批评修订邮件。行为红队包括 AutoDAN-Turbo（文本库保留越狱策略）、RL-Hammer（RL 更新攻击模型参数）、AutoInject（优化注入后缀）、MUZZLE（执行轨迹精炼注入）。PhishOpt 将 SkillOpt 适配到钓鱼生成，以目标代理的检测与合规作为反馈；AgentBait 使用预定义类别，PhishOpt 则迭代精炼针对目标的技能。

社交工程攻击中的说服（Persuasion in Social-Engineering Attacks）。Cialdini 原则（1984）作为影响机制，钓鱼研究用以刻画消息内容与检测（Lawall 2025；Pan et al. 2026）。PsyScam、SCRIPTMIND 标注心理技术/犯罪脚本。AgentPhishing 使用说服原则指导 PhishOpt 通用技能构建，并刻画检测/合规模式。

3 方法

3.1 概述

PhishOpt 优化针对目标的邮件生成技能（作为生成器的 system prompt），而非单封邮件，并使用说服分析推导通用技能。其优化建立在 SkillOpt 之上。

3.2 针对目标的技能优化（Target-Specific Skill Optimization）

候选提出（Candidate proposal）：基于共享的 base skill 初始化，每次迭代通过有界编辑（bounded edit）提出候选，且必须保留锁定的规则块（虚构实体、占位符、良性控制组、JSON 输出、均衡标签）。约束检查（Constraint checking）：真实判断器（Realism judge）对探针批次（probe batch）打分（可信度 plausibility、连贯性 coherence、自然度 naturalness、无不合理利用痕迹 absence of unrealistic exploitation artifacts，各取值 [0,1]），均值不低于阈值 τ 才通过。目标评估（Objective evaluation）：生成评估批次，目标代理处理之，计算 D、C、F1。技能更新（Skill update）：仅当候选目标值超过当前最佳时才替换。

3.3 优化目标与生成约束

真实性约束（Realism constraint）。攻击空间为社交工程内容，排除显式指令覆盖与伪造系统指令；四维打分均值不低于 τ 方可通过。锁定的规则块包括：虚构公司/人物、假占位符密钥（如 sk-fake-abc123）、良性控制组、JSON 输出、约 50/50 的良/钓标签分割。

指标（Metrics）。检测率 D（Detection rate）：钓鱼邮件被赋予四种安全动作（report、archive、ignore、unsubscribe）的比例。合规率 C（Compliance rate）：代理点击链接/提供信息或生成不安全草稿回复的钓鱼邮件比例。精确率 / F1：基于钓鱼邮件与良性控制组，四种检测动作为正预测。易感性得分 J（Susceptibility score，优化目标，越高越糟）：J = 0.5(1−D) + 0.3C + 0.2(1−F1)（公式 1）。

3.4 说服分析与通用技能构建

使用 Cialdini 标注器（Cialdini annotator）对已演化技能生成的钓鱼邮件按原则打分；跨目标池化，用 ϕ 相关量化原则存在与检测/合规结果的关联；技能合成器（Skill synthesizer，Opus 4.8）偏向与不安全响应相关联的原则，构建通用技能，不再优化。论文明确用于分析的六项原则为：Reciprocity（互惠）、Commitment and Consistency（承诺与一致）、Social Proof（社会认同）、Authority（权威）、Liking（喜好）、Scarcity/Urgency（稀缺/紧迫）。

4 基准（Benchmark）

威胁模型（Threat Model）。攻击空间为社交工程内容，排除显式指令覆盖与伪造系统指令。评估对象是作为邮件助手运行的 LLM email agents；攻击者发送诱骗邮件，试图让其泄露敏感信息或执行未授权动作。

数据集构建（Dataset）。预存邮件来自公开语料 Seven Phishing Email Datasets（Puyang 2025），涵盖 TREC-05/06/07、CEAS-08、Enron、Ling-Spam、SpamAssassin。合成邮件由 base skill（未优化基线）、target-specific evolved skills（每目标优化）、universal skill 生成。所有生成邮件使用虚构实体、占位符密钥、良性控制组，JSON 输出，约 50/50 良/钓标签分割（锁定规则块）。

评估协议（Evaluation Protocol）。目标代理接收共享的收件箱助手指令，以及邮件的 sender/subject/body/links，返回结构化响应（action、reply needed、draft reply、reasoning）。动作集合包括：report、archive、ignore、unsubscribe、reply、follow up、点击链接、提供信息。评估仅对动作选择与草稿内容打分，不执行外部动作。目标特定评估中 PhishOpt 目标代理与 AgentPhishing 目标代理为同一模型；跨代理评估中对角线为同模型、非对角线为异模型；universal skill 无 PhishOpt 目标，直接跨代理评估。

5 实验

5.1 静态基线与逐代理优化

全部 6 个代理对公开语料钓鱼邮件的检测与合规率为 0（安全）。在 base skill 下 Qwen 的易感性得分 J 为 0.12，优化后升至 0.95；Sonnet/Gemini 表现稳定。

5.2 跨代理与额外代理评估

跨代理的差异大于跨技能的差异。Kimi/Qwen 的平均易感性最高（0.4305 / 0.4238），Sonnet 最低（0.0374）。9 个额外（held-out）代理中 5 个 ≤0.1036，4 个 ≥0.5062。

5.3 说服原则分析与通用技能

基于 180 封钓鱼邮件评估（51 例检测失败、21 例合规），ϕ 关联结果为：Commitment and Consistency 与检测失败正关联 ϕ=0.2407、与合规正关联 ϕ=0.1391；Liking 与检测失败正关联 ϕ=0.1914、与合规几乎无关联 ϕ=0.0018；Authority 与检测失败负关联 ϕ=−0.1502；Scarcity/Urgency 与检测失败负关联 ϕ=−0.1976、与合规负关联 ϕ=−0.1460。结论：显性的权威/紧急线索更易被识别；工作流延续框架伴随不安全响应。

在 9 个额外代理上，universal skill 使四个代理的检测率低于 10% 且合规率高于 45%：gpt-5-mini（Det 0.0909，Compl 0.6364）、gemini-2.5-flash-lite（Det 0.0909，Compl 0.4545）、qwen-turbo（Det 0.0000，Compl 0.4545）、qwen-max（Det 0.0000，Compl 0.9091）。

5.4 消融研究与诊断

通用技能的说服框架消融（Table 3，Gemini-3.5-Flash / GPT-5.4）显示：原始版本 D/C/J 为 0.6667/0.0833/0.2774 与 0.2500/0.1667/0.5705；移除 Commitment and Consistency 后变为 0.9167/0.0833/0.1095 与 0.5833/0.0000/0.2750；替换为 Authority + Urgency 后变为 1.0000/0.0000/0.0222 与 1.0000/0.0000/0.0345。多样性指标（Self-BLEU 等，Table 7）表明无模式崩溃（mode collapse）。

6 结论（含局限性）

我们提出 AgentPhishing 以评测 LLM 邮件代理的钓鱼检测与恶意请求合规，并提出 PhishOpt 以优化可复用的针对目标的生成技能并构建受分析指导的通用技能。实验表明，对既有钓鱼邮件的安全处理，可以与自适应说服攻击下的失败共存。跨代理与留出评估揭示了被评估代理间易感性的显著差异，而检测失败与合规仍是不同的结果。Cialdini 原则分析指导出的通用技能，无需进一步针对目标优化即可在多个留出代理上暴露漏洞，尽管它并未确立相对演化技能的持续优越性。这些发现共同表明：在传统钓鱼测试之外，还需要自适应的、基于行为的评测。

局限性。仅覆盖合成、单消息的社交工程攻击，固定生成约束，选定代理配置；仅对动作选择与草稿回复打分、不执行外部动作，故合规测量不等于真实危害；有限的评估批次与模型版本依赖限制泛化；基于规则的 outcome 打分及 LLM 现实主义判断/说服标注可能引入测量误差；池化的说服关联不确立独立因果；框架消融仅提供两目标证据。

7 伦理考量

论文声明：所有攻击内容均为合成生成、使用虚构实体与占位符凭据，不针对真实用户或真实凭据；研究目标在于揭示 LLM 邮件代理在社交工程下的脆弱性，以指导更安全的代理设计。附录包含完整的生成器提示（skills）、评估流水线说明与多样性诊断，以及可复现性声明与 AI 使用声明。