arXiv 新研究:RAG+LLM 个性化钓鱼检测,误报率降 66.7%,F1 达 0.97
TL;DR — 本文译自 arXiv:2601.21261(2026-01-29)《User-Centric Phishing Detection: A RAG and LLM-Based Approach》。研究用检索增强生成(RAG)结合大语言模型做"以用户为中心"的个性化钓鱼检测,在保持高准确率的同时把误报率压低 66.7%,F1 达 0.9703。
为什么 LLM 直接分类会误报高
传统规则与机器学习检测器面对日益精巧的社工邮件力不从心;LLM 虽语义理解强,但作为独立分类器常把合法邮件误判为钓鱼,制造大量误报(false positive),给安全运营带来沉重负担。现有 AI 邮件安全产品多为"通用分类器",不看个体用户上下文,于是"看起来怪但对某人而言正常"的邮件也会被错杀。
方法:双上下文检索
框架为每封邮件构建用户专属上下文:一方面检索该用户一小批历史合法邮件,另一方面接入网络威胁情报平台获取实时域名/URL 信誉,再用这些证据"条件化"LLM 的决策。核心创新是"双上下文检索"——把用户历史模式与实时情报结合,区分"普遍恶意"与"对特定用户而言异常但合法"的邮件。这恰好对应邮件认证协议(SPF/DKIM/DMARC)解决不了的"内容层"问题。
结果
在公开与机构邮件数据集上评估 Llama4-Scout、DeepSeek-R1、Mistral-Saba、Gemma2 四个开源模型:Llama4-Scout 取得 F1=0.9703;接入 RAG 后误报率从 12% 降至 4%,整体误报减少 66.7%。个性化收益在 17B–70B 参数区间均稳定成立,说明该范式不依赖某一特定大模型。
对邮件安全产品的意义
这套"用户画像 + 实时情报"的范式,指向高精度、低摩擦的下一代邮件安全系统:既不放过真钓鱼,也不打扰正常但"看起来怪"的合法邮件。对自研或国产化邮件安全网关而言,把 RAG 检索层与本地 LLM 推理结合,是信创环境下可落地的方向——既满足数据不出域,又能借个性化降低运维噪音。这也为"AI 邮件"从"生成内容"走向"守护收件箱"提供了工程样本。
参考来源(本文译自以下原文)
- Al Barwani A.H., Amara Korba A., Anwar R.W. "User-Centric Phishing Detection: A RAG and LLM-Based Approach". arXiv:2601.21261, 2026-01-29. https://arxiv.org/abs/2601.21261
- RFC 7489 — DMARC / RFC 7208 — SPF / RFC 6376 — DKIM(邮件认证基线). https://www.rfc-editor.org/
- MITRE ATT&CK T1566: Phishing. https://attack.mitre.org/techniques/T1566/
