arXiv新论文：蒸馏注意力增强BiLSTM，450万参数实现近实时钓鱼检测，推理快80–95%

动机：LLM 社工内容绕过文本筛查

当前一代大语言模型生成的高仿真社工内容，能绕过商业通信平台上的标准文本筛查系统。作者面向邮件网关与端点欺骗检测提出方案，要求同时满足：隐私友好（不把邮件内容外送做大模型推理）、满足网络/移动安全系统的性能约束（高吞吐、低延迟）。目标是在不依赖 GPU/加速硬件的前提下实现实时过滤。

方法：教师蒸馏 + 注意力增强

核心是把一个大教师模型压缩为小得快的学生：MobileBERT 教师经微调后，转化为仅 450 万参数的 BiLSTM + 多头注意力模型，在保留语义判别力的同时大幅瘦身。训练数据采用混合集——既含人工撰写消息，也含 LLM 生成的改写（掩码技术与个性化方法），专门增强对现代攻击（AI 改写、个性化钓鱼）的抗性。

评测：五协议，近乎持平强基线

评估覆盖五个协议：纯人工（human-only）、纯 LLM（LLM-only）、两个跨分布迁移测试（cross-distribution transfer）、以及类生产的混合流量测试（production-like mixed traffic），以检验原生环境、跨分布与混合流量下的表现。结果：蒸馏模型的加权 F1 与强 transformer 基线（ModernBERT、DeBERTaV3-base、T5-base、DeepSeek-R1 Distill Qwen-1.5B、Phi-4 mini）的 mixture split 结果仅差 1–2.5 个点，却带来 80–95% 更快的推理与 95–99% 更小的模型尺寸。

部署与隐私

系统在准确率、延迟与体积间取得平衡，可在无加速硬件下实时过滤，并支持基于策略的管理（policy-based management）。论文还讨论了高流量下的系统表现、隐私保护安全措施与运维落地方法——这正是资源受限环境（边缘、私有化/信创邮件网关）最看重的特性。

意义

对邮件安全产品：与其在每个网关节点堆大模型，不如用"小模型蒸馏 + 行为策略"在端点/网关侧实现近实时、隐私友好的钓鱼识别。这对国产化、数据不出域的邮件系统部署尤其契合。