保险营销内容智能审核

2.1 五步主线

2.2 各步骤量化产出

2.3 第一步：法规预处理

2.4 第二步：候选条款分类

用一道 LLM 二分类闸门，把"可在销售文案 / 海报 / 直播话术上单独判定违规"的条款挑出来。跳过这一步会抽出大量伪规则（如"应配备专职合规人员"），抽取期 token 消耗放大 3.7 倍且下游查漏信号被污染。

模型：qwen3.6-plus · temperature=0.2 · 强制 JSON 输出

2.5 第三步：跨法规原子化抽规则（双模型对照）

三部监管法规的禁令存在大量同主题重叠——例如"不得将保险与存款理财混淆"同时出现在保险销售行为管理办法 §17(二)、互联网保险业务监管办法 §15(四)/(六)、金融产品网络营销管理办法 §9(四)/§10。按法规分批抽会得到 3 条同义重复规则，去重负担转嫁到运行期。

实测产出：Opus 跨法规聚合输出 35 条规则——5 条跨 3 部法规、9 条跨 2 部、21 条单法规。15 / 44 ≈ 34% 的规则横跨 ≥ 2 部法规，平均每条规则关联 1.86 个证据条款。

2.6 第四步：三层查漏防御

核心问题：单层反查在"应有但完全不存在的违规主题"上有结构性盲区——抽取期没识别的主题，单层反查永远找不到。

双向反查实证（跨链路对照实验）

2.7 第五步：人审 + 落地

3.1 设计要点

学术映射：借鉴 GraphRAG（Microsoft 2024）+ 法规知识图谱研究，但前置完成规则原子化抽取——抽取期工程量上升，运行期性能与可解释性大幅提升。

3.2 为什么不上向量召回

向量召回在通用 RAG 场景下是成熟工程。在本系统的约束下既不必要也不会提速：

1. 规则集小且封闭：44 条规则可枚举，每次审核全跑一遍成本可控（关键词预过滤后真正调模型约 12-15 条 / 样本）
2. 不会显著提速：系统延迟瓶颈在 LLM 调用本身（~1.5s × 12-15 规则 / 并发 5 ≈ 3-8s），不在前置过滤。向量召回即使把 LLM 调用从 12-15 压到 8-10，节省 ~1-2s 墙钟，量级与召回失败风险不对称
3. 失败模式的可审计性差异（合规审核场景的关键）：
   • 向量召回的失败模式是静默漏召——某条规则未被召回 = 未被评估 = 结果里看不到"为什么这条规则没出现"
   • 全量遍历的失败模式是显式判错——所有适用规则都有判定结果，错了能复盘
   • 合规审核场景静默漏召的代价远高于显式判错：监管按"应审未审"追责，不是按"判错"追责
4. 召回准确率的来源不同：catalog 化把"规则 ↔ 条款"关联在抽取期一次性物化，运行期直接读结构 = 100% 引用准确率；向量召回是运行期重新估计，引入额外不确定性

3.3 运行期数据收敛

4.1 演进路径

样本级 F1（"是否违规"二分类）与规则级 F1（"具体引哪条法规"精细判定）两层指标分别衡量。

4.2 各层职责

成本：仅一审 1.0x → 一审 + 复核 1.25-1.30x

4.3 第二层与第三层的耦合关系

第二层的"必要条件 + 显式 PASS 排除"清单同时被一审 prompt 与复核 prompt 引用——这是两个层的关键耦合：

5.1 测试集构造

5.2 评估指标体系

核心指标按业务重要性排序。样本级 F1 衡量"整篇内容是否需要复核"二分类；规则级 F1 衡量 pipeline 在每条规则上"具体引哪条法规、定哪种性质违规"的精细判定能力。

5.3 A/B/C/D Ablation 实验（2×2 critic × RAG 矩阵）

同一测试集 50 样本 / 同一 GT / 同一 prompt，仅切换 critic 与 RAG K=15 开关，跑 4 个配置

5.3.1 critic 净效应（A vs B / C vs D）

→ critic 是规则级 FP 镇压器，跨 RAG 状态稳定拦下 70-94% 误判。这是它的核心价值——错引法规在合规系统里是不可接受的失败模式。

5.3.2 RAG 净效应（A vs C / B vs D）

→ RAG 是成本/精度的工程权衡：省 34% LLM 调用，代价是规则级 Recall 轻微下降。详见 ADR-0004。

5.3.3 完整 stack 累积收益（D → A）