真实项目体检 · 棱镜计划(proj 151)
棱镜计划的 Checker，判得对不对?
全平台调用量最大的 checker 队伍之一 —— 结论:判定几乎全说"通过",但人工照样打回九成,判定 ≈ 零信息量。
● 真实数据 · 截至 2026-07-09 · 项目仍在跑
1 · 这个项目有哪些 checker
6 个判定 gate + 生成类工具剔除 · 判定几乎全 pass
prompt_and_answer_checkgate
题面 + 答案检测
28,650 次 · 2,649 题
通过 88%打回 12%
CoT_checkgate
思维链检测
18,198 次 · 2,386 题
通过 91%打回 9%
ai_reply_checkgate
AI 回复检测
8,803 次 · 2,085 题
通过 58%打回 42%
rubrics_checkgate
评分标准检测
5,423 次 · 1,548 题
通过 98%打 2%
cot_and_answer / questionsgate ×2
思维链+答案 / 问题检测
911 + 603 次
量较小 · 同为判定 gate
rubrics_gen工具 · 剔除
生成评分标准
4,906 次
生成 rubric · 非判定
2 · 核心发现 · AI 判定 vs 人工结果
判定几乎全 pass，人工照样打回九成
底色 = 全项目 90.7% 的题至少被打回一次。checker 说"通过"的题,打回率应该明显更低 —— 但没有,甚至更高。
prompt_and_answer_check · 题面+答案
≈ 零信息量
88% 的题 checker 判「通过」,但这些题 91% 照样被人工打回 —— 比它判「打回」的题(88%)还高。判定完全不带信息。
判定分布 · 六个 checker
全线偏松
除 ai_reply 外,checker 几乎不打回(88–98% 放行);但人工手里 九成题有问题 —— checker 在放水。
3 · 误杀侧 · 这个项目能测(小龙虾测不了)
1,944 条"强制通过备注" = 专家在抗辩误杀
棱镜有 override 备注(专家写"AI判断错误"绕过拦截),这就是误杀的生产信号 —— 但要分清真误杀和专家硬顶。
1,944
强制通过备注
(专家抗辩)
(专家抗辩)
666
写了 override 的题
(有人工结局)
(有人工结局)
266
人工最终认可
= 真误杀实锤
= 真误杀实锤
470
人工也打回
= 专家硬顶(噪声)
= 专家硬顶(噪声)
≈ 1/3
override 被人工背书(真误杀) —— checker 确实错杀了一批好题
≈ 2/3
专家硬顶但人工不认 —— 备注信号有噪声,不能直接当误杀率
1,944 条里只有 56 条是明确"AI判断错误",其余 1,888 是具体技术分歧 —— 需按内容分层,不能全算误杀。
4 · 漏放侧 · 人工打回但 checker 放过
九成"AI 判通过"的题，人工还在挑出问题
FN 方向
CoT 推理有计算/日期/读取错误
CoT_check 判 pass,人工挑出逻辑硬伤
FN 方向
答案与附件证据对不上
题面+答案判 pass,细节核对不过
FN 方向
评分要点重复冗余 / 覆盖不全
rubrics 98% 放行,冗余没拦
FN 方向
多格式附件(PDF/图)信息漏读
长文档 VLM 场景,读漏是高频
5 · 连带代价
3,644 题被放弃
checker 放水 + 反复打回,专家放弃量接近总题量 —— 误杀(错杀好题)是流失的直接推手之一。
⚠ 口径诚实说明:"打回率"是上限口径(多轮 gate 下 90.7% 的题本就至少被打回一次),且人工打回维度未必=该 checker 维度 —— 这是方向性诊断(判定偏松、不对齐),不是精确准确率。误杀 1/3 被背书是 override 题的口径,不等于全项目误杀率。精确值要按维度对齐 + 终态口径,即 L1 记分卡要做的事。
6 · 这个项目怎么补
棱镜数据比小龙虾全,误杀漏放两侧都能起
01解析 check_reason.status 拿判定 —— 6 个 checker 统一 status=pass/fail,is_hit 空,ETL 按 JSON 解析即可。
02误杀走 override 备注 —— 按备注内容分层(明确误杀 vs 技术分歧),配「最终人工结局」算被背书率,补误杀侧。
03漏放按维度对齐 —— checker 全线偏松,重点查"判通过但人工挑出的问题"落在哪个 checker 该管的维度。
vs 小龙虾三期:两个项目判定都 ≈ 零信息量,但棱镜有 1,944 条 override 备注 → 误杀侧能测;小龙虾 expert_remarks=0 → 误杀只能靠 L2 抽样。看小龙虾三期体检 →