幻觉防御
状态与知识→事实核验→上下文忠实
Agent 评测
把 Agent 的
“看起来完成”
变成有证据的完成。
我是 Mask，一名大模型评测算法工程师，关注 Agent 的可靠性、证据核验与任务完成质量。这里整理我的评测思路，说明如何定义问题、设计验证方法并分析失效原因。
EVALUATION LOOP
Evidence
over claims.
over claims.
可追溯 · 可复现 · 可判定
01问题定义与归因
02评测集构造
03证据化判卷
04质量回归
01 / EVALUATION METHODS
评测方法与示例
关于本页个人方法总结。以下案例均为虚构示例，仅用于说明评估思路，不对应真实业务任务或模型测试结果。
工具可靠性
CLI 使用→调用真实性→降级与异步验收
搜索调研
目标拆解→检索过程→产物可信度
金融投研
任务定义→Gold / Rubrics→计算核验→结果复核
EVALUATION PRACTICE
从评测设计到问题定位
将评估目标、证据、判定标准和复核流程连接起来，让结果能够解释、复查与比较。
问题定义
明确任务成功的条件，把抽象能力转化为可观察的行为与结果。
任务设计
设置清晰的任务边界、参考依据与交付要求，减少题目歧义。
证据核验
结合规则校验和模型辅助评判，让每项结论都有可检查的依据。
质量复核
人工复核分歧与异常样本，检查标准是否明确、判断是否稳定。
分析与复测
按失效原因整理问题，使用一致的任务条件检查后续表现。