匹配正文：自动评测按证据类型分类 reference-based：BLEU、ROUGE、BERTScore 等将输出与参考答案比较，适合翻译、摘要或有参考文本的任务，但会受参考覆盖和表述多样性限制。 reference-free：perplexity、质量/安全分类器、groundedness 检查或某些 reward model 可不依赖标准答案，但依赖模型假设、训练域和校准。 execution-based：代码单元测试、SQL 执行、工具或规则验证直接检查可执行结果，信号清晰但覆…

#BLEU#ROUGE#BERTScore

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…业务风险从下面五个维度选择指标: RAG 评估的五个维度 ① 召回 / 准确:检索用 Recall@k、MRR;生成用 BLEU、ROUGE 对比参考答案。 ② 可信度:答案里有几成内容能在检索到的原文里找到依据(覆盖率)。 ③ 响应速度:平均延迟,以及 P95 / P99 尾延迟(95%、99% 的请求多久内返回)。 ④ 可扩展性:数据涨到百万级、并发上来后,QPS(每秒查询数)还扛不扛得住。 ⑤ 用户体验:人工满意度评分、答案可读性(别一堆术语让用户看不懂)。业内行话:…

#RAG#检索#项目实战

面试题·评估· 字节

RAG 自动与人工评估

匹配正文：…或10 NDCG：考虑位置权重，适用于需要精细排序的场景 2. 生成评估（Generation Evaluation） BLEU/ROUGE：n-gram匹配，适合有标准答案的FAQ场景 BERTScore：语义相似度，对同义改写更鲁棒 3. 端到端评估（End-to-End） RAGAS（主流框架）： Faithfulness：答案是否忠实于检索上下文 Answer Relevance：答案与问题的相关程度 Context Relevance：检索上下文与问题的相关程度 C…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE 理解端到端评估框架RAGAS的核心指标知道人工评估与自动评估的权衡了解业务场景下的定制化评估需求 RAG评估需分检索层、生成层、端到端三个维度展开：一、检索评估（Retrieval Metrics）关注"找得准不准、全不全"： Recall@K：正确答案在Top-K检索结果中的比例，RAG最核心指标 Precision@K：Top-K中相关文档的比例 MRR（平均倒…

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配正文：答案要点区分检索评估和生成评估两个层面掌握经典指标如Recall@K、MRR、BLEU、ROUGE、Faithfulness 了解端到端评估框架RAGAS的核心指标理解人工评估与自动评估的权衡知道业务场景下的实用评估策略 RAG评估要分检索层和生成层两个维度，最后才是端到端评估。一、检索质量评估经典指标 Recall@K：Top-K中相关文档数 / 已标注相关文档总数，通常先逐query计算再汇总；分母不是K。必须说明文档/片段粒度及相关性标注覆盖。 MRR（平均…

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 字节

Query改写怎么训练与评估?

匹配正文：…表面相似但意图不同）。评估指标体系离线指标指标计算方式目的改写准确率人工抽检改写前后意图一致性核心质量 BLEU/ROUGE 与参考改写的n-gram重叠辅助参考下游任务增益改写后 vs 原Query的Agent任务成功率端到端价值多样性同一Query多参考的覆盖度避免模式坍塌在线指标指标说明任务成功率完整解决用户问题的比例（核心） Agent协作轮数改写后平均交互轮数是否下降意图识别准确率下游意图模型的Top-1准确率用户满意…

#字节#评估与监控#Agent

面试题·Prompt· 阿里

Agent推理链路Prompt优化评估指标

匹配正文：…果人工抽检：对边界case做人工标注校准用户反馈：实际场景中的满意度评分关键原则优先看端到端任务成功率，而非单步BLEU/ROUGE 关注长尾case：Prompt优化常解决特定失败模式建立回归测试集：防止优化引入新退化学习建议建议系统学习该知识点

#阿里云#Prompt工程#评估与监控

面试题·Prompt· 阿里

Prompt优化评估指标有哪些？

匹配正文：…反馈任务完成率、步骤数、工具调用成功率、端到端延迟真实业务闭环，如订机票场景是否成功出票对比指标与Gold Answer的ROUGE/BLEU、轨迹相似度有标准答案的基准测试集人工评估指标维度设计：意图理解准确性、推理逻辑合理性、工具选择恰当性、回复自然度、安全合规性适用场景：创意生成、复杂多轮对话、边界case、自动指标失效时（如"正确但无用"的回答）评估框架设计对照实验设计： ├── 控制组：基线Prompt + 固定模型版本 + 固定工具集 ├── …

#阿里云#Prompt工程#评估与监控

面试题·Prompt· 阿里

Prompt 性能上限评估指标

匹配正文：答案要点定量指标：准确率、F1、BLEU/ROUGE、任务完成率、延迟与成本定性指标：人工评估、Bad Case分析、边界测试稳定性指标：多次采样一致性、对抗样本鲁棒性收敛判断：连续多轮优化增益<5%或出现指标震荡工程实践：A/B测试、影子流量、分层实验核心判断逻辑 Prompt优化存在边际递减效应，当连续多轮迭代带来的增益<5%或出现指标震荡（调优后反而下降），可认为接近当前上限。定量指标维度具体指标判断标准任务性能准确率、F1、EM、任务完成率对…

#阿里#Prompt工程#评估与监控

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配口述回答：…外，没有可靠来源的问题必须拒答，医疗场景我还会加一句“请咨询专业医师”的风险提示，这既是合规要求，也是安全底线。评估机制不能只看ROUGE或BLEU，那些在专业领域没用。我会分三层：检索质量用 Recall@K 和MRR，生成质量用事实准确性指标，比如 [[Faithfulness]] ，让领域专家审一批典型case。最核心的是建一个bad case闭环，每次发现模型答错了，追下去看是检索没找到正确文档，还是找到了但模型生成时忽略了，还是引用格式错了。针对性地修，迭代几轮之…

#字节#专业领域 RAG#RAG 系统设计