匹配正文：自动评测按证据类型分类 reference-based：BLEU、ROUGE、BERTScore 等将输出与参考答案比较，适合翻译、摘要或有参考文本的任务，但会受参考覆盖和表述多样性限制。 reference-free：perplexity、质量/安全分类器、groundedness 检查或某些 reward model 可不依赖标准答案，但依赖模型假设、训练域和校准。 execution-based：代码单元测试、SQL 执行、工具或规则验证直接检查可执行结果，信号清晰但覆…

#BLEU#ROUGE#BERTScore

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…评审时检查必要要点是否覆盖、错误事实是否出现、限制条件是否保留。可以由人工根据参考答案和证据判断回答是否正确完整，也可以用词向量、BERTScore 或另一模型辅助评审。答案正确性回答的是“结论对不对”。它没有直接回答“结论从哪里来”。这就需要 Faithfulness。 Faithfulness：每个事实能不能被本轮证据支持 Faithfulness 常被翻译为忠实度或事实一致性。它关注生成答案与检索上下文之间的关系。评估时，可以先把答案拆成若干可核查的事实陈述，再检查…

#RAG#评测与上线#RAG 评估指标

面试题·评估· 字节

RAG 自动与人工评估

匹配正文：…2. 生成评估（Generation Evaluation） BLEU/ROUGE：n-gram匹配，适合有标准答案的FAQ场景 BERTScore：语义相似度，对同义改写更鲁棒 3. 端到端评估（End-to-End） RAGAS（主流框架）： Faithfulness：答案是否忠实于检索上下文 Answer Relevance：答案与问题的相关程度 Context Relevance：检索上下文与问题的相关程度 Context Recall：上下文包含答案所需信息的比例 …

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#评估与监控#RAG 自动与人工评估

面试题·评估· 小鹏

RAG 失败场景诊断

匹配正文：…cs）关注"答得对不对、好不好"：传统NLP指标（有参考答案时）： BLEU/ROUGE：n-gram匹配度，适合事实性问答 BERTScore：语义相似度，比n-gram更鲁棒无参考答案指标（更实用）： RAGAS框架：Faithfulness（忠实度，答案是否基于检索内容）、Answer Relevance（答案相关性）、Context Relevance（上下文相关性） Self-check：让模型自己判断答案是否有幻觉三、端到端与业务评估端到端准确率：完整问…

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估

RAG 效果差怎么排查？

匹配正文：…ss（忠实度）：生成内容是否基于context，可用NLI模型或人工抽样 Answer Relevance：答案是否回应问题，可用BERTScore或人工判断 Context Utilization：模型是否有效利用了检索到的关键信息典型生成故障模式现象根因解法忽略检索内容，依赖参数知识 Prompt未强调"严格基于上下文" 显式指令 + citation要求拼接多个文档信息产生幻觉长context注意力分散压缩context或重排序去噪答案正确但未引用来源…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：…hfulness：生成内容是否忠实于检索文档（可用NLI模型自动判断） Answer Relevance：答案与问题的相关性（可用BERTScore或人工打分） Hallucination Rate：虚构信息比例，可用RAGAS等框架自动检测端到端指标 Exact Match / F1：与标准答案的匹配度人工评估：有用性、完整性、简洁性（1-5分制）二、Agent系统评估体系核心能力维度维度指标评估方式规划能力任务完成率、步骤合理性轨迹对比、人工判断工具…

#安克科技#Agent#Agent 评估体系

面试题·Prompt· 阿里

Prompt优化怎么评估准确性与效率？

匹配正文：…本高，可用LLM-as-Judge做初步筛选，人工复核边界case。二、稳定性指标输出一致性：相同输入多次运行的结果一致性（用BERTScore或任务特定相似度）方差控制：关键指标的标准差，避免Prompt导致"时好时坏" 异常率：幻觉、循环、格式错误等失败模式占比三、效率指标 Token效率 = 有效信息产出 / 总Token消耗延迟分解 = 首Token时间 + 每步平均耗时 × 步骤数注意：Prompt变长可能增加单步延迟，但减少步骤数反而可能提升整体效率。…

#阿里云#Prompt工程#评估与监控