匹配正文：…案向量检索 + 关键词(BM25)混合、召回多少、要不要重排、多路召回怎么融合只上单路向量检索,答不上召回不全怎么办模型与 Prompt 选什么模型、上下文怎么拼、引用怎么带、幻觉怎么约束、要不要 function calling 把 Prompt 当细节略过,不提引用和防幻觉评估怎么做检索命中率、答案准确性、幻觉率怎么测,离线评估集 + 线上抽样,用不用 LLM 打分完全不提评估,或只说"人工看一眼" 成本与延迟一次问答的 token 成本、检索+生成的延迟拆…

#求职#职业转型

面试题·Agent

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

匹配正文：…用户只说‘查上个月华东的活跃客户’，你怎么让模型知道该用哪些表和字段？” 很多 Text2SQL Demo 会把全部建表语句塞进 Prompt，让模型直接生成 SQL。表少时看起来能跑，表一多就会出现三类问题：上下文被无关字段占满；同名字段和相似表互相干扰；用户说的是业务词，数据库里却只有技术字段。更难的是“活跃客户”本身没有唯一含义。它可能指登录过、下过单、产生过付费或满足某个客户分层规则。“上个月”按自然月还是最近三十天，“华东”按客户注册地、收货地还是组织归属，也都需…

#Agent#工具调用与安全#Text2SQL Schema 选择

求职指南·求职

转行大模型最常见的 12 个坑

匹配正文：…好在哪、哪些 case 会挂评估闭环是应用岗地基,没有它前面所有工作都讲不实、经不起追问补评估集和 badcase 复盘,刷评估与监控题库 7 只追最热的 Agent、忽略 RAG 和评估地基看到 Agent 火就只学 Agent,RAG、检索、评估基本没碰 Agent 建在检索和评估地基上,地基空的 Agent 一追就露怯按题量补齐地基,方向分布看大模型技术栈全景 8 把 RAG 当普通 CRUD 拼接觉得 RAG 就是"存向量、查向量、拼 prompt",套…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#求职#职业转型

求职指南·求职

转行大模型应用开发常见问题(FAQ)

匹配正文：…nt 的记忆和检索本质还是 RAG 那套)。跳过 RAG 直接冲 Agent,常见结果是项目跑起来了却讲不清检索为什么召回差、怎么评估,一追问就露。建议路径是先跟着RAG 系统实战教程做出一个能追问的项目,再去题库刷 Agent 模块。整个学习顺序的完整拆解在转大模型应用开发路线图。要不要学微调?应用岗用得上吗? 多数应用岗不要求你亲手微调,但要求你讲得清什么时候该微调、什么时候 RAG 或 Prompt 就够。面试里微调更多以概念题出现:LoRA 和全参的区别、微调和 R…

#求职#职业转型

面试题·模型训练· 美团

训练数据清洗：规则 vs LLM

匹配正文：…长文本会改变成本。任何比较都应在同一数据集、硬件和端到端管线上测样本吞吐与单位token或单位文档成本。准确性要用人工gold集评估。对每类脏数据分别报告precision、recall和误杀高质量样本的比例，并按语言、来源和长度切片。规则可能精确但漏长尾，LLM可能召回更高却受prompt和模型版本漂移。不能只看模型给自己的质量分。常见级联是先做低风险确定性规范化与去重，再用规则或轻量分类器过滤明显样本，把不确定语义案例交给LLM，最后对高风险删除进行人工复核。各层都应…

#数据清洗#数据工程#训练数据构建

面试题·模型架构· 字节

判别式转生成式有哪些方法？

匹配口述回答：…强行加入CoT可能增加延迟、暴露无关步骤，甚至降低稳定性。实际选型时，我先建立直接生成或verbalizer基线；不能更新参数时评估ICL；允许轻量训练时比较soft prompt与adapter；需要长期任务适应时做指令微调；只有中间步骤可验证且确有收益时才加入CoT。统一报告质量、格式合法率、校准、token成本和延迟，而不是把这些方法都叫prompt后混在一起。类别输出还要设计评测解析器。若标签是多token字符串，应检查长度偏差、同义词和大小写；若使用JSON约束…

#生成式建模#判别式转生成式#Prompt工程

面试题·评估· 字节

LLM 幻觉与安全风险怎么缓解?

匹配题目：…效缓解模型生成内容中的幻觉（Hallucination）和安全风险（如偏见、有害内容）？请从训练数据、模型架构、解码策略、后处理和评估等多个角度阐述应对方法。

#幻觉检测#内容安全#RLHF

面试题·项目与经历· 美团

Agent 哪项能力最先商业化?

匹配口述回答：…、回滚和审计。工具链成熟只是降低接入成本，不会自动保证结果可靠。最终用真实项目的完成率、接受率、返工、缺陷、安全事件、延迟和成本评估，并按语言、仓库规模和任务类型分桶。若收益只存在于简单样例，就不能外推到复杂规划。这样可以说明Coding为什么具备优势，同时避免把商业新闻和数据便利当成技术证据。企业采用时还要确认代码上下文的使用边界。模型可能需要读取私有仓库、issue和日志，必须明确数据是否离开组织、是否用于训练、保留多久以及如何删除。即使基础模型用公开代码训练，产品运…

#智能体商业化#Coding Agent#技术成熟度评估

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配正文：Reward Model 学习相对偏好，PPO 和 DPO 使用方式不同数据通常由同一 prompt 下的多个候选回答与偏好关系构成。标注者依据帮助性、正确性、安全等指南做排序或成对选择，形成 chosen、rejected；应保留平局、分歧、标注者与版本信息。Reward Model 常在语言模型主干上加标量头，对完整 prompt-response 输出一个 sequence score，并使用 Bradley-Terry 风格成对 logistic loss，使 ch…

#奖励模型#RLHF#偏好学习

面试题·Agent· 蚂蚁

Agent项目经验怎么突出亮点?

匹配标题与标签：Agent项目经验怎么突出亮点? 大模型落地业务场景,从选型到效果评估全流程 Agent 蚂蚁 AI Agent 项目经验大模型业务落地 Agent 开发实战蚂蚁

#蚂蚁#AI Agent 项目经验#大模型业务落地

面试题·Agent· 同花顺

多Agent系统设计原则有哪些?

匹配正文：…ility Principle：每个Agent有明确的功能域（规划、执行、验证、反思）避免能力重叠，通过角色描述（System Prompt）固化行为模式 2. 主流协作架构模式特点适用场景协作式平等协商，共享目标复杂决策、头脑风暴层次式中央调度+执行Agent 任务流明确、需严格管控竞争式多方案PK，择优采纳创意生成、策略优化市场式基于"拍卖"机制动态分配资源调度、负载均衡 3. 通信机制设计消息协议：标准化Schema（如JSON-RPC）…

#同花顺#Agent#多Agent系统设计

面试题·文档处理· 京东

Chunking 策略怎么平衡上下文与精度?

匹配正文：…的训练长度（如text-embedding-ada-002用8191 tokens）预留LLM的上下文空间：chunk大小 + prompt + 输出 < context window 4. 元数据增强存储chunk的标题、章节、页码等，用于重排序或过滤 5. 评估驱动迭代用Hit Rate、MRR等指标对比不同策略结合端到端问答效果做最终判断实际项目中可先把递归分块、结构分块和不同重叠窗口作为候选，再根据同一评测集和bad case决定是否引入语义分块。学习建议…

#京东#RAG Chunking 策略#文本分块最佳实践

面试题·评估· 高德

高并发 Agent 延迟卡在哪?

匹配标题与标签：高并发 Agent 延迟卡在哪? 召回与生成阶段架构设计、算法、工程三角度策略评估高德 Agent Agent 系统延迟优化高并发 Agent 架构召回阶段优化生成阶段优化高德

#高德#Agent#Agent 系统延迟优化

面试题·评估· 蚂蚁

Agent 系统哪些模块最易出问题?

匹配标题与标签：Agent 系统哪些模块最易出问题? 常见故障场景下监控体系设计与问题定位策略评估蚂蚁 Agent AI Agent 稳定性 Agent 系统监控故障定位方法蚂蚁

#蚂蚁#Agent#AI Agent 稳定性

面试题·评估· 淘天

RAG 怎么减少幻觉?

匹配标题与标签：RAG 怎么减少幻觉? 从外部知识引入到事实准确性提升,3 个维度解析机制评估淘天事实准确性 RAG 减少幻觉 RAG 事实准确性 RAG 作用机制淘天

#淘天#事实准确性#RAG 减少幻觉

面试题·评估· 京东

RAG vs RLHF 幻觉治理

匹配口述回答：…模型生成前，我先从外部知识库检索相关文档，比如用 [[Hybrid Search]] 把关键词和向量检索结合起来，然后把文档拼到 prompt 里，告诉模型“你就按这些材料回答”。这样给模型提供了可追溯证据，但提示不是硬约束，模型仍可能误读资料或编造。这在客服场景特别典型，比如用户问退款政策，我检索到最新的满减规则文档，模型应基于文档回答，仍需检查退款比例与引用是否受证据支持。但 RAG 有个前提：检索质量必须高。如果检索出来的文档跟问题不相关，或者 chunk 切碎了导致信…

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理

面试题·评估· 快手

LangChain 关键组件与流程?

匹配标题与标签：LangChain 关键组件与流程? 关键组件与工作流程详解,构建 LLM 应用的框架基础评估快手评估与监控 Agent LangChain 设计原理 LangChain 组件 LangChain 工作流程 LLM 应用框架快手

#快手#评估与监控#Agent

面试题·评估· 淘天

现代RAG架构有哪些改进?

匹配口述回答：…的甚至多轮迭代。像[[Self-RAG]]会输出反思token，比如“是否需要检索”“结果是否相关”“是否足够支持生成”，模型自己评估要不要再查一次。拿客服退款举个例子。用户问“我昨天买了东西今天降价了能退差价吗”，传统做法是直接把所有退货政策文档塞进prompt，可能信息很多但没切中要点。现代RAG会先尝试生成，如果模型不确定，就触发检索，找到“价保政策”那条记录，再生成回答；如果检索结果不够置信，比如文档里没明确说，模型可以降级处理，比如建议用户联系人工。这样既快又准。…

#淘天#评估与监控#RAG架构改进

面试题·评估· 字节

RAG 文档检索选型

匹配口述回答：…如先固定切块和召回候选，只比较有无重排；再固定重排，比较稠密、稀疏和混合召回。若同时修改 Embedding、chunk 大小和 Prompt，即使最终指标上升，也无法证明贡献来自哪里。还应保留效果变差的 query，说明方案的适用边界，而不是只展示平均分。如果面试官要求结合项目，不要照搬一个现成故事。回答者需要补齐自己的文档类型、查询分布、原始基线、主要 bad case、方案取舍、评测方法和工程代价。没有做过消融或没有线上指标时直接说明，再给出下一步验证方案。这样既能讲…

#字节#混合检索#RAG 文档检索选型

面试题·评估· 蚂蚁

Agent项目挑战与解决方案怎么讲?

匹配标题与标签：Agent项目挑战与解决方案怎么讲? 大模型落地项目背景、技术方案与挑战应对评估蚂蚁评估与监控 Agent 项目经验大模型落地技术方案蚂蚁

#蚂蚁#评估与监控#Agent 项目经验

面试题·评估· 淘天

RAG 核心指标优先级

匹配口述回答：…RAG]]系统到底好不好用。我觉得核心不在于列一堆指标，而是想清楚RAG的价值在哪，它就是用外部知识来约束生成，不让模型乱说。所以评估的立足点一定是：有没有真的约束住，约束得够不够好。我习惯把评估拆成两个层面：检索和生成，再加一个端到端的整体效果。先说检索，它决定了RAG的天花板。你召回的东西不对，后面模型再强也白搭。我最关注的是 Recall@K，就是相关文档有没有被捞回来。很多系统上线后效果不好，一查，问题出在召回率只有百分之六七十，那后面再怎么调prompt都补不回来…

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估· 得物

AI Agent 核心能力现状与差距

匹配正文：答案要点明确列出4-6项核心能力并简要解释客观评估现有技术（如ReAct、AutoGPT、LangChain等）在各维度的实际表现指出关键差距（如长期记忆、错误恢复、多步规划稳定性）结合具体案例或技术方案支撑观点理想Agent的六大核心能力能力核心要求规划（Planning）将复杂目标拆解为可执行的子任务，支持动态调整工具调用（Tool Use）精准选择、调用外部工具，处理多模态输入输出记忆（Memory）短期上下文记忆 + 长期知识/经验存储与检索…

#得物#Agent#AI Agent 核心能力

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配口述回答：… 不适合、query 改写不准，或者 reranker 没把真正有用的文档顶上来。这个时候我会先看 TopK 列表，而不是直接改 prompt。 MRR定义：所有查询倒数排名的平均值 RAG首位相关性决定生成质量需配合Recall@K使用实际阈值与注意点约4分钟 MRR 更像检索排序指标，不等于端到端答案质量。如何把 MRR、Recall@K、NDCG、Faithfulness 组合成一套 RAG 评估体系。

#百度#评估与监控#MRR 定义

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配口述回答：这道题我觉得本质不是在问你知道多少种技术，而是在考察你面对一个真实业务场景时，能不能做出合理的选型决策。我理解目前主流的有提示工程、[[上下文学习]]、微调、[[RAG]]和[[Agent]]这五条路，但它们不是互相替代，更多是互补。落地的时候，经常是两三个一起上，关键看场景和成本。先说提示工程和上下文学习。这两个其实都是零成本或者接近零成本的方式，不更新模型参数。提示工程就是靠写指令，让模型按你的要求输出，比如客服话术生成，改改prompt就能迭代。上下文学习呢，给几个例…

#滴滴#模型微调#Agent