匹配正文：RAG 回答错了，最常见的第一反应是什么？改 Prompt，换大模型，或者把 Top-K 调大。这三个动作都可能有用，但它们不应该成为排查起点。因为最终答案只是链路最后一层。错误可能早在文档解析时就发生，也可能是 Query 被改写带偏、过滤条件挡掉了正确文档、向量召回没找到、融合时被压下去，或者 Rerank 把正确证据排到了后面。如果连正确证据在哪一层消失都不知道，改参数更像碰运气。排查前，为什么先要有“正确证据”？如果只知道“答案错了”，排查没有参照物。系…

#RAG#生成与对话#RAG 检索优化

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配正文：…张量/流水线并行、OpenAI 兼容服务支持架构、量化和硬件能力随版本变化 TensorRT-LLM NVIDIA GPU 深度优化 TensorRT engine、in-flight batching、KV 优化、量化与多 GPU 使用自有 checkpoint/engine 工作流，可从 Hugging Face、NeMo 等来源转换，并非必须先经过 ONNX TGI Hugging Face 模型服务连续批处理、流式输出、张量并行、量化和监控官方文档当前标注为 m…

#vLLM#TensorRT-LLM#推理引擎

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…现的失败集合。明确输入、期望输出、当前输出、业务代价和评测脚本，再按来源、长度、难度、语言和失败类型切片。若指标或标签不稳定，任何优化都可能只是追逐噪声，所以先做人工复核和近重复检查。数据侧要看目标场景是否覆盖、标签是否一致、训练与验证是否泄漏，以及失败样本是否集中在特定模板或时间段。分布漂移可以用特征统计、类别比例、模型置信与真实错误率联合观察。t-SNE适合探索局部可视化，但会扭曲全局距离，不能单独作为样本属于分布外的证据。系统侧要把基础模型、prompt、检索、工具…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#模型调试#bad case分析#数据质量

面试题·评估· 百度

LLM 准确性提升四大路径

匹配正文：…。自一致性只说明多个采样同意，不等于事实正确。解码参数、验证器和工具执行应按任务选择，代码用测试，数学用可检查计算，不能靠一条统一prompt解决。外部增强方面，RAG能把回答连接到可更新语料，但仍可能召回错误、忽略证据或错误引用。工具调用可以把搜索、计算和数据库查询交给外部系统，同时新增权限与注入风险。检索质量、证据支持率、答案忠实度和拒答都需单独评测。我的实验会先建立无增强基线，再分别加入数据改进、偏好优化、推理提示、检索或工具，每次只改变有限变量。按事实、推理、帮助…

#数据质量#训练策略#推理优化

面试题·RLHF与对齐· 美团

稀疏与延迟奖励的塑形与权衡

匹配正文：…的 off-policy RL，不是所有长序列或 RLHF 的通用解法。延迟奖励要区分信号来源。典型 RLHF 奖励模型对完整 prompt-response 给一个序列级标量，训练中再叠加逐 token KL，并由 value function、return 或 GAE 把终局信号用于各时间步更新；这不等于奖励模型把偏好自动蒸馏成每步即时正确奖励。若有可验证中间状态，可以设计过程奖励，但需单独标注或校验其因果有效性。多目标可用归一化加权、约束优化、词典序优先级或 Par…

#奖励塑形#稀疏奖励#多目标优化

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配正文：…定质量门槛下仍有收益，才接受该量化配置；裸权重估算不能替代端到端profile。部署还要区分预填充和逐token解码。预填充在长prompt下可能更偏计算瓶颈，解码在小batch时更偏权重带宽；同一个INT4模型在两阶段的加速比可能完全不同。权重压缩也不会自动压缩KV，除非另外采用KV量化或改变注意力头结构。多卡时，张量并行通信和每卡分片粒度也会改变收益，模型能装下只代表容量达标，不代表延迟达标。因此性能结论必须同时注明阶段、并发、序列长度、硬件和推理框架版本。图解 1…

#模型量化#INT8/INT4#显存优化

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：…能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。最终会同时比较prompt基线、LoRA候选、必要时的全量或其他PEFT方案，报告任务质量、通用回归、训练成本和推理部署复杂度。若增加参数没有稳定收益，就回到数据或系统；若失败集中在特定能力，再针对信息路径调整。优化方案由消融证据决定。

#LoRA#参数高效微调#故障排查

面试题·模型训练· 美团

LLM 训练哪步最难?

匹配正文：…必然导致退化，也不能给长文清洗固定成本倍数。代码占比变化可能影响能力和输出风格，但对话风格是否变得指令化还受到预训练混合、SFT和prompt影响。所有因果都要通过当前语料的配比与去重消融验证。长文数据还涉及文档边界、章节顺序、模板重复、时间戳和版权，不只是长度更长。代码数据要处理许可证、secret、自动生成文件、仓库级去重和基准污染。不同领域的数据质量定义不同，单一困惑度或质量模型很难覆盖。算力与系统也并非有钱就能解决。大规模训练仍有通信、容错、数值稳定和利用率挑战；…

#数据工程#训练稳定性#超参数调优

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…Group Sequence Policy Optimization，用于大语言模型强化学习。它针对可验证奖励下的成组采样：同一 prompt 生成一组响应，依据组内奖励构造相对优势，再用策略概率更新模型。关键变化是把 importance ratio 的粒度从 token 转到序列。GSPO 根据整条响应在新旧策略下的序列似然形成序列级比率，并进行序列级 clipping、reward 和优化，使优化单元与序列级奖励更一致。论文报告它相较 GRPO 提升训练效率和性能，并…

#GSPO#策略优化#离线强化学习

面试题·模型架构· 商汤科技

幻觉一致性延迟诊断

匹配口述回答：遇到输出不一致、幻觉和延迟，我不会把所有问题都归因于模型参数，而是先建立可复现基线。固定模型版本、prompt模板、系统指令、检索快照、工具返回和解码参数，记录完整trace，再判断缺陷出现在哪一层。否则同一次请求用了不同知识或工具结果，调temperature也解决不了。输出不一致要分三类。一种常见路线是随机采样差异，可以降低temperature、固定随机种子或采用约束解码；另一类是格式漂移，可以用JSON schema、语法约束和解析重试；还有一类是语义冲突，需要检查…

#幻觉问题#输出一致性#推理延迟

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配正文：…反馈来源和实现；固定“四模型”不是算法定义。 DPO利用Bradley-Terry式偏好模型和KL正则化RL目标的重参数化，把偏好优化写成分类式损失。它无需单独奖励模型和在线rollout，但仍依赖参考策略或预计算参考对数概率，并受 beta、偏好噪声、长度偏差和分布外问题影响。 GRPO由同一prompt采样一组答案，依据组内奖励相对值估计优势，省去critic；它仍需要规则或奖励模型给分。可验证数学/代码任务适合构造奖励，但“更稳定/更好”必须由任务实验确认。选型时先问…

#RLHF#PPO#DPO

面试题·模型训练· 得物

全参数 vs 参数高效微调怎么选?

匹配正文：…数微调更新全部权重，容量最大但训练状态昂贵；PEFT只训练小部分新增或选定参数，常见有Adapter、Prefix Tuning、Prompt Tuning、LoRA，QLoRA还让梯度穿过冻结的4bit基座训练LoRA。选择要看数据规模、任务偏移、部署方式和质量门槛。7B模型做混合精度Adam时，光两个FP32一阶、二阶矩状态就约560亿字节，也就是56GB，不是14GB。机制与边界完整显存账本不能只算优化器。7B权重若以BF16或FP16保存约14GB，梯度再约14G…

#全参数微调#LoRA#Prompt Tuning

面试题·Agent· 字节

大量工具怎么选?

匹配正文：…类"），先选类别再选具体工具元工具（Meta-tool）：高层工具封装常用组合，减少决策次数动态加载：仅将相关类别工具描述注入Prompt 2. 语义检索替代枚举工具描述 → Embedding → 向量数据库用户Query → 检索Top-K相关工具 → 注入LLM上下文优势：突破上下文限制，支持千级工具优化：工具描述需精心编写（功能、输入输出、使用场景示例） 3. 延迟优化策略实现预加载热门工具常驻内存，建立连接池并行化独立工具并行调用（如同时查天…

#字节#百度#Agent

面试题·文档处理· 字节

RAG 文本分块与向量索引流程

匹配正文：…384维）中文场景：BAAI/bge-large-zh、智谱Embedding-2 领域适配：领域数据继续预训练或对比学习微调优化技巧：查询端与文档端使用不同prompt（如"为这个句子生成表示："）维度压缩：PCA或模型蒸馏降低存储成本三、向量存储与索引方案特点适用规模 FAISS 内存索引，HNSW/IVF算法，零成本百万级，单机 Pinecone 全托管，元数据过滤，自动扩缩容千万级+，生产环境 Milvus/Zilliz 开源/云原生，GPU加速 …

#字节#文档处理#向量检索

面试题·评估· 美团

RAG 解决了哪些问题?

匹配口述回答：…下文压缩，检索回来的段落可能很长，直接塞给模型会浪费token，还会稀释注意力。我会先对检索结果做摘要，把关键信息提取出来，再拼到prompt里。这里有个坑，就是检索质量决定了RAG的天花板。如果文档切分不合理，比如把一整个合同切成一段，或者query和文档的表述差异很大，比如用户问“怎么退款”但文档里写的是“退货流程”，那检索出来的东西模型根本用不上。所以上线前我会特别关注两件事：一是用一批真实query回放，看召回率和准确率；二是做bad case分析，看看是不是切分粒…

#美团#混合检索#RAG 技术

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：…ncoder提取关键信息，更新至FAISS/HNSW索引记忆读取：当前query检索Top-N相关记忆，拼接至输入二、训练策略优化多阶段训练阶段目标数据特点预训练长文档建模书籍、长文章，4K→32K→128K渐进扩展 SFT 对话能力高质量多轮数据，平均10-20轮，含角色一致性标注 RLHF 连贯性与有用性多轮偏好对，同一问题不同轮次的回答对比一致性约束损失轮间一致性：相邻轮次回答的embedding余弦相似度约束角色一致性：系统prompt嵌入…

#字节#模型微调#多轮对话一致性

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配口述回答：我会先把 RAG 的错误拆成一条漏斗，再决定优化哪一层。检索侧先确认知识库里有没有答案，解析、分块和权限过滤有没有把证据丢掉，再看正确文档是否进入 Top-K。候选里没有答案时，应该修语料覆盖、分块或召回；候选里有答案但排得靠后，才值得比较 BM25、向量召回、RRF 和 Cross-Encoder 重排。查询改写也要测语义是否漂移，不能只看召回数量变多。生成侧关注模型拿到的到底是什么证据。我会做去重和冲突检测，控制上下文预算与顺序，在 Prompt 里约束引用格式和证据不…

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…标准化） Embedding模型选型与微调（通用vs领域模型、对比学习微调）检索架构设计（多路召回、重排序、查询改写）生成环节优化（Prompt工程、上下文压缩、引用溯源）端到端评估体系（检索准确率、生成忠实度、领域专家评估）一、数据准备：领域知识工程化文档解析与结构化非结构化：PDF/Word用Unstructured/MinerU解析，保留标题层级、表格结构多模态：医疗影像报告需OCR+结构化提取，金融财报表格转Markdown 领域标准化：建立术语词典（如…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 美团

RAG 深度与局限怎么破?

匹配正文：…控）与典型局限（检索噪声、上下文窗口限制、多跳推理弱）提出至少3个具体优化方向（如混合检索、重排序、查询改写）结合实际场景说明优化方案的可行性体现对RAG与微调、Agent等技术边界的理解 RAG的核心价值与深度优势层面知识动态化：无需重训模型即可更新知识，解决大模型"幻觉"和时效性问题可溯源性：检索片段作为引用，提升生成可信度，满足合规审计需求成本可控：相比全量SFT，RAG的边际成本极低，适合频繁变更的业务知识技术深度体现不仅是"向量检索+Prompt拼…

#美团#RAG 局限性#RAG 优化方向

面试题·模型微调· 字节

大模型输出JSON怎么保正确?

匹配正文：答案要点约束解码技术（如JSON Mode、Grammar-based Decoding）的原理和应用提示工程技巧（Few-shot示例、Schema描述、输出格式指令）后处理与验证机制（JSON修复、重试策略、Pydantic校验）模型选型与训练层面的优化（Code模型、SFT/RLHF针对性训练）实际落地中的组合策略和容错设计一、解码层：约束生成空间 JSON Mode 与 strict Structured Outputs JSON mode主要约束JSON…

#字节#Agent#大模型 JSON 输出

面试题·Prompt· 字节

Agent 能力怎么系统提升?

匹配正文：…I标准化、安全沙箱机制推理机制：ReAct/CoT/ToT等多步推理、反思与自我纠错学习方式：在线学习、模仿学习、RLHF反馈优化、世界模型构建需体现系统性思维而非单点技术堆砌一、架构设计：分层解耦与认知增强核心分层感知层：多模态输入统一编码，支持文本/图像/音频/结构化数据记忆层：短期工作记忆（上下文窗口）+ 长期 episodic/semantic 记忆（向量库+知识图谱）规划层：从简单CoT到分层任务网络（HTN），支持子目标分解与动态重规划执行层：原…

#字节#百度#评估与监控

面试题·Prompt· 阿里

JSON 输出怎么保证格式稳定?

匹配正文：…熟度仅为选型讨论，必须在具体框架版本、schema与并发条件下实测。学习建议建议先掌握JSON基本语法和LLM生成原理，再学习提示工程与结构化输出技术，动手实践如Outlines、Guidance等工具，结合真实场景进行迭代优化。参考资料 OpenAI 官方：JSON mode、strict schema 与拒绝/截断边界 XGrammar 原论文：token 边界与文法约束

#阿里云#Prompt工程#JSON 格式输出

面试题·Prompt· 高德

CoT vs ToT vs GoT 怎么选?

匹配正文：…：ToT的多次采样+评估在实时场景（如高德导航的实时路径重规划）难以承受任务适配成本：从24点游戏迁移到真实业务，状态定义、评估prompt需大量人工设计四、选型建议追求速度+成本：CoT + Self-Consistency（多次采样选多数答案）需要探索+可承受延迟：ToT with 限定深度+启发式剪枝复杂迭代优化：GoT，但建议先验证评估器质量，或引入外部验证（如代码执行反馈）高德场景举例：实时路径规划更适合CoT+规则后处理或轻量ToT（限定2-3层分支）…

#高德#CoT ToT GoT 对比#大模型规划能力

面试题·Prompt· 阿里

JSON 输出怎么保证稳定可靠?

匹配正文：…3. LLM自修复：将错误JSON+错误信息再次输入，请求修正（1次重试上限）成本意识：L3重试触发率应控制在<2%，否则回退到提示词优化实际场景选型场景推荐组合原因实时Agent工具调用 Schema约束 + 轻量后处理延迟敏感，容忍偶发重试批量数据生成 Grammar-based + 完整后处理准确率优先，可并行多租户SaaS 动态Schema + 沙箱校验隔离用户自定义结构避坑：不要同时叠加多层强约束（如Grammar+Schema），状态空间爆…

#阿里云#Prompt工程#Agent