匹配正文：…：要求模型标注引用来源，显式处理矛盾 3. 模型微调（成本较高但效果显著） SFT：用领域高质量QA对微调，强化"基于文档回答"的指令遵循能力 RLHF/DPO：针对连贯性、忠实度训练奖励模型，减少幻觉 4. 生成控制与后处理解码参数：降低temperature（0.1-0.3）、调整top_p提升确定性结构化生成：强制JSON/特定格式输出，约束模型行为后处理校验：用规则或小型模型检测答案是否覆盖文档关键点快速验证思路按成本从低到高尝试：Prompt调优 → 上下…

#RAG 生成质量#指令遵循#生成模块调优

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配正文：…ping是稳定手段，裁剪阈值也应通过基线与日志标定。验证侧要选择与任务相符的指标。语言建模可看验证loss或PPL，SFT还要看指令遵循、格式、事实性、拒答和多轮一致性；自动指标不足时加入固定盲样的人评。只有主要指标在多个评测点没有超过噪声的改善，并且训练仍稳定，才有理由认为继续训练的边际收益很低。早停可以保存最佳checkpoint，并在预先定义的评测节奏上观察耐心窗口。窗口长度、最小改善和评测频率取决于数据量、训练速度、指标方差和成本，不应背成固定epoch数。学习率…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#模型收敛#损失曲线#早停策略

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：…的指数变换，在相同tokenization和口径下与loss单调对应，并不天然比loss更敏感。生成任务还要看格式成功率、事实性、指令遵循、拒答、长度和人工偏好。不同长度或不同tokenizer的PPL不能直接混比，平均值也可能掩盖某类样本退化。诊断时先排查验证管线是否稳定，包括mask、padding、数据预处理和评测模型版本。再按任务、来源、长度和难度分桶观察训练与验证差异。训练样本上的模板记忆、长答案复读或罕见提示失效，可以作为辅助证据，但不能用一个固定loss ga…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 字节

CPT 后灾难性遗忘怎么防?

匹配正文：…力提升伴随原有通用能力、对齐行为或其他领域能力下降。它不是看到训练loss下降就能判断，而要在CPT前后用同一组通用、领域、安全和指令遵循评测比较，并排除评测噪声与数据污染。成因通常包括训练分布大幅偏向新领域，新数据梯度与旧能力所需参数方向发生干扰，以及学习率、训练步数或优化器状态让参数漂移过大。数据重复和领域风格过窄也会放大偏移。把它只解释成有限容量被新知识挤占并不充分，更不能断言浅层语法、中层语义和高层推理会按固定顺序受损。风险取决于模型用途。医疗或法律CPT可能改善…

#连续预训练#灾难性遗忘#知识保留

面试题·Agent· 高德

Function Calling vs Toolformer 本质差异?

匹配正文：…用成为模型的"语言习惯" 三、训练与推理机制阶段 Function Calling Toolformer 训练无需专门训练，靠指令遵循能力需大规模继续预训练（计算成本高）推理每次请求携带工具描述，动态决策模型参数已内化，直接生成调用标记新工具接入改Schema即可，零成本需重新训练或微调模型错误处理系统层可控，可重试/降级模型层难干预，生成错误难以纠正四、高德场景下的选型分析 Function Calling更适合的场景：实时路况、POI搜索、路径…

#高德#Function Calling vs Toolformer#Agent 工具调用

面试题·Agent· 小红书

LLM 输出格式不规范怎么修?

匹配正文：…模型先分析再输出，用json代码块包裹，降低自由生成负面示例警示：明确告知"禁止输出markdown以外的内容" 局限：依赖模型指令遵循能力，强模型（GPT-4）效果好，弱模型仍可能漂移二、模型能力层（硬约束）技术原理适用场景 JSON Mode 约束输出token为合法JSON OpenAI/Claude等支持，最稳定 JSON Schema 预定义字段类型/必填/枚举值复杂结构化需求，可校验 Function Calling 强制输出匹配函数参数结构 Agen…

#小红书#Agent#LLM 输出格式规范

面试题·Agent· 美团

哪类 Agent 最易大规模落地?

匹配正文：…解我的判断：任务自动化Agent（尤其是企业内部的垂直场景）最可能短期内大规模落地。三个维度的分析技术可行性当前LLM的指令遵循、工具调用（Function Calling）能力已相对稳定，足以支撑"明确输入→确定步骤→调用API→输出结果"的闭环相比需要复杂推理的科研Agent或强创意的内容Agent，任务自动化场景边界清晰、容错容忍度高多Agent协作、长期记忆等复杂能力并非刚需，单Agent+简单工作流即可跑通MVP 用户需求企业端痛点明确：重复性数据录…

#美团#Agent#AI Agent 商业化

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…具返回，动作=Thought/Action/Finish 输出格式强制JSON，降低解析失败率 3. 策略网络设计基座模型：选用指令遵循能力强的模型（如Llama-3-Instruct）结构：保持LM结构，通过prompt注入工具schema，或用LoRA微调工具感知模块关键：解耦"何时调用"（规划）与"如何调用"（参数生成），可用两阶段训练 4. 奖励机制奖励类型计算方式权重结果奖励任务完成度（EM/F1）高格式奖励 JSON合法性、字段完整中过程奖…

#美团#Agent#Agent 训练链路

面试题·评估· 百度

RAG 错误根源怎么定位?

匹配正文：…确认的黄金证据：使用黄金证据后稳定答对，说明检索、排序或上下文组装是主要瓶颈。黄金证据足够且清晰但仍答错，说明生成阶段的理解、指令遵循、证据忠实度或输出解析需要排查。结果时好时坏，应重复运行并控制随机性，不能用一次生成下结论。 3. 检索与生成消融检索侧：检查黄金证据 Recall@K、MRR/NDCG、chunk 完整性、过滤条件和重排前后位置。生成侧：在相同黄金证据上比较原 prompt、简化 prompt、抽取式基线和不同模型，检查答案 claim 是否被证据…

#百度#评估与监控#RAG 错误定位

面试题·评估· 京东

RAG vs RLHF 幻觉治理

匹配正文：…→ PPO；DPO是直接训练偏好对的另一条路径，不要求另训显式Reward Model。优势：内化人类价值观、减少有害输出、提升指令遵循局限：反馈与奖励可能有偏、被过度优化；偏好改善不等于事实正确，也不保证识别所有知识边界。典型场景：对话安全性、风格对齐、复杂推理规范化本质区别 RAG是开卷考试——给参考资料，能答多少看检索；RLHF是习惯矫正——凭肌肉记忆，答得对不对看训练。实际落地：两者可以互补，但不是幻觉成因的一一划分，也不构成完整正确性保证。分别检查检索证据…

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理

面试题·评估· 京东

RAG 缓解哪类幻觉?

匹配正文：…剧幻觉。生成可控性LLM需具备"忠实于检索内容"的能力，而非过度依赖参数知识或自由发挥。这涉及prompt设计、上下文窗口利用和指令遵循能力。 RAG的边界：不解决忠实性幻觉能解决：编造不存在的事实、过时信息、专业领域知识盲区不能解决：逻辑矛盾、推理错误、对检索内容的曲解或过度推断典型反例：检索内容正确，但模型错误拼接信息得出荒谬结论——这是忠实性问题，需靠训练或推理优化解决。学习建议建议系统学习该知识点

#京东#知识型幻觉#RAG 幻觉

面试题·评估

RG 系统效果差怎么排查?

匹配正文：…答案相关性：是否回答了用户问题诊断方法固定输入"完美上下文"（人工构造含答案的片段），观察模型是否仍能正确生成若仍出错：检查指令遵循能力、长上下文理解、或SFT数据分布偏移三、定位协同环节问题常见耦合故障：现象根因验证方式答案在上下文里，模型却"看不见" 检索片段过长/冗余，关键信息被淹没截断/重排序实验多片段信息冲突，模型选错缺乏冲突消解机制单片段 vs 多片段输入对比检索到相关但非最优片段排序模型与生成偏好不对齐交换Top-1和Top-2观…

#检索归因#生成归因#RG 系统故障排查

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…非答非所问诊断方法黄金文档实验：把人工标注的理想文档强制喂给生成模型，看输出是否变好变好 → 检索问题仍差 → 生成问题（指令遵循不足、长上下文理解差、或SFT数据有偏）上下文长度消融：逐步截断输入文档，观察性能衰减曲线，判断模型长文本能力瓶颈第三层：协同环节问题（最易被忽视）典型症状检索文档相关但生成忽略（选择性失明）多文档信息冲突时生成混乱（矛盾融合失败）检索文档冗余导致关键信息被淹没（信噪比问题）诊断方法注意力可视化：分析生成时对不同文档片段的注…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：…模块的评估维度（忠实性、相关性、流畅性）给出至少3种针对性的生成优化策略能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）一、系统性诊断：定位问题模块核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。 1. 检索模块独立评估离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档快速验证：用固定的人工精选文档替换检索结果，若生成质量显著提升 → 检索是瓶颈 Bad Case分析：抽样失败案例，检查检索…

#上下文压缩#生成调优#RAG 效果诊断

面试题·模型微调

LLM 封闭标签如何强约束?

匹配正文：…工程（Few-shot + 格式约束）是基础手段约束解码（Constrained Decoding）是核心保障微调/SFT提升指令遵循能力 Function Calling/JSON Schema是工程实践标准方案后处理校验作为兜底机制核心思路封闭标签输出本质是可控生成问题，需多层防护：提示工程 → 模型能力 → 解码约束 → 后处理校验。技术手段（按优先级） 1. 提示工程（基线） Zero-shot：明确指令 + 标签列表 + "只能从以下选择" Few-sh…

#Agent#LLM 输出限定#封闭标签集

面试题·Prompt· 字节

判别式转生成式模板怎么选?

匹配正文：…形式优势局限前缀引导 [CLS]文本[SEP]标签改为生成：标签改动最小，迁移成本低；保留原始数据分布未充分利用模型指令遵循能力，上限有限自然语言指令请判断以下文本的情感：{文本}→{标签} 符合预训练分布，泛化性强；支持多任务统一指令设计依赖经验，短指令可能歧义思维链(CoT) 分析：... 因此答案：{标签} 显式推理过程，可解释性强；复杂任务准确率提升显著推理成本高；简单任务可能"过度思考"引入错误实际应用选型建议通用场景：自然语言指令 + …

#字节#生成式建模#判别式转生成式

面试题·RAG

RAG 检索准但回答差怎么调?

匹配正文：… 提示工程缺陷缺乏明确的指令引导模型如何利用检索内容未约束模型"优先基于文档回答，不确定则拒绝" 3. 生成阶段问题模型本身指令遵循能力不足温度参数过高导致幻觉未针对RAG场景做SFT对齐系统性调优策略层级具体措施检索后处理重排序（Rerank）优化文档顺序；冲突检测与摘要融合；上下文压缩（如LLMLingua）提示优化添加"基于以下文档回答"前缀；明确引用格式要求；设置拒绝回答的兜底策略模型层面 RAG专用SFT数据训练；调整temperature…

#上下文组织#生成质量调优#RAG 生成质量差

面试题·检索· 阿里

RAG流程：检索到生成各阶段陷阱

匹配正文：…"）、Few-shot示例约束格式生成控制：温度参数、重复惩罚、结构化输出（JSON模式）质量影响：幻觉抑制依赖上下文相关性与指令遵循能力的平衡各环节协同关系检索质量是天花板，生成能力是地板——检索不准则生成必错，检索准确但生成指令不清则答案冗余。实际系统中需建立检索-生成联合评估闭环，持续优化Embedding模型与领域数据对齐。学习建议建议先掌握RAG基本流程框架，再结合实际案例理解检索器、重排序和生成模型的协作机制，多动手搭建简单RAG系统加深理解。

#阿里云#重排与优化#向量检索

面试题·检索· 小红书

RAG检索不准的失败场景与优化

匹配正文：…大召回、混合检索、查询扩展检索召回但排序低查看正确答案的原始排序位次重排序优化、特征工程检索正确但生成错分析上下文窗口、指令遵循提示工程、RAG-specific微调实际优化需结合具体bad case分析，避免盲目堆技术。学习建议深入理解RAG架构，掌握检索与生成模块的协同机制，学习常见失败模式及优化策略。

#小红书#美团#重排与优化

面试题·检索· 字节

RAG 核心实现原理是什么?

匹配正文：…Rerank) 精排优化检索结果 Cross-Encoder模型，提升Top-K相关性大模型最终答案生成需具备长上下文理解和指令遵循能力典型架构演进 Naive RAG（基础版） Query → 向量检索 → 直接拼接Prompt → LLM生成问题：检索质量差、上下文冗长、生成不可控 Advanced RAG（生产常用） Query → 路由判断 → 多路检索(向量+关键词+图谱) → Rerank精排 → 上下文压缩/摘要 → LLM生成增强点：查询改写、混合…

#字节#RAG实现原理#RAG 实现原理

面试题·多模态· 得物

多模态大模型网络结构怎么搭?

匹配口述回答：…or，让图像特征能接入语言接口。视觉指令微调阶段继续冻结视觉编码器，但会更新projector和语言模型，使模型学习多轮视觉问答与指令遵循。因此不能说MLP始终是唯一可训练模块，也不能脱离具体模型配置给projector报一个固定参数量。 BLIP-2采用另一种桥接。它冻结预训练图像编码器和冻结LLM，在中间加入可训练Q-Former。Q-Former维护一组可学习query，通过cross-attention从视觉编码器输出中提取与语言任务相关的信息，再经投影送入LLM。论…

#视觉编码器#投影层/连接器#多模态对齐

面试题·评估· 科大讯飞

RAG 解决了 LLM 哪些局限?

匹配口述回答：…业内部的SOP、产品手册、政策文档。真正落地的时候，我常常是RAG加微调一起用：用RAG保证事实准确性，用微调优化模型的表达风格和指令遵循能力。举个例子，客服退款场景。用户问“我买的手机降价了，能退差价吗？”模型需要知道当前公司的售后政策，是7天价保还是15天，具体怎么操作。这些政策可能每月调整，用RAG直接从最新的政策文档里检索相关条款，模型再据此生成回答。如果只靠微调，你每改一次政策就得重训一次，根本不现实。但RAG落地也有不少坑。前提是你的知识库质量得高。如果文档[…

#科大讯飞#阿里#RAG 架构

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配口述回答：…重。所以整体来看，我不会把RAG和SFT对立起来。真实落地往往是RAG打底，保证知识最新、来源可查，然后再用SFT优化生成风格和指令遵循能力。我更倾向于把RAG看作一个低成本、高灵活性的知识接入方案，而SFT是锦上添花的人格化打磨。问题本质：模型知识来源的取舍 RAG优势：解耦存储，低成本应对动态知识 RAG vs SFT边界：知识更新 vs 风格固化具体场景：金融政策、客服退款、企业合规落地风险：检索质量决定上限，需混合检索+重排收尾：RAG打底+SFT优化，非互…

#美团#模型微调#RAG vs SFT

SFT vs 预训练:核心区别在哪?

生成质量差怎么调优?

模型收敛怎么判断?

SFT 过拟合怎么判断和缓解?

CPT 后灾难性遗忘怎么防?

Function Calling vs Toolformer 本质差异?

LLM 输出格式不规范怎么修?

哪类 Agent 最易大规模落地?

Agent 训练链路怎么搭建?

RAG 错误根源怎么定位?

RAG vs RLHF 幻觉治理

RAG 缓解哪类幻觉?

RG 系统效果差怎么排查?

RAG效果差：检索vs生成怎么诊断？

检索准但生成差，怎么调优？

LLM 封闭标签如何强约束?

判别式转生成式模板怎么选?

RAG 检索准但回答差怎么调?

RAG流程：检索到生成各阶段陷阱

RAG检索不准的失败场景与优化

RAG 核心实现原理是什么?

多模态大模型网络结构怎么搭?

RAG 解决了 LLM 哪些局限?

RAG vs SFT 场景怎么选?