匹配正文：…码器（领域数据微调）时效性/权威性加权用户画像过滤（科室/执业地域）四、生成优化：领域适配与可控性模型选择：基座模型+领域SFT（如Huatuo/LawGPT），非从零训练 Prompt工程：强制引用格式[来源:指南名称/条款编号]，便于溯源生成后处理：幻觉检测：检索内容与生成的N-gram重叠度校验置信度分级：高置信直接回答/中置信建议复核/低置信拒答五、安全合规体系维度机制权限隔离 RBAC：实习医生/主治/主任可见范围分级内容安全诊断建议必须含…

#字节#垂直领域RAG#垂直领域 RAG 完整架构

面试题·RAG· 小红书

RAG 检索噪声怎么处理?

匹配正文：…：让模型输出引用来源并给出相关性评分，低置信度时主动降权或拒绝回答反事实训练（Counterfactual Training）：SFT阶段注入噪声文档，训练模型学会"忽略干扰" 检索-生成联合优化：如Self-RAG、Corrective RAG，让模型自主判断是否需要检索、是否信任检索结果三、小红书场景的特别考量 UGC内容噪声类型更复杂（标题党、软广、过时笔记），建议：引入时效性过滤和作者权威性评分对"种草"类查询，优先召回高互动且非商业推广的笔记学习建议建议…

#小红书#检索噪声过滤#RAG 噪声处理

面试题·RAG· 字节

豆包等产品多轮一致性挑战与方案?

匹配正文：…表（DST）结构化跟踪实体、意图、约束条件检索增强 RAG检索历史相关片段动态召回相关上下文，非线性依赖训练优化多轮对话SFT + RLHF 针对性优化连贯性和一致性具体实现要点：摘要压缩：用轻量模型实时生成轮次摘要，替代原始历史一致性约束：在prompt中注入"系统指令"和"已确认事实"列表显式验证：关键决策前让模型自检"是否与之前回答冲突" 学习建议建议系统学习该知识点

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#多轮对话一致性#大模型多轮对话

面试题·RAG· 美团

外挂数据库怎么提升大模型准确性?

匹配正文：…势时效性：分钟级数据可见，解决大模型知识截止问题准确性：数据分布漂移时，检索结果自动跟随变化，无需重训模型成本可控：避免频繁SFT，用检索成本替换训练成本美团场景的特殊考量外卖/配送业务中，商户状态、运力、价格实时变化：索引需支持高并发写入（高峰订单量）检索需考虑地理位置作为硬过滤条件冷启动问题：新商户用结构化字段兜底，逐步积累向量学习建议掌握RAG基本架构，理解动态数据与模型结合的挑战，学习外挂数据库的检索与更新机制。

#美团#外挂数据库增强#外挂数据库

面试题·RAG· 淘天

偏好数据如何收集与建模?

匹配正文：…好：当前会话意图漂移检测（用KL散度监控话题转移）群体先验：相似用户簇的偏好作为冷启动回退三、训练优化流程阶段目标方法 SFT 基础对话能力高质量客服对话数据，加入<用户画像>特殊token 偏好数据对齐用户目标同一用户画像/对话上下文下比较回复A/B，治理曝光偏差与反馈噪声优化选型比较质量与成本 DPO直接用偏好对训练，不另训显式RM；若选PPO式RLHF，再训练奖励模型并处理在线采样、价值估计与KL约束电商特化技巧：若使用在线奖励，可比较商业指标与…

#淘天#用户偏好建模#偏好感知对话系统

面试题·RAG· 字节

大模型输出怎么检测和过滤?

匹配正文：…afetyError: result = human_review_queue() # 人工审核五、反馈闭环收集异常样本，用于SFT数据或Prompt优化建立输出质量监控看板，追踪格式错误率、过滤拦截率

#字节#大模型输出过滤#大模型输出检测

面试题·RAG· 百度

RAG 技术原理与核心组件详解

匹配正文：…→ 后处理（溯源/拒答）核心优势维度说明时效性知识库实时更新，无需重新训练可解释性答案可溯源到具体文档成本比全量SFT低几个数量级领域适配快速接入私有/专业文档关键挑战检索精度：语义Gap导致"找不准"，需迭代优化Embedding和切分策略上下文窗口：多文档拼接易超长度，需压缩或筛选关键片段多跳推理：复杂问题需跨文档关联，简单RAG难以处理（需GraphRAG）噪声干扰：检索到相关但误导性的内容，导致生成错误实际落地中，RAG的瓶颈往往在检…

#百度#RAG核心组件#RAG 技术原理

面试题·RAG

RAG 检索准但回答差怎么调?

匹配正文：…约束模型"优先基于文档回答，不确定则拒绝" 3. 生成阶段问题模型本身指令遵循能力不足温度参数过高导致幻觉未针对RAG场景做SFT对齐系统性调优策略层级具体措施检索后处理重排序（Rerank）优化文档顺序；冲突检测与摘要融合；上下文压缩（如LLMLingua）提示优化添加"基于以下文档回答"前缀；明确引用格式要求；设置拒绝回答的兜底策略模型层面 RAG专用SFT数据训练；调整temperature/top-p；尝试更大的上下文窗口模型系统架构引入Se…

#上下文组织#生成质量调优#RAG 生成质量差

面试题·RAG

LLM 封闭标签方法对比

匹配正文：…点：文法编译和掩码计算可能增加开销；支持结构化输出的引擎通常可直接配置，无需自行修改源码，接口以所用版本为准。 4. 分类头微调（SFT/LoRA）做法：加线性层映射到标签空间，改为传统分类任务优点：分类头的输出索引天然落在预定义类别内；是否更快取决于编码器、序列与部署配置。缺点：需要标签数据与训练；该分类接口不负责通用生成，基座是否保留或受影响取决于冻结/微调方式，并非加头必然抹去通用能力。选型建议场景推荐方案快速验证/原型提示工程 + 解析生产环境、模型…

#封闭集合分类#约束解码#LLM 封闭标签方法对比

面试题·检索· 字节

医疗法律 RAG 架构关键环节

匹配正文：… 三、生成器优化领域适配基座模型选择：7B/13B专业模型（如Huatuo-LLM、ChatLaw）或通用模型+LoRA微调 SFT数据构建：Query-Context-Answer三元组，强调引用溯源（"根据《XX法》第X条..."）生成约束 Prompt模板强制要求：① 不确定性声明 ② 引用来源标注 ③ 拒绝回答机制（超范围问题）解码参数：降低temperature（0.3-0.5），使用重复惩罚避免循环生成四、关键保障机制机制实现幻觉检测检索内容与生…

#字节#领域RAG架构#专业领域 RAG

面试题·检索· 字节

RAG 系统怎么持续迭代?

匹配正文：…提取，避免超长context稀释注意力引用生成：强制模型输出引用标记，便于溯源和事实校验领域微调：用高质量RAG数据对基座模型SFT，提升利用检索信息的能力四、评估与迭代闭环离线评估检索：Recall@K、MRR 端到端：Answer Correctness（用GPT-4判题）、Faithfulness（幻觉检测）在线评估用户满意度、点击率、人工标注bad case回流关键：建立可量化的业务指标（如客服场景的问题解决率）五、工程架构要点模块化设计：检索、重…

#字节#RAG评估闭环#RAG 系统优化

面试题·检索· 小红书

RAG 局限性怎么破?

匹配正文：…t循环（检索→推理→再检索），动态决策检索时机与工具 RAG + Fine-tuning：领域embedding微调 + 生成模型SFT，打通语义空间关键权衡：RAG并非万能，与Fine-tuning是互补关系——RAG解决"知识更新"，Fine-tuning解决"知识内化"；复杂推理场景需走向Agent化，而非堆砌检索次数。

#小红书#RAG局限性#RAG 局限性

面经·项目面试

训练集没有重复句子，也要检查问题族

匹配正文：…哪种重叠值得保留，哪种会让结论失真。原代码按号码分配，没有读取家族这份本地训练代码包含两个数据构造器，可以作为一个具体观察点。SFT构造器先按清单中的ID排序，再从0开始枚举，序号能被val_every整除的记录进入验证，其余进入训练。默认间隔是10，因此第0、10、20条进入验证。 GRPO构造器采用同样的排序与取模规则。两者生成的数据用途不同，但决定train或val的这一步，都没有根据问题族或来源组进行判断。后续保存主题、难度或来源文件，不会反过来改变前面已经作出的…

#训练数据#问题族#数据切分

面经·项目面试

工具返回要读，却不该替模型领训练信号：Agent 的 Mask 怎么接？

匹配正文：…和响应一样长，也都只有零和一，直接替换不会必然报尺寸错误。要检查它们每一位的含义，以及训练函数最后收到的是哪一份。同样，不要把 SFT 里处理标签的写法原封不动搬过来。当前这条路径传的是策略更新使用的响应 Mask，需要沿 Agent 采样与损失入口核对。名称相似的字段，只有找到实际消费位置，才能确认它在控制什么。有效位与来源标记共同决定参与位置，工具与空占位分别处理用三段固定编号，拆开两种错误接法这条链路可以先做一个小检查，不加载模型权重。为了固定位置，把模型查询、…

#Agent#强化学习#工具调用

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配口述回答：… rollout，而是利用策略与冻结参考策略的对数概率比，直接优化 chosen 相对 rejected 的偏好。工程链路更接近 SFT，适合已有高质量离线偏好数据的场景。但它仍受 beta、标签噪声、长度偏差、参考模型和分布覆盖影响，不能用一句“长文本下 BT 假设自然失效”概括效果。 GRPO 则对同一个 prompt 采样一组回答，分别得到奖励，再用组内均值和方差把每条回答转换为相对 advantage。高于组平均的样本被鼓励，低于平均的被抑制，然后使用类似 PPO 的…

#RLHF#PPO#DPO

面试题·模型训练· 商汤科技

Focal Loss 公式与作用机制

匹配追问：Focal Loss的γ过大会有什么副作用？与OHEM等难例挖掘方法相比有何优劣？在大模型SFT中是否可以直接套用Focal Loss，需要注意什么？场景切入假设现在训练一个类别不平衡的分类器，大量样本已经容易判对，少量难例对业务更关键。你会怎样判断是否采用 Focal Loss，而不是直接认定交叉熵失效？层层追问先写交叉熵基线……Focal Loss 中 p_t、alpha_t、gamma 分别是什么？……它怎样降低易样本贡献？……错标难例会带来什么风险？……还要和…

#Focal Loss#类别不平衡#损失函数设计

面试题·模型训练· 阿里

模型收敛必须用验证集吗？

匹配追问：如果验证集本身很小或与训练集分布不一致，如何设计监控策略？在大模型SFT中，当数据量有限时，如何权衡验证集划分比例？能否用训练集上的梯度范数或损失曲率来判断收敛而非泛化？场景切入假设你在做电商客服模型，训练集上loss一直在降，但上线后用户反馈变差了。你光看训练集损失，能判断模型收敛了吗？会不会有什么坑？层层追问你平时怎么判断模型训练到位了？……只看训练loss行不行？……那如果过拟合了，训练loss能看出来吗？……所以验证集到底是不是必须的？直球架构判断深度…

#过拟合#早停策略#模型泛化

面试题·RLHF与对齐· 美团

模拟器与 World Model 的偏差和迁移

匹配口述回答：… reward，再用它生成 imagined rollout 或做规划，才进入典型 model-based 范畴。环境反馈比静态 SFT 更接近任务结果，可以训练何时调用工具、失败后如何恢复和如何优化长程目标，也能生成当前策略真正会遇到的数据。代价是环境执行慢、状态不可完全观察、奖励可能不覆盖真实目标，策略还可能找到模拟器漏洞。现实系统中的权限和不可逆动作更需要沙箱、预算与人工审批。【完整展开】环境类型决定偏差来源。真实环境保真度高，但昂贵、危险且不可完全复现；规则模拟器…

#环境模拟训练#世界模型#Model-based RL

面试题·RLHF与对齐· 网易

Reward Model 训练流程详解

匹配口述回答：…注指南，让多个候选回答在帮助性、正确性、安全和风格等维度比较，保留 chosen、rejected、平局、分歧和来源。RM 常从 SFT 模型初始化，在最后有效 token 或序列表示上产生一个标量。对一对回答，可最小化负对数 sigmoid 的分数差，让 chosen 分数大于 rejected。训练要按 prompt 切分，避免同题改写泄漏，并检查不同长度、语言、领域与安全类别。分数的零点和尺度由模型与数据决定，不能把 3.2 解释为跨系统绝对质量。Elo 汇总模型之间的…

#奖励模型#RLHF#偏好学习

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 适用场景?

匹配口述回答：…励写成策略相对参考策略的对数概率比，最后得到分类形式的损失。因此它不需要单独训练奖励模型，也不做在线rollout，工程链路更接近SFT。但仍要维护参考模型或预计算参考对数概率。 DPO也不是没有超参和稳定性问题。beta控制相对参考策略的偏离强度；偏好标注噪声、chosen和rejected长度差、参考模型选择、覆盖范围不足都会影响结果。它优化神经网络参数仍是非凸问题。离线偏好对没覆盖到的区域，也不会因为损失形式简单就自动学好。 GRPO和PPO一样通常需要在线生成。它对同…

#RLHF#PPO#DPO

面试题·多模态· 得物

多模态大模型怎么理解？

匹配追问：多模态模型中的模态对齐具体是怎么做的，有哪些技术难点如何看待原生多模态（如GPT-4o）和拼接式架构的优劣对比多模态SFT中数据配比和纯文本能力的保持有什么经验场景切入假设你在做电商客服助手，用户上传了一张商品截图，又发了段文字说“帮我找类似款”。模型怎么同时理解图片和文字？你讲讲多模态大模型在这类场景下是怎么把两种信息融合起来的。层层追问多模态大模型你了解吗？……它和普通LLM最核心的区别是什么？……那具体怎么把图像信息对齐到文本空间里呢？……训练时数据怎么组织…

#多模态融合#视觉语言模型#对比学习

面试题·模型训练· 字节

CPT 后灾难性遗忘怎么防?

匹配追问：CPT与SFT在遗忘问题上有何本质区别有哪些缓解灾难性遗忘的具体技术方案如何设计实验来量化评估遗忘程度场景切入假设我们刚用医疗数据对模型做了一轮CPT，上线后发现它突然“不会说人话了”，比如问它“帮我查一下订单状态”，它回了一堆医学术语。你觉得这是怎么回事？层层追问 CPT之后模型通用能力下降，你觉得可能是什么原因？……那数据分布差异具体会怎么影响？……如果现在要你评估风险，你会从哪些方面去考虑？直球架构请分析连续预训练后模型出现灾难性遗忘的成因，以及在实际应用…

#连续预训练#灾难性遗忘#知识保留

面试题·模型训练· 字节

CPT数据清洗与时间序列一致性

匹配追问：CPT中如何平衡新数据与旧数据的比例，避免灾难性遗忘如何处理不同来源数据的时间戳不一致问题 CPT与SFT的数据质量要求有何本质区别场景切入假设你现在要给一个新闻App做CPT，每天都有大量新文章涌入，同时你还要保持模型对旧知识的记忆。你打算怎么设计数据处理的流程，确保新数据不会污染之前学到的知识？层层追问 CPT的数据你是怎么准备的？……数据来源有哪些？怎么保证质量？……如果不同来源的数据格式不一样怎么办？……那时间上怎么处理，会不会让模型学到未来信息？直球架构 …

#CPT#数据工程#数据清洗

面试题·Agent· 得物

Agent 大模型优化三方向

匹配口述回答：…任务才走大模型。其实还有一个更前沿的方向，就是让模型在训练时就学会规划，比如用[[Tree-of-Thoughts]]数据做[[SFT]]，但这对数据质量和计算资源要求很高，落地时我会先评估收益是否值得。所以我的结论是，基础模型为Agent优化不是堆功能，而是在结构化、工具感知、课程训练和标准化输出之间做取舍。我更倾向先做好格式标准化和工具感知，再逐步引入强化学习，而不是一上来就端到端训练。一句话定位：基础模型如何为Agent定制架构优化：结构化输出与工具感知训练目…

#得物#Agent#Agent 大模型优化