匹配正文：…) 一次构造 x_t，让网络预测噪声、score 或等价参数；不是每个训练样本顺序跑完一千步。 Flow Matching 在连续归一化流 ODE dx_t/dt=v_t(x_t) 下，预先选择从基分布到数据分布的概率路径，并回归该路径的条件向量场。它可选择 diffusion conditional path，也可选择 OT displacement path 等，不等于只学习直线。训练与采样 DDPM 训练通常是随机时间步的 Monte Carlo 估计；经典祖先采样按…

#扩散模型#流匹配#生成模型

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：…单独处理。 PPO 和 GRPO 的基线从哪来二、组内相对优势到底怎么算？请详细说明 GRPO 中群体相对优势的具体计算方法，归一化操作在其中扮演什么角色？（百度）这题很多人直接背公式：reward 减均值，除以标准差。面试官要的是你手里有一组真实的数。我用破损退款那条工单举例，同一个 prompt 采了 4 条轨迹，Verifier 给的分是 0.92、0.31、0.68、0.14。组内均值 0.5125，标准差 0.2980。四条轨迹的优势算出来是 +1.367…

#Agentic RL#GRPO#PPO

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配正文：…务成功率。组内总奖励相同，是否就完全没有梯度？在结果监督的 GRPO 中，同一问题的一组回答先减去组内奖励均值，再按组内标准差归一化。标准差为 0 时，原式会成为 0/0；工程实现需用 epsilon 等数值保护或显式处理该组，不能直接除零。所有回答的总 reward 相同，奖励产生的相对优势为 0；若目标仍保留 KL 正则，它仍可能约束策略与参考分布的偏离，因此不能断言完整 loss 或梯度必为 0。只看正确性奖励相同，也不能推出包含格式、长度等分量的总奖励相同。动态…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RLHF#PPO#DPO

项目实战·RAG

第 5 章:检索召回,混合检索(BM25 + 向量)

匹配正文：…量检索 + 关键词检索一起上 ✓ 理解 BM25 相比 TF-IDF 强在哪(词频饱和、文档长度归一) ✓ 学会两套分数怎么融合:归一化、加权、RRF ✓ 理解"动态权重":不同查询信任不同的那条腿 ✓ 知道高效召回的三个旋钮:候选池 N、top-k、元数据过滤本章按三段式组织,不同基础的读者各取所需: 段落给谁看内容占比 🚀 Part 1 · 主线实战零基础,想先跑起来概念白话 + 纯 Python BM25 ~50% 🎯 Part 2 · 面试深度想讲透…

#RAG#检索#项目实战

面试题·Agent

Deep Research 并行任务怎么拆，依赖、尾延迟和综合成本怎样控制？

匹配正文：…个外部服务。第四步，各研究单元独立执行，并按统一 Schema 返回主张、证据、冲突、缺口、执行状态和可审计动作摘要。第五步，归一化层统一实体、版本、时间、单位和来源 ID，识别重复 URL 与同源转载。第六步，综合器按主张聚合支持、反对和待验证证据，保留无法对齐的冲突。第七步，根据缺口决定补充研究、局部重跑或生成部分完成报告。第八步，发布前逐主张核验引用与限定条件，再生成统一报告。 Research-Synthesis 从规划到报告的执行流程并行只发生在无依赖研…

#Deep Research#执行框架与长任务#Deep Research 并行任务拆分

面试题·Agent

Search 超时、Visit 受限、Python 报错时，Deep Research 怎样继续而不乱答？

匹配正文：…已知页面；但不能因为 Search 不可用就随便猜 URL。备用搜索源返回的字段和排序可能不同，结果进入统一 Schema 前要归一化。切换来源后还要在 Trace 标明，方便评估降级路径是否降低证据质量。若任务要求最新、多源或完整检索，而当前只有一条旧缓存，系统应明确能力不足。不能为了保持“回答率”而悄悄降低来源要求。 Visit 失败要先分清“页面问题”和“抽取问题” 页面不存在时，查看是否有官方迁移、重定向或新版本入口。访问受限时，不能绕过登录、付费、机器人规则或…

#Deep Research#研究工具与稳定性#Deep Research 工具故障恢复

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…向量信号乘向量权重”。这只是表达组合关系，不能据此假设两个原始分数已经天然可比。配置融合前，可以先观察两路分数的范围和分布，再选择归一化与权重。若一边的数值跨度远大于另一边，表面上各占一半，排序时仍可能长期由其中一路主导。验证权重时，可以同时查看关键词分数、语义分数和综合分数。若关键词分数有明显差异，综合分数却几乎只跟语义分数同步，就要检查融合配置是否让文本信号失去了作用；反过来也一样。权重不是页面上的装饰参数，它应当能在候选排序变化中被观察到。 BM25 与向量分数不能直…

#RAG#检索与重排#RAG 混合检索

面试题·Agent

简单问答怎样升级成真正需要多步研究的问题，又不把题目编坏？

匹配正文：…整。复杂度应该怎样量化？必要证据单元数量反映要核验多少独立信息。推理跳数反映结论依赖多少前序结果。对象与维度数量反映比较和归一化工作。来源冲突与时效要求增加验证难度。工具类型和必要步骤反映执行复杂度。动态规划程度检查中间结果是否可能改变后续动作。答案开放度与风险决定评分和人工复核要求。这些维度可以组成标签或分层，不必压成一个绝对分数。两个总分相同的问题，可能一个难在证据冲突，一个难在长工具链，训练价值不同。复杂 QA 质量与难度评估矩阵难度、可回答性、证…

#Deep Research#数据构造与训练#Deep Research 复杂问答

面试题·RAG

Embedding 和 Rerank 模型怎么选？什么时候值得领域微调？

匹配正文：…模型保留主要收益；如果仍超预算，就不应因为榜单或单一离线指标强行上线。模型升级还会改变索引与分数语义。Embedding 维度、归一化方式或分词器变化时，旧向量通常不能与新查询向量混用；Rerank 版本变化也可能让原阈值失效。因此我会把模型、索引、阈值和评测报告绑定成一个发布版本，先建立新索引并做影子查询，再切换读流量。回滚时恢复整套版本，避免出现“模型回去了，索引没回去”的隐性错误。影子验证还要同时记录新旧模型各自未召回与误排的样本，而不是只比较平均分。若新模型只改善…

#RAG#检索与重排#Embedding 模型选型

面试题·RAG

RAG 检索效果差怎么排查？从 Query 到 Rerank 逐层定位

匹配正文：…入下一层。第五层，融合为什么把正确证据压下去了？关键词分数与向量相似度不是同一把尺子。如果使用加权求和，需要确认两路分数怎样归一化、权重如何设置，以及某一路是否因为数值范围更大长期主导排序。如果使用基于名次的融合，也要查看正确证据在各路的原始名次。两路都排得很后，融合不会自动变成第一。合并去重也可能出错。同一 Chunk 由两路召回时，应按稳定 ID 合并，同时保留召回通道。如果去重键不稳定，一段内容可能以两个候选出现；如果只保留一路记录，又可能丢掉有价值的分数与…

#RAG#生成与对话#RAG 检索优化

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…。整组优势加起来接近零，更新强调相对排序。除以标准差用于调整尺度。若一组 reward 差异很大，原始差值也会很大；若差异很小，归一化后仍能表达相对位置。但标准差接近零时要小心。若候选全都同分，分母只剩防除零的小量，实质上没有可靠排序信号。实现不应把微小数值噪声放大成巨大更新。常见做法是识别全对、全错或低方差组，过滤、降低权重或重新采样。训练材料把这类思路称为动态采样：只保留有区分度的组。阈值和处理方式依赖 reward 精度与任务，文章不提供未经验证的统一数字。 …

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·Agent

Agent 能执行 Python 代码，怎样设计 Code Interpreter 沙箱才不会伤到宿主机

匹配正文：…免代码写满磁盘或创建大量小文件。上传文件先检查大小、类型和压缩包结构，防止路径穿越、压缩炸弹和伪造扩展名。解压在隔离环境中完成，归一化路径后仍要求目标位于任务目录。工件输出使用单独目录和白名单类型。服务端通过受控接口读取，不让代码指定任意宿主目标路径。任务完成后销毁执行环境，并验证临时卷、缓存和中间文件不被下一任务复用。若需要持久化图表或结果文件，只复制明确的工件，不保存整个文件系统快照。工件带所有者、租户、内容哈希、类型和保留时间。网络为什么默认关闭开放网络会带来…

#Agent#工具调用与安全#Agent 代码解释器沙箱

面试题·模型训练· 高德

参数量增长如何影响模型能力?

匹配正文：…关系，并指出大模型有较高样本效率。它不说明参数越大就可在同样少的数据上无限变好，更不说明优化地形变成凸函数。训练稳定性仍受初始化、归一化、学习率、batch和并行策略影响。 Chinchilla重新研究固定算力下参数和token分配，结论是在其实验范围里模型规模与训练token应大致同比扩展。70B Chinchilla训练约1.4T token，常被概括为约20 token每参数，但这是特定模型族与预算下的经验点，后续数据质量、重复训练、推理成本和架构都会改变最优比率。泛化…

#缩放定律#过参数化#双下降现象

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配正文：…误差；learning rate反映优化器给更新设置的时间尺度；gradient norm描述梯度整体大小，但会受到参数规模、损失归一化、混合精度和分布式聚合方式影响。 loss平稳下降通常说明优化在推进，突然尖峰可能来自异常batch、数据长度变化、学习率过大、精度溢出或恢复状态错误。持续上升也可能是数据配比切换或目标定义变化。过早变平则可能是学习率太小、可训练模块不足、数据重复、模型容量受限，或任务已经接近当前配置上限。 gradient norm不要求单调下降。训练中数…

#训练监控#学习率调度#梯度裁剪

面试题·RLHF与对齐· 美团

稀疏与延迟奖励的塑形与权衡

匹配正文：…不等于奖励模型把偏好自动蒸馏成每步即时正确奖励。若有可验证中间状态，可以设计过程奖励，但需单独标注或校验其因果有效性。多目标可用归一化加权、约束优化、词典序优先级或 Pareto 分析。安全、权限和预算常适合硬约束，而有用性、简洁度可作为软目标。最终要在独立任务和对抗样本上检查 reward hacking、长度偏好、代理目标偏移、过度优化与分布外行为，并监控真实任务成功而不只看训练 reward。图解稀疏与延迟奖励的塑形与权衡图解

#奖励塑形#稀疏奖励#多目标优化

面试题·模型训练· 得物

LoRA 有哪些局限性?

匹配正文：…用低秩更新，目标是改善LoRA的学习能力。原论文报告了多项实验优势，但这不等于同参数量、同任务和所有rank下都必胜。实现还要考虑归一化、额外幅度参数、合并和训练成本。 LoRA加Adapter等混合方案增加自由度，也增加搜索空间、状态管理和部署复杂度，不能直接称为性能上限更高。多任务或持续学习还要看适配器隔离、共享和遗忘，而不是只比单个任务峰值。我的对照会固定基础模型、数据、token预算、优化器和评测，给每种方法明确可训练参数、target位置、峰值显存、吞吐和合并方式…

#LoRA#参数高效微调#Adapter

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配正文：…nt；若缓慢下降但验证任务停滞，可能是目标与业务指标不一致。梯度范数适合做异常诊断，但没有跨模型通用的正常绝对值。它受参数规模、归一化、损失缩放和分布式聚合影响。更有意义的是与同配置历史run比较，查看非有限值、持续突变、各层梯度分布和参数更新相对权重的大小。gradient clipping是稳定手段，裁剪阈值也应通过基线与日志标定。验证侧要选择与任务相符的指标。语言建模可看验证loss或PPL，SFT还要看指令遵循、格式、事实性、拒答和多轮一致性；自动指标不足时加入固…

#模型收敛#损失曲线#早停策略

面试题·RLHF与对齐· 字节

PPO vs GRPO 怎么选?

匹配正文：…确性奖励，token 级更新只是把同一优势传播到采样序列的对数概率项，具体步骤是否正确仍需步骤标签、可执行验证或更细粒度奖励。组内归一化能消除同一提示下的共同平移并形成相对基线，但无法抵消奖励模型对某类答案的系统误判，也不能保证奖励和真实质量一致。工程验证比较时要固定基座、提示、生成长度、采样温度、rollout token 预算和奖励器。报告任务准确率、pass@k、独立人工或验证器分数、KL、熵、响应长度、组内奖励方差、显存和每步吞吐。PPO还要看 critic 误差…

#PPO#GRPO#RLHF

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…“有组”而是序列级 importance sampling 与裁剪。落地要锁定论文或实现版本，检查 rollout 策略、序列长度归一化、组大小、奖励尺度、clip 范围、熵和 off-policy 程度；若配置了 reference/KL 正则，再监控对应 KL，并用独立任务评测确认稳定性。

#GSPO#策略优化#离线强化学习

面试题·模型训练· 美团

图像数据超参数怎么调?

匹配正文：… 分辨率要匹配任务所需细节。分类可能用随机裁剪和多尺度，检测、OCR或小目标任务要谨慎裁掉关键区域。batch变化会影响优化噪声和归一化层，学习率线性缩放只是一条经验起点，需要warmup和验证集曲线确认。类别不平衡时，重采样改变样本出现频率，类权重改变损失贡献，Focal Loss通过降低易样本权重聚焦难例。三者都可能改变梯度统计，但没有从损失名称到学习率方向的普遍定律。增强必须尊重标签语义。CLIP原论文说明训练时只使用从resize后图像取随机方形crop这一种增强，…

#多模态训练#超参数调优#图像数据特性

面试题·多模态· 百度

高噪 vs 低噪专家怎么划分?

匹配正文：…_t。因此 alpha_bar_t是累计信号保留系数，不应叫“累积噪声方差”。专家可按以下信号划分：时间步t：实现简单，但相同归一化t在不同schedule下未必代表相同SNR。 sigma或log-SNR：更直接描述当前噪声状态，便于跨schedule比较。可学习路由：把时间编码与共享内容特征送入gate，输出软权重或top-k专家；不是所有扩散MoE都必须确定性路由。阈值没有通用的 0.7T/0.3T。可以先按log-SNR分桶或按训练样本量分位数建立基线，再用验…

#扩散模型#MoE#噪声调度

面试题·推理优化· 美团

可视化怎么诊断训练问题?

匹配正文：…，如学习率乘梯度范数再除参数范数，并观察多个 step 的中位数、分位数和方向稳定性。梯度接近零可能由冻结、mask、断图、饱和、归一化或任务本身造成；梯度爆炸看非有限值、尖峰与 loss 同步变化。激活分布可发现饱和、死区、异常均值方差和层间漂移。调参采用单变量或小规模设计实验。过拟合可评估数据、weight decay、dropout、早停和模型容量；平台期可检查学习率计划、batch 和数据；不稳定可降低学习率、修数值问题或使用梯度裁剪。clip_grad_norm_…

#训练可视化#过拟合诊断#梯度消失/爆炸

面试题·多模态· 得物

多模态异构数据怎么统一存储?

匹配正文：…容哈希和版本；对象存储保存大文件，元数据与片段关系进入目录或关系库。特征层为每种encoder记录model ID、版本、维度、归一化和生成时间。Whisper音频表示、CLIP图文embedding与BERT文本embedding并不天然处于同一空间，不能直接用余弦距离混排。若要共享空间，需要配对数据、对比目标或可训练projector/adapter。合理做法是冻结基座encoder并训练projector，而不是把projector也冻结后声称正在对齐。索引层有两种…

#多模态融合#特征对齐#向量数据库

面试题·模型训练· 字节

数据难度分层怎么验证?

匹配正文：…kpoint的成功率、margin、重复采样方差与所需token数，避免单模型偏见。长度、PPL和loss可以作为特征，却要做长度归一化并剔除坏样本。分层最好输出连续分数和置信区间，再按业务需要切桶，而不是假装边界天然存在。课程学习是否有效是实验问题。Bengio等人的工作提出从易到难可改善优化的假设，但后续研究显示在标准基准上随机顺序常可达到相当甚至更好结果，收益更可能出现在训练预算受限或数据有噪声等条件下。因此不能要求课程一定显著优于随机，也不能把最终不低于基线当作定义…

#数据难度分层#数据质量评估#课程学习