匹配正文：…acher 轨迹当目标。Teacher 的路径未必唯一最优，也可能包含无必要搜索和固定套路。若只做模仿，模型上限受示范分布限制。强化学习则允许模型在环境中生成不同候选，通过奖励比较任务完成、格式、证据与过程。但直接让一个连工具格式都不会的基座做 RL，采样可能几乎都无法执行，组内也缺少有效差异。多阶段设计就是把“建立偏置”“学会规矩”“优化策略”拆开，让每一层拥有更匹配的训练信号。单次 SFT 与多阶段训练的能力差别 SFT 负责建立可执行起点，环境策略优化解决示范之外…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配正文：可核验的论文阅读示例 Kimi k1.5讨论长上下文强化学习、partial rollout和long2short。其long2short不是单一蒸馏流程，论文列出model merging、shortest rejection sampling、DPO和long2short RL等多种路径。启发是把“答案正确”和“推理token效率”分别建模，并验证长度约束带来的质量变化。 InstructGPT通过示范SFT、偏好排序训练奖励模型，再用PPO优化策略。RLHF奖励反映标注…

#论文阅读#技术追踪#学术敏感度

面试题·评估· 字节

RAG 评测优化闭环

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：…优化检索-生成联合训练：如REPLUG、RA-DIT，让生成反馈指导检索学习端到端优化：用生成损失反向优化检索器（可微分搜索或强化学习）在线闭环：用户反馈（点赞/点踩）回流优化检索排序三、落地建议冷启动阶段：先固定生成模型，优化检索（见效快）数据积累后：引入RAGAS自动评估，建立A/B测试框架高阶阶段：针对业务bad case做专项优化（如表格理解、多文档聚合）学习建议建议系统学习该知识点

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 京东

RAG vs RLHF 幻觉治理

匹配题目：RAG（检索增强生成）和强化学习（如RLHF）在缓解大语言模型幻觉问题方面分别起到什么作用？它们的技术路径和优劣有何本质区别？

#京东#RAG 与 RLHF#RAG vs RLHF 幻觉治理

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：…加回归头损失函数：-log σ(r_θ(x,y_w) - r_θ(x,y_l)) 多任务扩展：多维度分数→加权求和或MoE结构强化学习：PPO（需KL散度约束防崩溃）或DPO（直接偏好优化，省去RM训练）个性化扩展用户画像embedding拼接到prompt LoRA适配器：不同用户群体/场景维护独立低秩矩阵三、评估体系维度指标方法偏好对齐胜率（Win Rate） GPT-4/人工盲评对话质量流畅度、多样性 perplexity、distinct-n …

#淘天#偏好感知对话系统#对话系统训练数据

面试题·评估· 同花顺

多Agent系统优化策略

匹配正文：…体冲突消解预定义优先级规则；或让冲突双方进入"谈判"子流程资源分配优化动态调度：根据Agent负载和任务紧急度，用启发式或强化学习做实时调度弹性伸缩：热点功能Agent水平扩容，冷功能缩容资源隔离：关键Agent预留资源配额，避免被挤占关键权衡通信-一致性-可用性的三角权衡，需按业务场景取舍。例如金融场景强一致性优先，推荐系统可用性优先。

#同花顺#Agent#多Agent系统优化

面试题·模型微调· 快手

Agent 系统怎么调优优化?

匹配正文：…: ..."的结构化数据训练，让模型学会推理和行动交替多轮对话数据：模拟真实场景的多轮交互，强化上下文理解和错误恢复能力 2. 强化学习优化结果奖励模型：以任务最终成败作为奖励信号，优化长期决策而非单步贪心过程奖励模型（PRM）：对中间推理步骤打分，解决稀疏奖励问题 DPO/RLHF：人类偏好标注"哪种工具选择更合理"，对齐复杂场景下的决策偏好 3. Prompt与系统层优化动态示例选择（Dynamic Few-shot）：根据用户意图检索相似的成功案例工具描述优化…

#快手#Agent#Agent 调优

面试题·知识图谱· 海尔

训练/推理/外部知识怎么选?

匹配正文：…知识范围的问题训练模型坦诚表示不确定 RLHF阶段奖励模型加入事实性维度，惩罚编造内容使用RAG或工具调用结果作为参考答案进行强化学习二、推理机制优化解码策略约束解码：强制要求关键事实必须来自输入上下文自我验证：生成后让模型自我检查"这个陈述是否有依据"，可迭代多轮多采样投票：多次采样取一致答案，降低随机性带来的幻觉推理时增强 Chain-of-Thought：显式推理过程便于追溯错误来源动态置信度估计：输出时附带不确定性分数，低置信度触发人工审核三、外部…

#海尔#外部知识集成#大模型幻觉

面试题·多模态· 美团

AI Agent 自主智能体实现陷阱

匹配正文：…调度）商家智能运营的"参谋"角色（数据洞察→行动建议→自动执行）技术路径：先"人在回路"积累数据，再逐步放开自主权，用模拟器+强化学习训练决策策略，而非纯LLM方案。

#美团#Agent#AI Agent 发展路径

面试题·Prompt· 字节

Agent 能力怎么系统提升?

匹配正文：…程需可解释、可干预，保留人类接管接口四、学习方式：从静态训练到持续进化学习类型实现路径模仿学习收集专家轨迹，行为克隆+逆强化学习环境反馈在线RL（PPO/GRPO），奖励模型需精细设计避免奖励黑客社会学习多Agent交互、观察其他Agent策略世界模型构建内部环境模拟器，支持想象与规划核心挑战：灾难性遗忘与分布外泛化的平衡，需结合正则化与记忆回放五、系统性整合示例用户请求 → 意图理解 → 任务分解 → [工具检索/选择 → 执行 → 观察]循环 …

#字节#百度#评估与监控

面试题·Prompt· 网易

无标注时怎么训练 CoT?

匹配正文：…有答案标签时，可以先建立直接分类基线，再研究经过验证的推理生成或压缩方案。答对不证明中间步骤全对，仍需抽检推理和独立测试。 2. 强化学习约束长度控制：在线RL可在可验证正确性奖励之外加入长度成本，并同时检查准确率。标准DPO没有外置reward调用；可把正确性与简洁性用于构造chosen/rejected偏好对，或明确使用另一种改进目标。 KL散度约束：限制推理分布与简洁先验的偏离，避免过度展开 Outcome-only RL：只有终局正确性奖励时，模型不必然学出最短或逐…

#网易#Agent#Chain-of-Thought 训练

面试题·RAG· 百度

对话模型准确性怎么提?

匹配正文：… 对齐训练 DPO 与 GRPO 分开理解：DPO 用偏好对直接优化策略，无需另训显式奖励模型；GRPO 是基于组内奖励计算优势的强化学习方法，省去的是 critic/value 模型，奖励仍需来自奖励模型或可验证规则。二者都不会自动保证事实准确性。事实性约束RL：在奖励函数中加入事实核查分数，惩罚幻觉输出三、推理优化层面解码策略 Self-Consistency：多路径采样投票，降低单路径采样误差 Chain-of-Verification：先生成答案→验证问题→修正…

#百度#对话模型准确性#模型架构优化

面试题·RAG· 哔哩哔哩

CTR/CVR/ROI 冲突怎么协调?

匹配正文：…案分层漏斗优化召回 → 粗排(CTR过滤) → 精排(CVR预估) → 出价层(ROI调控) 每层设置不同阈值，形成级联约束强化学习动态调控状态：当前时段预算消耗、各指标表现动作：调整出价系数或流量筛选阈值奖励：综合ROI + 完成率惩罚项流量分层运营高价值流量：激进ROI优化探索流量：保CTR/CVR，积累数据评估关键必须设计多维度A/B测试：不仅看指标均值，还要看分布（如ROI的方差）、广告主满意度、长期留存。避免单一指标优化导致生态恶化。学习建议…

#哔哩哔哩#CTR/CVR/ROI多目标#CTR CVR ROI 冲突

面试题·RAG· 淘天

现代 RAG 架构怎么变?

匹配正文：… 零梯度流动现代：检索编码器 + 生成器联合优化 - 挑战：检索的离散操作不可微 - 解法：Gumbel-Softmax近似、强化学习（REINFORCE）、或者像REALM那样预训练整个系统 4. 关键能力跃迁自适应检索：模型判断"我知道/不知道"，避免检索噪声多跳推理：检索-生成-再检索的迭代，如IRCoT 端到端可学习：从"用检索增强生成"变成"生成过程本身包含检索" 一句话总结：传统RAG是检索+生成两个系统的串联，现代RAG趋向检索与生成一体化的可学习系统。…

#淘天#RAG端到端训练#现代 RAG 架构

面试题·Agent· 得物

Agent 大模型优化三方向

匹配口述回答：…据教模型工具调用的格式，比如给一段工具描述，让模型输出正确的调用JSON。第三阶段才上真实环境，让模型端到端执行任务，用环境反馈做强化学习。这个阶段的reward要细化，不能只看最终任务完成率，还要看子目标达成、工具调用合法性、执行效率。举个例子，一个客服退款Agent，任务分解成“查订单状态-验证退款规则-发起退款”，每一步都要有reward，否则模型可能跳过验证直接退款，出风险。输出格式这块，我倾向于标准化。规划输出用子任务DAG，工具调用严格JSON，支持批量并行。执…

#得物#Agent#Agent 大模型优化

面试题·Agent· 字节

多 Agent 冲突怎么检测与协调?

匹配口述回答：…据冲突频率和严重程度动态切换级别。比如初期用协商，如果发现同一对Agent反复冲突，就自动升级到仲裁。这个动态切换的逻辑，其实是个强化学习问题，值得深入探讨。所以我的判断是，多Agent冲突解决，关键不是堆一堆技术，而是理解业务对一致性的要求到底有多高。我会把检测和协调做成可配置的模块，上线前用压力测试模拟各种冲突场景，确保召回率和延迟达标。否则，再花哨的方案也是纸上谈兵。一句话定位：多Agent冲突的本质是局部观测不一致加决策时序错位检测机制：从通信层到语义层到执行层…

#字节#Agent#多 Agent 冲突检测

面试题·Agent· 阿里

多 Agent 调度策略总览

匹配口述回答：…量减少广播，用局部通信代替，只跟相关Agent交换信息。这里有个我特别想提的点：去中心化调度里，如果Agent的决策模型是基于强化学习训练的，那在动态环境下很容易出现策略振荡，就是大家今天学到的策略明天就失效了。这个在工业界怎么解决？其实可以引入一个经验回放池，让Agent定期回顾历史数据，或者用联邦学习的思路做分布式策略更新。最后说说我的选型倾向。如果任务依赖复杂、规模小，我选中心化。如果要求高可用、规模弹性，我倾向去中心化或混合式。如果实时性要求高，我会用预分…

#阿里云#Agent#多 Agent 调度策略总览

面试题·Agent· 小红书

长序列怎么压缩与摘要?

匹配口述回答：…声记忆压缩：外部存储和注意力降复杂度分层建模：session到persona的抽象工程取舍：组合策略，关注风险约4分钟用强化学习让模型动态选择历史片段，而不是靠人工规则截断面试官可能会追问强化学习在推荐系统中的应用细节，比如奖励函数设计、训练稳定性等

#小红书#Agent#长序列压缩

面试题·Agent· 小红书

多智能体协同关键策略

匹配口述回答：…论融合。这里有个常见失败场景：如果只靠硬编码规则消解冲突，场景一变规则就失效，系统就僵了。所以上线我会特别注意动态调整策略，比如用强化学习让Agent学会在冲突时协商。最后说角色分工与共识。角色分工就是把智能体分成规划、执行、监控等不同角色，类似公司组织架构。共识算法，比如Paxos或Raft的变种，用于分布式一致性，但开销大，一般只在关键决策点用。实际中，我更倾向预定义社会规范和组织规则，比如规定“监控Agent发现异常时，执行Agent必须暂停并上报”，这样既简单又可靠…

#小红书#Agent#多智能体协同

面试题·Agent· 同花顺

多Agent系统设计原则有哪些?

匹配口述回答：…十个时，整个系统的收敛性会变差，这时候光靠规则调度就不够了，可能需要引入[[Tree-of-Thoughts]]做搜索剪枝，或者用强化学习动态编排。这个我还在摸索，但我觉得是生产环境必须面对的挑战。所以整体上，我更倾向于把多Agent设计看成先合理拆分认知负载，再通过机制设计保证系统收敛到正确解。上线前我会重点压测容错路径，确保单个Agent挂掉不会拖垮全局。本质：分而治之加协同治理角色划分要单干，别重叠协作模式看场景，常混用通信用黑板或消息，注意耦合容错和一致…

#同花顺#Agent#多Agent系统设计

面试题·评估· 字节

子任务价值怎么归因?

匹配口述回答：这道题问的是子任务对最终目标的影响评估，其实本质就是分层强化学习里的信用分配问题。子任务完成得好，不代表对最终目标有用，比如一个导航机器人绕远路到了目标点，中间每一步都走得稳，但效率很低。所以我会从三个角度来拆。先说奖励塑形。稀疏的最终奖励没法指导子任务学习，所以我们会设计塑形奖励。最经典的是势能奖励，基于子任务前后状态的价值差来给奖励，这样能保证最优策略不变性，不会把模型带偏。具体到业务里，比如代码[[Agent]]的场景，修复bug这个子任务，我们会把通过单元测试作为中…

#字节#百度#评估与监控

面试题·Prompt· 字节

Coding Agent 表现差怎么排查?

匹配口述回答：…。我一般会根据任务复杂度动态调整，简单任务两次，复杂任务三次，同时监控每次修正的代码变更量，如果越改越大就提前终止。这块其实可以跟强化学习里的early stopping结合起来做。所以整体上，我会把Agent调优看成诊断加归因加干预的闭环，先跑一批bad case看主要短板在哪，再针对性地补。模型不行就上RAG或微调，工具调用不行就加few-shot和自校验，反馈不行就结构化解析加次数限制，上下文不行就分层加动态检索。千万别同时改多个变量，不然效果烂了都不知道是谁的锅。 …

#字节#百度#Agent

面试题·RAG· OPPO

搜索排序权重怎么动态调?

匹配口述回答：…迟补偿机制，把未归因的转化缓存起来，等窗口关闭再统一更新。最后说我的取舍。我更倾向 FTRL 加简单探索的组合，而不是一上来就上强化学习。因为 RL 的延迟太大，对工程要求高，而 FTRL 在大部分场景下已经够用，加上 Bandit 探路，性价比最高。所以我会把在线学习看成持续迭代的工具，不是一次性的优化，上线后还要持续监控权重分布和业务指标。一句话定位：在线学习问题方案选型：FTRL、Bandit、深度模型，落地常混合关键实现：反馈信号、实时流、稳定性保障风险与前…

#OPPO#用户反馈排序#搜索排序权重动态调整

面试题·RAG· OPPO

排序模型初始权重怎么设?

匹配口述回答：…不是真的相关。所以离线评估时，我会用 NDCG 或者 MRR 去偏，线上用小流量A/B测试验证。其实还有一个更前沿的方向，就是用强化学习做权重动态调整，根据实时反馈让排序策略自适应。不过这个对数据量和工程要求都很高，一般业务场景先不用急着上。所以，我的核心观点是：初始权重不是拍一次就完事的，它是一个从人工到统计到模型的渐进过程，关键是快速验证、持续迭代。我会把人工先验看作 MVP，把模型学习看作终态，中间用统计和搜索做桥梁。一句话定位：多目标权衡的冷启动人工先验法快速…

#OPPO#排序初始权重#排序模型权重设定