匹配正文：先区分两种“专家” 1. 模型内部的稀疏MoE 在Agent使用的LLM内部，router按token选择少量FFN专家。它可以在总参数较大时控制每token激活FLOPs，但端到端收益还受all-to-all通信、负载不均、batch与硬件影响。专家是由训练目标共同学出的子网络，不保证自然对应“金融、代码、API”等人类可命名领域。对Agent的价值是：多轮规划、工具调用和反思会多次调用模型，若MoE后端在目标硬件上有更好的质量/成本曲线，总调用成本可能下降。但稀疏FLO…

#MoE#Agent#动态路由

面试题·推理优化· 美团

MoE 怎么增强 Agent 能力?

匹配正文：核心判断神经网络MoE和Agent路由可以借用“专家分工”这个类比，但不是同一种机制。稀疏MoE通常在token级由可训练路由器选择少数前馈专家，优势是每个token只激活部分参数以控制计算量。系统级Agent路由则在请求、步骤或工具级选择模型、检索器和执行器，关注权限、延迟、状态与失败恢复。不能把token路由的结论直接搬到Agent编排。机制与边界 Switch Transformer展示的是稀疏激活模型：总参数可以很大，但每个token只经过一个或少数专家，因此活跃…

#MoE架构#Agent系统设计#任务路由

面试题·多模态· 百度

MoE 专家网络怎么动态路由?

匹配正文：…线时按噪声桶比较质量、延迟和负载。高噪阶段更偏全局结构、低噪阶段更偏局部细节，是常见经验解释，不是对所有模型都成立的定理。图解 MoE 专家网络怎么动态路由?图解

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#扩散模型

#MoE

#噪声调度

项目实战·Agent

Memory & Transformer 基础

匹配正文：Transformer 基础(分词 / Embedding / MHA·GQA·MLA / MoE)+ 大模型 Memory 模块本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。补齐大模型底层硬功夫:Transformer 四大基础 + Agent 长程记忆面试被问「讲讲 GQA 和 MHA 的区别」「MoE 怎么路由」「Memory 模块怎么设计」时卡壳，往往不是不努力，而是底层基础没系统补过。这个项目把 Tra…

#项目实战#Memory & Transformer 基础

系统教程·模型基础

Transformer 与模型架构面试题大全

匹配标题与标签：…mer 与模型架构面试准备枢纽：Self-Attention、MHA/GQA/MQA、KV Cache、Decoder-only、MoE、推理优化与显存成本 70+ 道真题。模型基础专题学习 Transformer 与模型架构面试题大全

#专题学习#Transformer 与模型架构面试题大全

面试题·多模态· 百度

高噪 vs 低噪专家怎么划分?

匹配正文：…噪声状态，便于跨schedule比较。可学习路由：把时间编码与共享内容特征送入gate，输出软权重或top-k专家；不是所有扩散MoE都必须确定性路由。阈值没有通用的 0.7T/0.3T。可以先按log-SNR分桶或按训练样本量分位数建立基线，再用验证集选择边界；区间应连续覆盖定义域并写清t方向。动机与边界高噪区输入信号弱，模型常更依赖条件和全局结构；低噪区更接近数据，常需要恢复局部细节。这是划分专家的经验动机，不表示两个阶段必然是互相矛盾的任务。必须用相同参数/计算…

#扩散模型#MoE#噪声调度

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：… clipping、reward 和优化，使优化单元与序列级奖励更一致。论文报告它相较 GRPO 提升训练效率和性能，并明显稳定 MoE 模型的 RL 训练；这些是论文实验结论，不应扩展成所有模型、奖励与任务都必然更优。与 SFT 比较，SFT 对示范 token 做交叉熵，不经过环境奖励和策略比率；与 PPO 比较，PPO 通常使用 value/advantage 和裁剪目标，具体语言模型实现还可含 reference KL；与 GRPO 比较，GSPO 的核心不是“有组…

#GSPO#策略优化#离线强化学习

面试题·模型架构· 百度

AI 论文怎么读?核心思想+创新点

匹配正文：…PPO优化策略。RLHF奖励反映标注者对有用性、真实性、安全性等综合偏好，不应概括成只优化答案正确率。 DeepSeek-V3报告MoE、MLA、负载均衡和FP8混合精度训练。训练时FP8的格式、缩放、累积和通信方案不能直接等价为部署时权重量化；推理还需分别验证权重、激活、KV缓存精度、kernel支持和质量。面试回答应说清论文问题、方法、证据、局限和对自身工作的可执行启发；不复述未核验的榜单数字，也不把训练技巧自动迁移成推理结论。

#论文阅读#技术追踪#学术敏感度

面试题·RLHF与对齐· 美团

GSPO 序列级比率与裁剪

匹配正文：…采样、奖励和优化单元更一致，减少长序列中少数 token ratio 极端值对更新的放大。论文重点之一是提升训练稳定性，并服务于 MoE 模型的 RL 训练。与 GRPO 的关系和边界二者都可对同一问题的多条回答做组内相对基线，通常不需要独立 value critic；奖励可以来自规则、验证器或奖励模型，并不必然来自人类偏好。GSPO 仍需要在线/近在线 rollout、旧策略概率、奖励、KL/clip 等训练控制，也会受组大小、奖励噪声、序列长度和策略陈旧度影响。不能…

#策略优化#离线强化学习#监督学习结合RL

面试题·推理优化· 百度

视频生成加速有哪些方法?

匹配正文：…吞吐、峰值显存与通信占比评估。 KV cache只在架构存在可安全复用的K/V时成立，不是视频时序建模的通用替代。任何“某模型用了MoE/滑窗/因果attention”的说法都要绑定准确版本和论文；若公开材料不支持，就不作断言。

#视频生成#扩散模型加速#时序建模优化

面试题·Agent· 美团

多智能体系统核心技术难点

匹配正文：…性能提升原理并行化吞吐：多智能体同时处理子任务，突破单智能体串行瓶颈专业化分工：每个智能体专注窄领域，降低单模型复杂度（类似 Mixture of Experts 的系统级实现）信息增益：多视角观测融合减少不确定性，如骑手位置+商家出餐时间+路况的联合推断容错冗余：单点故障不影响全局，系统 graceful degradation 关键指标：不仅是任务成功率，更要看协作效率比——即多智能体方案相比单智能体+更多计算资源的边际收益。

#美团#Agent#多智能体系统

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：…构在最后一层加回归头损失函数：-log σ(r_θ(x,y_w) - r_θ(x,y_l)) 多任务扩展：多维度分数→加权求和或MoE结构强化学习：PPO（需KL散度约束防崩溃）或DPO（直接偏好优化，省去RM训练）个性化扩展用户画像embedding拼接到prompt LoRA适配器：不同用户群体/场景维护独立低秩矩阵三、评估体系维度指标方法偏好对齐胜率（Win Rate） GPT-4/人工盲评对话质量流畅度、多样性 perplexity、disti…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·模型微调· 百度

大模型准确性瓶颈在哪?

匹配正文：…路模型置信度与不确定性量化的应用提升大模型输出准确性，核心在于区分错误类型、分层治理：一、模型架构层面稀疏激活与专家混合（MoE）：将知识分散到不同专家，减少参数干扰导致的知识混淆可插拔知识模块：分离语言能力与事实知识，知识更新无需全量重训推理时显式规划：如Chain-of-Thought强制模型展示推导过程，便于追溯错误环节二、训练数据优化数据溯源与质量分层：对事实密集型数据标注置信度，高置信数据加权训练对抗性样本注入：刻意构造易混淆的负例（如相似实体、过…

#百度#评估与监控#大模型准确性提升

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配追问：如果bad case集中在长尾分布，你会怎么处理数据采样策略如果确定是模型容量不足，你会选择继续scale up还是做MoE改造如何设计一个自动化的bad case挖掘和归因系统场景切入假设你在做电商客服大模型，发现它对“退换货政策”这类问题答得不错，但一遇到“订单状态合并”这种多实体推理任务就频繁出错，你会怎么系统性地排查和优化？层层追问大模型在特定任务上表现不好，你一般从哪里开始查？……数据分布可能有问题，然后呢？……训练层面还有什么可以调的？……架构上有没有…

#模型调试#bad case分析#数据质量

面试题·模型架构· 字节

FFN 隐藏层维度为何扩 4 倍?

匹配口述回答：…m接近八d平方，就得到m约为八d除以三。实际实现还会按张量核友好尺寸取整。这个八分之三同样不是普遍定理，只是预算匹配。若模型使用MoE、稀疏激活或不同门控结构，计算方式会变化。工程比较时我会固定总参数或每token FLOPs，测验证loss、下游质量、训练稳定性、吞吐和激活内存，并检查kernel利用率。这样才能回答某个宽度是否值得，而不是把四倍当成被理论证明的常数。还要区分参数量与激活内存。更宽FFN不仅增加矩阵计算，也会放大中间激活；激活检查点可以换取显存，但会增加…

#Transformer#FFN#维度扩展

面试题·评估· 百度

面试高频论文怎么选?

匹配口述回答：…以改善推理，后者限制每层直接关注窗口并通过层叠传播信息。Mixtral 在 Mistral 主干上把 FFN 换成 sparse MoE，每层有八个 expert，router 为每个 token 选两个。论文区分总参数和单 token active parameters，这正好说明为什么 MoE 不能只用总参数推断计算成本。 Gemini 1.5 技术报告适合讨论多模态长上下文能力、检索和长视频等评测，也能讨论长上下文“容量”和“有效利用”的区别。但报告没有把全部训练语料、…

#技术前沿追踪#论文阅读#大模型发展趋势

面试题·Prompt· 百度

大模型智能体系统架构设计思路

匹配口述回答：…不用改核心代码。这里有个延伸点：成本感知调度。我会根据任务复杂度动态选择模型，简单任务用小模型，复杂任务用大模型，甚至结合 [[MoE]] 路由。但前提是模型质量评估准确，否则小模型误判会降低用户体验。 [[多智能体]]协作方面，我倾向用主从架构：主 Agent 负责任务分发，子 Agent 并行执行，通过共享内存池通信。但协作成本不低，通信协议要轻量，避免序列化开销。最后我的判断是：Agent 系统成败不在模型多强，而在边界划得多清楚、降级策略多优雅。所以我更倾向把精力…

#百度#Agent 系统架构#大模型智能体设计

面试题·RAG· 快手

LLM怎么融入推荐系统？意图理解与生成

匹配口述回答：…，现阶段更适合做锦上添花。还有一个我没展开的点：LLM特征和ID特征怎么融合效果最好？直接拼接还是门控？我最近看到一些工作用[[MoE]]动态选择特征来源，但线上工程复杂度很高。一句话定位：本质是LLM如何融入推荐系统特征表示：LLM增强编码，冷启动收益与离线蒸馏意图理解：从匹配到推理，适合上游模块生成式推荐：直接生成ID或文案，落地风险风险与取舍：幻觉、实时性、成本，我的判断约4分钟 LLM特征与ID特征融合方式的选择，门控 vs MoE vs 直接拼接，以及…

#快手#LLM推荐系统#LLM 推荐系统

面试题·检索· 哔哩哔哩

精排精度高，为何不跳过召回粗排？

匹配口述回答：…层不是必须的，可以合并召回和粗排。面试官可能会追问：具体什么条件下可以合并？有哪些模型或架构能做到？比如 ColBERT 或者 MoE 结构怎么用？

#哔哩哔哩#两阶段排序#召回粗排精排