匹配追问：…案，并用什么消融判断问题来自信息带宽、数据还是训练目标？层层追问常见融合位置有哪些？……简单 projector 的优势和限制是什么？……何时值得增加跨模态交互深度？……怎样同时衡量 grounding、视觉 token、训练成本、延迟和泛化？直球技术从模态融合、对齐目标、训练效率和泛化评测四个层面提出多模态大模型的改进方向，并说明每项改动所需证据。

#模态融合#跨模态对齐#训练效率

面试题·推理优化· 百度

匹配正文：…减少步数。DPM-Solver++不是“动态跳步”的同义词。 latent压缩：空间或时空autoencoder减少进入生成模型的token/latent数量；压缩率、重建误差和时序一致性需要共同评测。时空建模：全时空attention为 O((THW)^2)；先空间后时间的分解仍为 O(T(HW)^2 + T^2HW)，并没有变成线性。局部与稀疏计算：窗口、块稀疏、token pruning或条件缓存可减少特定重复计算，但必须说明可见范围和复用条件。3D因果VAE描述的…

#视频生成#扩散模型加速#时序建模优化

面试题·多模态· 小红书

Stable Diffusion 各版本怎么选?

匹配正文：…se 与可选 refiner，官方基线面向 1024×1024。Stable Diffusion 3 则改用 MMDiT，让文本 token 与图像 token 以各自权重交互，并采用 rectified-flow 训练框架。论文的 scaling study 训练了约 450M 到 8B 的模型；Stability AI 当时公布的初始发布规划则是 800M 到 8B。前者是研究缩放范围，后者是发布规划口径，不能混写，也不能把所有 SD3 都说成 8B。 SDXL-Turb…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#扩散模型#文生图#UNet架构

面试题·Agent· 字节

Attention 在 Agent 多轮对话有哪些局限?

匹配口述回答：…随着序列变长，Softmax归一化会让Attention权重越来越平均。早期的重要信息，比如任务目标、用户强调的约束，会被大量无关token淹没。我见过一个实验，超过20轮后首轮系统指令的Attention权重掉到1%以下。说白了，模型不是不想记住，而是它注意力被均匀摊平了，抓不住重点。还要看推理一致性断裂。Agent需要跨多轮维持逻辑链条，比如“如果用户是VIP，运费全免，现在确认他是VIP”，这个推理过程可能分散在不同轮次。标准Attention没有显式的[[KV Ca…

#字节#淘天#Agent

面试题·Agent· 字节

Agent 架构的取舍与适用条件

匹配口述回答：这道题其实是在问，什么时候该让模型自己‘动起来’，什么时候老老实实做一次检索就够了。[[Agent]] 确实火，但落地时最怕的就是什么都往上套。先说核心优势。Agent 最大的价值是能把一个含糊的目标拆成可执行的步骤，比如‘帮我订最便宜的机票’，模型得先搜航班、比价、查退改规则，再下单。每一步它都能调用工具，像 [[ReAct]] 框架里，检索只是一个 search 动作，它根据结果决定下一步是继续查还是下单。这种动态决策和可追溯的思考链，是纯 [[RAG]] 做不到的。 …

#字节#Agent#Agent 架构

面试题·Agent· 小红书

生成式推荐系统有哪些改进方向？

匹配正文：…性），LLM负责重排序（个性化）可作为候选生成研究方案；多样性、质量和延迟需与自回归及判别基线实测多模态统一生成图文视频统一token化，端到端生成推荐理由+封面+标题小红书内容形态丰富，模态对齐能提升种草转化率隐式反馈显式化将停留时长、滑动速度等连续信号编码为生成条件解决当前序列建模只依赖点击ID的稀疏问题 2. 训练策略：推荐专用的RL优化 Reward设计：组合即时反馈（点击）+ 长期价值（关注/复访）+ 多样性约束，避免单一CTR导向偏好优化选型：DP…

#小红书#Agent#生成式推荐系统

面试题·Agent· 百度

工具调用方法怎么选?

匹配正文：…步推理、工具组合、需要解释决策过程的Agent 优点：透明可解释、容错性强（失败可重试）、无需特殊训练缺点：延迟高（多轮交互）、token消耗大、需精心设计prompt边界 3. 通用Tool Use（Toolformer/开源方案）原理：模型在生成文本中内嵌特殊标记（如[TOOL: calculator] 2+2 [/TOOL]），后处理提取执行。适用：开源模型无原生Function Calling能力时的替代方案优点：无需修改模型架构，通过prompt+后处理即可…

#百度#Agent#大模型工具调用

面试题·Agent· 高德

多 Agent 协作复杂度

匹配正文：…需上层Orchestrator统筹 LLM特有挑战幻觉传播：某Agent产生幻觉会通过通信污染其他Agent 成本管控：多轮交互token消耗呈指数级增长，需设计 early exit 或缓存策略一句话总结多Agent的本质是用系统复杂性换取单Agent的能力边界突破，适合任务明确可拆分、需多角色协作的场景；若任务链条短、领域聚焦，单Agent仍是更稳健的选择。学习建议建议系统学习该知识点

#高德#Agent#多 Agent 协作复杂度

面试题·Agent· 字节

多轮对话上下文遗忘怎么解?

匹配正文：问题成因分析上下文遗忘标准Transformer的位置编码衰减：远距离token的相对位置信息模糊，注意力权重随距离自然衰减 KV Cache长度限制：推理时显存压力迫使截断历史，导致早期信息丢失注意力稀释：长序列中关键信息被噪声淹没，softmax趋于均匀分布指代不清模型缺乏显式共指链接，依赖隐式注意力学习指代关系，对复杂跨句指代（如"这个方案"指代前文多个提议中的某一个）容易混淆多轮中实体状态变化未被显式追踪一致性缺失无持久化角色/风格表示，每轮独立生成导…

#字节#Agent#多轮对话上下文遗忘

面试题·Agent· 高德

Agent 工具选择：打分排序机制

匹配口述回答：…匹配度是基础，历史成功率也很关键，比如某个工具对类似任务的成功率是 95%，另一个只有 70%，那肯定优先选前者。还有成本，包括 Token 消耗、API 费用、响应时间，以及当前负载，比如某个工具正在限流，就得降权。这些维度怎么组合呢？初期冷启动时，我会用规则加启发式，比如固定优先级排序，成功率优先，成本次之，延迟最后。等积累了一些执行日志，就可以上学习式打分模型了，比如用 GBDT 或者小型神经网络，输入任务和工具的交互特征、历史指标、当前上下文，输出一个综合得分，取 …

#高德#Agent#Agent 工具选择

面试题·Agent· 百度

Agent 反思机制原理与实现

匹配题目：在AI Agent系统中，‘反思机制’指的是什么？其实现方式有哪些？为何引入反思机制能提升Agent的决策与推理能力？

#百度#Agent#Agent 反思机制

面试题·Agent· 商汤科技

Agent 架构落地看哪些组件?

匹配正文：… 安全与人工层：敏感动作审批、最小权限、提示注入防护和审计。观测层：记录 trace、模型与 Prompt 版本、工具输入输出、token、延迟、错误码和回退路径。教学假设：数据分析 Agent 假设系统接收自然语言分析请求。流程可以是：识别数据域 → 检索 schema 和口径 → 生成查询计划 → 生成 SQL → 静态校验与只读执行 → 结果一致性检查 → 生成解释。删除、写入或高风险查询必须经过授权，不由模型直接执行。失败与取舍常见失败包括 schema 幻觉…

#商汤科技#Agent#AI Agent 架构

面试题·Agent· 美团

DeepResearch Agent 怎么工作?

匹配口述回答：…会动态调整。这里有个关键边界划分：它和传统RAG本质区别在哪？传统RAG是一次检索加一次生成，适合回答事实性问题，比如“退货流程是什么”。但深度研究Agent是多轮主动探索，适合开放式的复杂调研。真正落地时，我倾向把两者组合。比如用户问“退货流程”，走RAG快速回答；如果问“分析今年电商退货率上升的原因”，就触发Agent去多角度搜索、对比数据、生成报告。这样效率和质量都能兼顾。举个例子，行业调研场景。假设要研究“新能源电池回收”的市场前景。传统做法是搜几篇文章拼一拼，但…

#美团#Agent#DeepResearch Agent

面试题·Agent· 百度

Agent 系统可调用哪些工具?

匹配正文：…opic的MCP协议动态工具选择：通过ReAct或Plan-and-Execute模式，让模型自主决定"是否调用、调用哪个、参数是什么" 错误处理链：工具失败时反馈给模型，支持自我修正和重试实际落地中，工具数量多时需做工具检索（先embedding匹配候选工具），避免全量塞进prompt导致上下文爆炸。

#百度#Agent#Agent 工具类型

面试题·Agent· 淘天

Agent 开发框架对比

匹配正文：…点：自主循环执行，目标分解 + 记忆管理 + 工具调用闭环适用场景：开放式任务探索、自动化研究、个人助理局限：容易陷入死循环，token消耗高，可控性差 3. MetaGPT 核心特点：多Agent协作，模拟软件公司角色（PM/架构师/工程师）适用场景：复杂软件开发、需要多角色分工的生成任务关键设计：SOP标准化流程 + 共享消息总线 4. Dify / FastGPT 核心特点：低代码可视化编排，内置RAG和Workflow 适用场景：业务快速落地、非技术团队主导的…

#淘天#Agent#Agent 开发框架对比

面试题·Agent· 字节

工具集设计最佳实践?

匹配题目：在Agent项目中，工具集的设计原则和方法是什么？请分享工具集设计的最佳实践和关键考量因素。

#字节#Agent#Agent 工具集设计

面试题·文档处理· 字节

Embedding 模型选型 vs 落地流程?

匹配题目：在RAG系统中，如何根据任务需求选择合适的文本嵌入模型？将文本chunk向量化后存入向量数据库的完整流程是什么？

#字节#Embedding 模型选型#RAG 向量化流程

面试题·文档处理· 京东

RAG 分块策略选型

匹配正文：…乏背景块太大 → 信息冗余，检索命中率下降，易超上下文窗口常用分块方法方法适用场景特点固定长度通用场景、快速上线按token/字符数切，实现简单；边界可能切断语义语义分块高质量要求场景用embedding相似度检测主题边界；计算成本高递归分块层次化文档（法律、论文）先按章节/标题粗分，再细粒度切；保留结构信息 Agentic分块复杂文档用LLM判断分割点；成本最高但效果最优关键实践技巧重叠分块（Overlapping）把零重叠、短窗口与较…

#京东#RAG 分块策略选型#RAG 文本分块策略怎么选？完整性与检索精度权衡

面试题·文档处理· 安克科技

RAG向量化：分块与Embedding

匹配正文：…否支持指令式嵌入（如BGE的Represent this sentence...）二、文本分块策略常见方法：固定长度分块：按token数切分，长度作为候选变量；实现简单但可能切断语义递归分块：先按段落/句子切，超长再细分，保持结构完整语义分块：用模型判断语义边界（如BERT-based分割器）优化技巧：比较零重叠、短窗口和较长窗口，用同一评测集验证是否减少边界信息丢失保留元数据（标题、章节、时间戳），用于重排序过滤三、向量归一化 # L2归一化：将向量映射到…

#安克科技#RAG 向量化#Embedding 模型

面试题·评估· 字节

Agent 系统优缺点怎么分析?

匹配正文：…场景影响：金融风控场景下，错误调用资金接口后果严重 2. 延迟与成本每步规划都需 LLM 推理，10 步任务 = 10 次调用，Token 成本指数级上升场景影响：实时推荐场景难以满足 200ms 响应要求 3. 工具可靠性外部 API 变更、返回格式异常导致 Agent 崩溃缺乏有效的中断恢复机制 4. 可观测性与调试长链路黑盒，难以定位哪一步规划出错三、与 RAG 的协同设计维度 RAG Agent 定位知识检索增强任务执行与决策融合方式 Agent …

#字节#Agent#Agent 系统优缺点

面试题·评估· 美团

LLM 幻觉治理方法对比

匹配口述回答：…是让模型在生成时参考外部知识，不依赖自己的记忆。但这里有个边界要划清楚：RAG 特别适合事实性幻觉，比如客服场景里用户问“退款政策是什么”，你从知识库拉回最新文档，模型照着说就行。但它不太适合那些需要模型深度推理的任务，比如合同条款分析，因为检索回来的片段可能互相矛盾，模型自己又没能力做逻辑仲裁。那落地的时候，RAG 最大的风险其实不在生成，而在检索。检索质量决定了 RAG 的上限。如果你用简单的向量检索，召回率可能很高但精度差，混进一堆噪声，模型反而更容易被带偏。所以我会…

#美团#幻觉治理#LLM 幻觉治理方法对比

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配正文：…准、检索内容高亮标记、source attribution强制引用三、系统层面局限 5. 延迟与成本检索+重排+生成链路长，首token延迟高改进：检索缓存、预计算embedding、流式生成、推测解码 6. 复杂推理场景失效多跳问答、对比分析、数值计算等需要综合多源信息时表现差改进：引入Agent（ReAct迭代检索）、知识图谱增强、专用工具调用四、小红书场景的特殊考量社区内容RAG还需解决：UGC质量参差（需内容过滤）、实时性要求高（新笔记秒级索引）、多模态…

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 滴滴

Agent 技术实际有效性怎么评?

匹配正文：… 优势生态丰富、可控性强、适合生产理念激进、探索性强上手快、可视化关键缺陷抽象过度、调试困难、性能损耗实际成功率极低、token消耗爆炸灵活性受限、黑盒化适用场景企业级复杂工作流概念验证/研究快速POC/轻量应用技术本质差异 LangChain：强调链式组合，开发者显式控制流程 AutoGPT：追求自主决策，LLM主导循环（prompt工程极重）三、关键局限与突破方向三大硬约束可靠性天花板：LLM本身的不确定性无法通过框架消除成本失控：多轮调用…

#滴滴#Agent#Agent 技术评估

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配口述回答：…把相关文档放在第一位和不放在第一位，输出可能完全不同。说到这，我顺便提一个我比较关注的方向：动态检索。就是生成过程中根据已生成的token实时调整检索策略，而不是一次检索完。这在多跳推理场景下特别有用，比如用户问“张三在A公司的职位是什么，他后来跳槽去了哪”，一次检索很难覆盖完整信息链。当然这也有代价，就是延迟会明显增加。所以整体上，我会把RAG问题排查看成三步：先用黄金文档锁定责任方，再用指标和人工分析细化根因，最后针对性优化。如果检索和生成单独测都好但合起来差，那就去…

#检索诊断#生成协同#RAG 效果诊断

多模态融合与对齐怎么改进?

视频生成加速有哪些方法?

Stable Diffusion 各版本怎么选?

Attention 在 Agent 多轮对话有哪些局限?

Agent 架构的取舍与适用条件

生成式推荐系统有哪些改进方向？

工具调用方法怎么选?

多 Agent 协作复杂度

多轮对话上下文遗忘怎么解?

Agent 工具选择：打分排序机制

Agent 反思机制原理与实现

Agent 架构落地看哪些组件?

DeepResearch Agent 怎么工作?

Agent 系统可调用哪些工具?

Agent 开发框架对比

工具集设计最佳实践?

Embedding 模型选型 vs 落地流程?

RAG 分块策略选型

RAG向量化：分块与Embedding

Agent 系统优缺点怎么分析?

LLM 幻觉治理方法对比

RAG 有哪些主要缺陷?

Agent 技术实际有效性怎么评?

RAG效果差：检索vs生成怎么诊断？