匹配正文：…程/材料"),变成多个查询一起检索,再合并结果。工程提示:扩写会增加检索请求和候选合并工作,但端到端延迟与成本是否同比增长取决于并行、批处理、缓存和后端计费。应按查询类型设置上限并监控重复率与边际召回。同理,重写要保留原始 query 或可回退路径,避免把限定条件改丢。 2.3 HyDE:生成假设文档再检索当原始 query 与文档写法差异较大时,可以评估 HyDE(Hypothetical Document Embeddings): HyDE 生成假设文档并检索真实语料…

#RAG#检索#项目实战

项目实战·Agent

第 7 章：服务化设计——任务状态、推理、并发与成本

匹配正文：…归推理为什么需要专门调度 Transformer 推理通常分为 prefill 与 decode。prefill 处理已有输入,可并行计算多个 token;decode 依赖前一步生成结果,按步产生新 token。KV Cache 保存历史 token 的 Key/Value,避免每个 decode 步骤重新计算全部历史 K/V。是否由显存带宽、算力、通信或调度主导,取决于模型、硬件、batch、输入输出长度、量化和并行配置,不能写成永远只有一种瓶颈。 prefill、dec…

#Agent#Deep Research#项目实战

面试题·Agent

Function Calling 到底怎么跑？模型不会执行函数，完整工具结果循环怎么实现

匹配正文：…指标。它用于说明协议边界，实际项目必须结合模型 SDK 的消息格式、业务身份、工具注册表和状态存储实现。多个工具调用时，串行还是并行模型可能在同一轮返回多个 tool call。是否并行不能只看“能不能同时发请求”，还要看依赖与副作用。两个互不依赖的只读查询，例如查询两个公开资料源，可以并行，然后分别按调用 ID 回灌结果。第二个工具依赖第一个输出时必须串行。例如先搜索得到 URL，再访问对应页面；模型需要先读到搜索结果，下一轮才能生成可靠的访问参数。有写操作时更谨慎…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Agent#工具调用与安全#Function Calling 完整流程

项目实战·RAG

第 8 章:多轮对话与记忆管理

匹配正文：…基础也能跟着做:用一段零依赖代码,亲眼看到"没记忆,多轮里的'它'就无解;有记忆才接得住" ✓ 看懂记忆模块是什么:它是和检索模块并行的"动态上下文来源" ✓ 分清短期记忆(本次会话)和长期记忆(跨会话、用户画像) ✓ 学会对话历史怎么选、上下文怎么裁剪(截断 vs 摘要) ✓ 理解长期记忆的管理:用户画像、遗忘机制、存储选型 ✓ 讲清 LangGraph / LlamaIndex 当前记忆接口与版本边界 ✓ 把用户隔离、授权、来源、更新、删除和记忆投毒作为上线前检查项本章…

#RAG#检索#项目实战

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…ANN 索引(HNSW):减少需要精确比较的候选;召回与延迟收益受规模、硬件和参数影响,需与精确检索实测。异步并发 + 批量:只并行没有数据依赖的分支,例如多路检索或独立过滤;标准 RAG 的生成依赖检索结果,不能把三段强行重叠。批量与队列还要测排队时间、超时、背压和尾延迟。流式输出:边生成边返回结果,可能改善首字时间(TTFT)和等待感受,但不会缩短全部生成耗时,仍需实测。工程提示:盯延迟不能只看平均值,还要看 P95 / P99。缓存、ANN、并发和流式输出都可能改…

#RAG#检索#项目实战

面试题·Agent

Search 超时、Visit 受限、Python 报错时，Deep Research 怎样继续而不乱答？

匹配正文：…张。研究状态需要把已确认证据、候选证据、失败动作和未完成缺口分开。新工具失败时，只更新相关缺口和预算。状态提交也要有版本。多个并行工具返回时，失败结果不能基于旧版本覆盖已经成功合并的新证据。部分完成报告应使用已有可靠证据，但必须标出缺失范围。例如三个对象中两个已核验，第三个访问受限，就说明第三项无法确认，不能复制前两项结构生成猜测。恢复服务后，可以从未完成缺口继续，而不是从头搜索。幂等动作 ID 和已访问集合用于避免重复。进程重启和用户取消怎样恢复？工具还在运行时…

#Deep Research#研究工具与稳定性#Deep Research 工具故障恢复

面试题·Agent

Agent 调用写操作怎么防误执行？副作用分级、幂等、确认和审计怎样做

匹配正文：…态，批次本身再有一个总意图。Dry-run 展示数量和影响范围，审批可以限制最大批次与允许对象。执行方式可以按业务选择串行、有限并行或分批。高风险批次先小范围验证，再扩大。出现错误时停止剩余动作，保留已完成清单，按业务决定补偿或人工。最终结果明确报告成功、失败、待核对和未执行，而不是只给一个批次成功布尔值。不同副作用等级对应的控制矩阵风险越高，模型越应该停留在建议和 Dry-run，真实执行交给固定流程。审计日志要回答哪些问题谁以什么身份发起；哪个模型与 Prom…

#Agent#工具调用与安全#Agent 写操作幂等

面试题·模型架构· 字节

LLaMA为何选RMSNorm?

匹配正文：…nsformer中通常都对每个token的hidden features归一化，不会拿不同token的均值互相污染。若隐藏维做张量并行，统计量是否跨卡归约取决于切分布局。 LLaMA采用Pre-Norm位置的RMSNorm。合理表述是该选择在其训练配方中兼顾质量和实现效率，不是RMSNorm在所有任务上必然更稳定。选型需比较loss、梯度、溢出、吞吐和最终质量。图解 LLaMA为何选RMSNorm?图解

#Layer Normalization#RMS Normalization#归一化技术

面试题·RAG

Rerank 为什么更准，却不能对整个知识库运行？

匹配正文：…息未进入输入，或正确句落在截断区域。只有把原因落到具体候选，优化才不会变成盲目换模型。上线切换也应支持回退。新旧模型在同一候选上并行打分一段时间，先只记录差异，不立即影响用户；确认关键问题和尾延迟满足预算后再逐步放量。若无法同时运行，也至少保留离线回放产物与旧配置，使回退能够恢复同一输入模板、阈值和稳定排序规则。成本结论最终应落到具体请求预算。先明确检索链为生成、网络和其他步骤预留多少时间，再决定 Rerank 能使用的候选量和推理预算；不能先选一个模型，再要求所有请求迁…

#RAG#检索与重排#RAG Rerank

面试题·Agent

简单问答怎样升级成真正需要多步研究的问题，又不把题目编坏？

匹配正文：…抽查。面试官继续追问，怎么接？追问一：把两个简单题拼起来，就是复杂题吗？不一定。若两个子题完全独立，只是拼接交付，它训练的是并行收集；真正多跳要求后一步依赖前一步结果。追问二：怎样判断问题不是伪多跳？做节点删减、单页捷径、来源独立和最短轨迹测试，检查每个步骤是否必要。追问三：实体替换怎样保持答案正确？不能默认保持。替换后要重新核验实体、关系、时间和证据，必要时生成新答案或拒绝候选。追问四：为什么不能让同一个模型生成并审核？它容易延续生成假设。至少隔离上下文并…

#Deep Research#数据构造与训练#Deep Research 复杂问答

面试题·模型架构· 美团

LayerNorm vs BatchNorm 怎么选?

匹配正文：…rm的统计是样本内的，但gamma和beta仍是跨样本学习的参数，所以它不是“每个token完全独立学习”。当hidden维按张量并行切分时，精确LN可能需要跨设备归约；某些实现使用序列并行或融合kernel减少通信。选择归一化时要把这些系统代价一并计入。

#Layer Normalization#Batch Normalization#Transformer

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…只是文档措辞不同，可以扩写同义词，不必让模型重新编一段答案。短而抽象的问题如果原词也很重要，可以让原 Query 与 HyDE 并行，而不是只保留假设文本。 Query 重写最容易改错什么？重写听起来只是换一种表达，实际会触碰用户意图。第一类风险是指代补错。上一轮同时提到两个对象，用户说“它”，模型可能选择错误对象。系统如果只检索改写后的问题，后面每一步都会围绕错误实体展开。第二类风险是否定丢失。 “哪些情况不支持”如果被改成“支持哪些情况”，关键词仍然相近，意图却…

#RAG#检索与重排#RAG Query 重写

面试题·Agent

轨迹中哪些 Token 应参与 Loss，Observation Mask 怎样按目标实现？

匹配正文：…为系统命令，训练数据还要在角色与安全策略上明确优先级。连续多个 Tool Call 怎样避免串位？ Agent 可能一次发出多个并行调用，也可能在一轮里连续调用不同工具。只靠“assistant 后面的下一段都是 tool”这种位置规则不够。必须使用 call ID 或等价关联键，将每个 observation 绑定到具体调用。并行返回顺序还可能与发起顺序不同。训练格式应按照控制器真实提供给模型的顺序记录，不能为了排版整齐重新排序后又丢失关联。工具返回内部若嵌有类似 …

#Deep Research#数据构造与训练#Observation Loss Mask

面试题·RAG

多轮 RAG 如何理解“这个怎么申请”？

匹配正文：…就可能把“这个”错误改写成意外险申请材料。历史越多，并不代表信息越充分。旧信息可能成为新的噪声。记忆可以看成一条与静态知识检索并行的信息来源。知识库提供制度、条款和产品资料，记忆提供会话里已经确认的对象、用户补充的条件和前文主题。两者都可以进入生成上下文，但职责不同。知识库事实与对话记忆的职责区别知识库回答“外部资料怎么规定”，记忆回答“我们刚才在谈什么、用户已经提供了什么”。如果把用户说过的话直接当成知识库事实，用户一句错误陈述就可能污染答案。反过来，如果完全忽略…

#RAG#生成与对话#多轮 RAG

面试题·Agent

多 Agent 怎么编排？固定流水线和 Supervisor 监督模式怎么选

匹配正文：…角色，路由错误反复发生，子 Agent 互相踢任务，最终在没有完成证据时结束。回答时应直接说明控制权放在哪里，而不要停在“顺序、并行、层级”三个名词上。确定性依赖交给图和代码，语义不确定性才交给模型路由；所有角色通过结构化 State 与工件交接，不靠自由聊天维持事实；每个节点有完成条件、失败出口、重试预算和 Trace。多数可靠系统不是二选一，而是外层用确定性流水线约束阶段，局部开放环节由 Supervisor 选择角色，随后回到明确的验收节点。先给出 30 秒回答 …

#Agent#多智能体与评估#多 Agent 编排模式

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配正文：…准框架主要定位典型能力需要注意 vLLM GPU/多后端高吞吐服务 PagedAttention、连续批处理、张量/流水线并行、OpenAI 兼容服务支持架构、量化和硬件能力随版本变化 TensorRT-LLM NVIDIA GPU 深度优化 TensorRT engine、in-flight batching、KV 优化、量化与多 GPU 使用自有 checkpoint/engine 工作流，可从 Hugging Face、NeMo 等来源转换，并非必须先经过 O…

#vLLM#TensorRT-LLM#推理引擎

面试题·Agent

Deep Research 一跑几分钟，为什么不能用普通同步接口硬等？

匹配正文：…只按 HTTP 并发数限流不够。一个任务可能产生许多模型与工具调用。可以设置租户级运行任务数、全局模型并发、工具并发、每任务最大并行分支和队列长度。队列接近上限时，优先拒绝或延迟低优先级新任务，而不是让所有运行任务一起超时。调度还要防止大任务长期占用资源。可按步骤让出执行权，或者使用公平队列与预算配额。高优先级不能无限饿死普通任务，租户之间也不能共享状态和配额。这些都是服务设计原则，本文不虚构已经达到的并发数、QPS 或排队时长。 Continuous Batchi…

#Deep Research#上线成本与评估#Deep Research 长任务

面试题·模型架构· OPPO

CNN/RNN/Transformer 怎么选?

匹配正文：…态持续更新。普通 RNN 容易受到梯度消失或爆炸影响；LSTM、GRU 通过门控缓解而非消除长程依赖问题。训练时跨时间步的依赖限制并行度，但模型尺寸、序列长度和推理方式都会影响实际性能。 Transformer Transformer 用自注意力在 token 间建模依赖，并通过位置编码保留顺序信息。它便于训练阶段并行处理序列位置，已广泛用于语言、视觉和多模态任务。标准全注意力的时间与注意力矩阵空间开销随序列长度近似二次增长；稀疏、滑窗或线性注意力等变体用于改变这一权衡。选…

#CNN#RNN#Transformer

面试题·Agent

Agent 线上答错一次，怎样用 Trace 和 Replay 定位到底哪一步坏了

匹配正文：…an 有 span_id、parent_span_id、节点类型、开始结束时间、状态、错误分类、输入输出引用、配置版本和资源摘要。并行工具调用通过同一父 span 关联，重试使用 attempt 并保留首次失败。 State 更新作为一等事件，记录读取版本、写入版本、变更字段摘要和冲突结果。否则工具正确但状态合并错误时无法定位。工件使用稳定 ID、版本与哈希。Trace 不必复制整篇网页、代码和报告，只记录受控引用。必要时根据权限访问原始工件。人工确认也进入轨迹：请求了什…

#Agent#多智能体与评估#Agent Trace 回放

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…uery 处理。单轮问题可以直接进入检索，多轮问题可能需要从历史中补全实体。无论是否改写，都要保留原问题，以便回退和审计。然后并行执行关键词与向量召回。一条完整的调用链可以这样拆：get_filters 把知识库 ID、文档 ID 和可用状态转成搜索条件，get_vector 生成向量表达式，search 组合文本与向量候选，外层 retrieval 再完成重排、阈值筛选、分页和结果组装。这样拆的价值不是函数名好看，而是权限、向量化、召回和后处理都有可记录、可测试的输入输…

#RAG#评测与上线#RAG 系统设计

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…不同计价方式，必须保存版本与计费口径。一次任务失败后重试，成本也属于该任务，不能只统计最终成功路径。延迟与货币成本不是同一维度。并行可能降低等待时间却增加调用，缓存可能减少模型成本却增加存储与一致性复杂度。不要把它们随意折成一个分数。按任务难度和结果质量切片看成本。复杂任务合理使用更多资源，简单任务却反复调用就是浪费。平均值会掩盖极端长尾，至少看分布和异常样本。没有真实运行数据时，文章只定义记录字段和比较方法，不报告单次成本、节省比例或延迟改善。怎样把质量和成本放在一…

#Agent#多智能体与评估#Agent 评估体系

面试题·模型架构· 小红书

主流图像生成模型有哪些?

匹配正文：…像量化为token，再按序生成。Parti是公开的文生图自回归路线，生成受序列解码成本影响。掩码生成：Muse并非自回归模型，它并行预测被mask的图像token并迭代细化。 Diffusion与flow：Imagen等扩散模型逐步去噪；rectified flow类方法学习速度场并通过ODE类路径采样。 DALL-E 3和Midjourney等闭源产品只能依据官方披露描述能力，不能替其断言具体backbone、训练数据或内部损失。比较模型时应区分公开论文方法与商业产品，并…

#扩散模型#自回归模型#图像生成

面试题·模型训练· 高德

参数量增长如何影响模型能力?

匹配正文：…效率。它不说明参数越大就可在同样少的数据上无限变好，更不说明优化地形变成凸函数。训练稳定性仍受初始化、归一化、学习率、batch和并行策略影响。 Chinchilla重新研究固定算力下参数和token分配，结论是在其实验范围里模型规模与训练token应大致同比扩展。70B Chinchilla训练约1.4T token，常被概括为约20 token每参数，但这是特定模型族与预算下的经验点，后续数据质量、重复训练、推理成本和架构都会改变最优比率。泛化也不能只看预训练loss；更…

#缩放定律#过参数化#双下降现象

面试题·模型架构· 海尔

Encoder vs Decoder 功能区别?

匹配正文：…属于典型场景。 Decoder-only：没有独立encoder，把条件和输出前缀放进同一因果序列。训练时encoder位置可以并行；自回归decoder在teacher forcing下也可并行计算各目标位置的loss，只用因果mask阻止未来泄漏。推理时目标token依赖已生成前缀，通常逐token解码。Beam Search只是在解码时保留多个高分候选，不改变teacher forcing造成的训练与推理输入分布差异，因此不能说它修复exposure bias。比较…

#Seq2Seq#Encoder-Decoder#Transformer