匹配正文：…入冲突裁决节点。裁决依据包括当前用户明确输入、来源类型、时间、确认状态和适用条件。无法判断时向用户澄清，或不注入任何一条。不能让向量分数替代事实权威。语义更像当前问题，不代表内容更正确。实时工具事实与当前用户指令也不应被历史记忆覆盖。冲突处理结果可以触发记忆更新：确认新偏好后建立替代关系；发现条件差异后补充作用域；确认某条错误后撤回并进入遗忘或删除流程。检索不是只读动作，它也会暴露需要维护的记忆质量问题。为什么要有“不召回”这个结果很多系统为了展示 Memory，每轮…

#Agent#记忆与存储#Agent 记忆检索排序

求职指南·求职

项目深挖:面试官会怎么一层层追问你的项目

匹配正文：… 策略你的切分是拍脑袋还是有依据切多大、按什么切、试过别的没有、对召回的影响文档预处理与切分检索召回你懂不懂检索的取舍向量/关键词/混合怎么选,召回率怎么测、多少条测试集检索召回·混合检索 rerank 你的每个模块是不是都"知道为什么在" 选哪个 rerank 模型、不加会差多少、怎么量化的重排序引用溯源你有没有考虑可信和幻觉答案怎么带出处、怎么防"检索到了但答错" 引用与溯源评估你怎么证明"做得好"不是空话评估集怎么建、指标怎么定、离线还是在线…

#求职#职业转型

面试题·RAG

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

匹配正文：…滤，再按最近窗口或语义相关性取回；融合时处理新旧冲突和权威来源；使用后允许版本更新、过期和删除。删除要覆盖缓存、短期存储、持久库和向量索引，并通过反向检索确认没有残留。评测时我不仅看系统是否记得，还会测试它是否会误用旧记忆、串到别的任务或用户、在偏好更新后继续使用旧值，以及删除后能否彻底消失。对话记忆的质量标准不是“记得多”，而是在正确边界内只取回真正有用的信息，并且每次使用都能解释、更新和撤销。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#生成与对话#RAG 记忆模块

面试题·Agent

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

匹配正文：…付费或满足某个客户分层规则。“上个月”按自然月还是最近三十天，“华东”按客户注册地、收货地还是组织归属，也都需要业务定义。所以高质量 Text2SQL 要先把问题拆成指标、维度、时间、粒度、过滤条件和业务实体，再从元数据中选择最小但完整的 Schema，之后才轮到 SQL 生成。选不清时要提出最小澄清问题，不能用模型猜测掩盖歧义。先给出 30 秒回答面对大 Schema，我不会把所有 DDL 直接塞给模型。先把用户问题解析成业务指标、维度、时间范围、统计粒度、过滤条件和…

#Agent#工具调用与安全#Text2SQL Schema 选择

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…索与生成策略变了。如果一次发布同时更换资料和算法，可以分别在旧快照与新快照上运行，避免把内容补齐误写成算法提升。评测集本身也需要质量回归。可以定期抽查证据链接是否还能打开、答案要点能否逐项回到原文、题型和风险分布是否偏移，以及新增问题是否与旧题高度重复。维护目标不是追求样本数量不断增长，而是确保每个判定仍然有清楚、当前且可复查的依据。人工复核一条样本，具体看什么？下面用一个教学流程展示人工复核的典型顺序。它不是唯一标准，实际字段仍要按业务目标调整。先看问题是否自然。它…

#RAG#评测与上线#RAG 评测集

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…败和降级应该怎样设计？系统投入运行时，失败不会只发生在大模型。 Query 改写可能选错实体。可以回退原问题，或者向用户澄清。 Embedding 服务可能超时。如果系统同时有关键词路线，可以在明确标记降级的情况下只使用 BM25，但要重新应用证据门槛。向量检索可能失败。不能把空候选直接交给模型，让模型凭自身知识回答内部资料问题。 Rerank 可能超时。可以使用融合后的初排结果，但要记录本次未经过精排，并检查候选是否仍满足最低质量。模型服务可能限流或中断。系统可以返回…

#RAG#评测与上线#RAG 系统设计

面试题·模型训练· 海尔

LoRA 低秩分解 vs 全量微调怎么选?

匹配正文：…。参数量必须按实际模块尺寸计算，不能只用隐藏维乘rank漏掉两个矩阵，也不能忽略Q、V两个投影和全部层。若同时训练K、O、MLP或embedding，数量会继续增加。 LoRA不保证任何任务都等价于全参微调。rank过小、目标模块选错、领域偏移很大或数据复杂时会有容量瓶颈；rank提高会增加参数和显存，却不一定单调提高泛化。风格迁移并非LoRA天然不适用，事实上许多生成和语言适配都能学习风格；是否适合要看基座是否已有相关能力、样本覆盖、是否还需新增知识以及质量评测。多适配器服…

#LoRA#参数高效微调#低秩分解

面试题·模型训练· 高德

参数量增长如何影响模型能力?

匹配正文：…通常提升函数容量和样本效率，但效果取决于数据、算力和训练配比。Kaplan等人在特定Transformer实验中拟合到测试损失随非embedding参数规模按幂律下降，参数指数约为0.076，也就是损失项近似N的负0.076次方，而不是负0.74。这个数是经验拟合，不是跨架构常数。大模型训练仍是非凸优化，没有“近似凸”或SGD保证找到全局极小值的结论。机制与边界规模带来的正面作用包括更丰富的表示、更好的少样本迁移和在一定范围内可预测的损失下降。负面是训练计算、通信、显存、…

#缩放定律#过参数化#双下降现象

面试题·模型架构· 海尔

Layer Norm 怎么稳定训练?

匹配正文：LayerNorm 的机制对单个 token 的隐藏向量 x∈R^d，LayerNorm 计算 hidden 维均值与方差，再做 y=γ⊙(x-μ)/sqrt(σ²+ε)+β。它不使用 batch 统计，因此训练和推理的统计口径一致，也适合变长序列。γ、β 可学习，所以最终输出并未被固定为零均值、单位方差。对训练的实际影响数值尺度：限制送入 attention/FFN 的幅度漂移，降低激活或梯度极端放大的风险；优化条件：减少网络对初始化和学习率的敏感性，但不保证固定倍…

#Layer Normalization#Transformer#训练稳定性

面试题·模型架构· 百度

VQ-VAE 码本塌缩治理

匹配正文：…人可解释概念，也可能出现大量code闲置的码本塌缩。机制与边界相比普通VAE的连续随机变量，VQ-VAE让潜变量取有限码本中的向量，并学习一个先验来生成code序列。量化瓶颈可压缩高维图像、音频或视频，也让自回归模型在较短离散序列上建模。训练目标通常包括重建项、码本项和commitment项；码本可用梯度或EMA更新。质量取决于码本大小、潜空间分辨率、下采样率与解码器能力。码本太小信息不足，太大又可能利用率低或训练不稳。应用时要区分家族。VQGAN在感知和对抗损失下学习…

#VQ-VAE#变分自编码器#离散隐空间

面试题·项目与经历· 美团

项目难题怎么定位与解决?

匹配正文：…记录的指标及统计口径】。如果没有对应经历，应明确说没有直接做过，再给出会采用的排查方案，不能借用公司名、期限或收益。以 RAG 质量问题为例，Top3 检索结果差只能说明端到端链路出现了坏样本，不能直接证明 embedding 负样本不足。定位时要按查询类型和文档类型切片，先查知识覆盖率、切分与元数据，再分别测候选召回、重排排序、上下文组装、引用支持和最终答案。召回层至少看 Recall@k 或命中率，排序层看 MRR、NDCG 或人工偏好，生成层看答案正确性、证据支持率和…

#问题定位#工程实践#跨团队协作

面试题·推理优化· 字节

FAISS 怎么实现高效 ANN 搜索?

匹配口述回答：…esidual 设计会共同影响压缩率与误差。IVFPQ 就是先用 IVF 缩小候选，再用 PQ 码估算距离；需要时还可以对候选用原向量重排。实际选型我会在同一查询集上比较 Flat、IVF、PQ、IVFPQ 和 HNSW，统一记录 Recall@K、P50/P95/P99 延迟、吞吐、构建时间、峰值内存和更新成本。IVFPQ 不是所有大规模场景的标配，Flat 也不只属于某个固定数据量。参数和索引类型必须由目标硬件与质量门槛共同决定。带业务过滤条件时还要单独测有效候选是否骤…

#向量检索#近似最近邻搜索#量化压缩

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：…投影、加入输出投影或FFN，会产生不同容量和成本。不同层也可能需要不同预算，AdaLoRA等方法尝试自适应分配。是否解冻norm、embedding或lm head同样是实验变量，不能按深层更重要的口号直接决定。若使用QLoRA，还要把量化误差、计算dtype、量化范围和普通LoRA区分开。QLoRA并不推出需要更大rank；模型能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。最终会同时比较prompt基线…

#LoRA#参数高效微调#故障排查

面试题·模型训练· 得物

LoRA 有哪些局限性?

匹配正文：…但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。 IA3学习少量乘性向量，对注意力和前馈中的激活进行缩放，参数形式与LoRA不同。它可能非常节省参数，但没有普遍证据说明训练一定更稳定或所有任务质量相同。是否能合并、推理成本如何，也需结合具体框架和模型结构。 DoRA把预训练权重的幅度与方向分开，并对方向使用低秩更新，目标是改善LoRA的学习能力。原论文报告了多项实验优势，但这不等于同参数量、同任务和所有rank下都…

#LoRA#参数高效微调#Adapter

面试题·项目与经历· 商汤科技

数据预处理关键步骤与目的

匹配口述回答：…间时区、币种或单位、枚举和消息角色，同时把解析失败送入隔离区，而不是静默丢弃。去重需定义业务语义：文件哈希可找完全重复，文本指纹或向量只能提供近似候选，最终规则要避免删掉含义相近但标签不同的样本。增强与重采样要依据长尾召回、类别不平衡或鲁棒性测试，增强样本标明来源，不能污染验证和测试集。【完整展开】质量验证分为自动约束、统计抽检和任务评测。自动层检查 schema、值域、跨字段关系、敏感信息和来源权限；统计层按来源、时间、语言、难度切片；人工层抽查边界样本并记录错误类型。…

#数据清洗#数据增强#数据采样

面试题·模型架构· 百度

VQ-VAE 与传统 VAE 有何不同?

匹配口述回答：…er、codebook和decoder三部分概括。Encoder先把输入变成连续特征图z_e。对特征图的每个位置，在K个可学习码本向量里找欧氏距离最近的一个，记录它的离散索引，并用对应embedding作为量化表示z_q。Decoder再从z_q重建图像、语音或其他输入。这个最近邻选择是离散操作，不能直接求导。原论文使用straight-through estimator：前向真正送给decoder的是量化后的码本向量，反向时把decoder一侧关于z_q的梯度近似复制给e…

#VQ-VAE#离散表示学习#变分自编码器

面试题·多模态· 百度

MoE 专家网络怎么动态路由?

匹配正文：…型先经过共享 trunk，可以对中间激活池化后参与路由；这属于可学习内容路由，效果必须用消融实验验证。多模态条件：文本或图像条件向量可以作为辅助输入，但“CLIP范数越大=语义越复杂”不是成立的通用规则。两种实现方案做法边界硬路由按 t 或 log-SNR 区间只启用一个专家计算清晰，但阈值附近可能不连续软路由 gate输出权重，做加权或top-k稀疏选择更灵活，但要防专家塌缩并计算路由开销若只有两个按噪声区间训练的专家，硬路由就是可解释的基线；软路由是…

#扩散模型#MoE#噪声调度

面试题·模型架构· 百度

Flow Matching 原理是什么?

匹配正文：…易采样的基分布 p_0 经流映射到数据分布 p_1。训练一个速度场 v_θ(t,x)，回归某条预先选定概率路径 p_t 对应的目标向量场：L_FM=E_{t,x_t~p_t}||v_θ(t,x_t)-u_t(x_t)||²。直接计算边缘向量场可能困难，Conditional Flow Matching 先采样数据端点及条件路径上的 x_t，回归可计算的条件向量场；在相应条件下，它与边缘 Flow Matching 目标具有相同的期望梯度。训练时不需要每个 batch 都数值…

#生成模型#连续归一化流#扩散模型

面试题·模型架构· 字节

LayerNorm vs RMSNorm 原理差异?

匹配正文：…ayerNorm对单个样本或token的指定特征维计算，不依赖batch统计；RMSNorm也沿特征维工作，但只使用平方均值。对向量x，LayerNorm先求均值和方差，用x减均值后除以var加epsilon的平方根，也就是(x-mu)/sqrt(var+epsilon)，再乘逐维gamma并加beta。RMSNorm不减均值，直接用x除以mean(x平方)加epsilon的平方根，再乘gamma。RMSNorm舍弃的是re-centering，保留与整体缩放相关的归一化；…

#Layer Normalization#RMS Normalization#Batch Normalization

面试题·模型架构· 美团

多头注意力原理与QKV拆分陷阱

匹配正文：…维度并经过输出投影。数学上各头可并行，但底层可能用融合kernel完成，不等于真的启动互不相关的任务。位置处理要看架构。绝对位置向量通常在投影前加到token表示；RoPE则对每个头的Q和K成对旋转，使点积带上相对位置信息，V通常不旋转。RoPE原论文给出相对位置性质，但原生配置在训练长度之外并不自动保证稳定效果，实际长上下文常结合频率缩放、插值或继续训练，并在目标长度上验证。内存布局会直接影响性能。reshape和transpose如果产生非连续视图，后续kernel可…

#多头注意力#Transformer#并行计算

面试题·多模态· 快手

多模态架构与训练怎么改进?

匹配正文：…清洗数据，因此把它缩成“视觉编码器加projection”会丢掉关键机制。所谓统一token也不意味着无损。图像离散码、连续视觉embedding、音频codec和文本token都可能压缩原始信号，分辨率、码本、量化和resampler决定信息损失。统一接口的价值是让自回归或共享主干处理多模态，不是保证像素、声学或时序细节完整。对闭源模型只能引用技术报告公开内容，不能从结果反推未披露架构。训练中还要平衡模态比例、重复数据、字幕噪声与语言能力回退。偏好优化也要准确定位。DP…

#多模态架构#跨模态对齐#视觉语言模型

面试题·模型架构· 京东

位置编码怎么选? RoPE vs ALiBi

匹配正文：…频率、训练分布和扩窗方法 ALiBi 对每个头的 attention logit 加与相对距离成比例的线性负偏置简洁、无需位置 embedding，但质量与外推仍需任务评测 RoPE 对位置 m 和维度对子 i 的角度是 m θ_i：(x'_{2i},x'_{2i+1})=R(mθ_i)(x_{2i},x_{2i+1})。这里 m 是 token 位置，i 是特征维度对子，不能混写。旋转后的 Q/K 点积依赖相对位置差。选型要同时看训练长度、目标上下文、模型架构、缓存实现…

#位置编码#RoPE#相对位置编码

面试题·模型架构· 百度

DDPM vs Flow Matching: 建模与训练差异?

匹配正文：…robability-flow ODE 做确定性采样。 Flow Matching 的某条条件路径可以是直线，但不同配对边缘化后的向量场不保证轨迹都直，也不保证单步生成。独立线性配对也不自动等于最优传输。确定性 ODE 不等于没有多样性：从不同初始噪声出发仍可得到不同样本。速度取决于求解器函数评估次数、误差容忍度、模型结构和蒸馏，而不是“随机一定慢、确定一定快”。工程比较应固定模型容量、训练数据、采样预算和质量指标，再报告 NFE、延迟、稳定性及多样性。

#生成模型#扩散模型#流匹配

面试题·Agent· 美团

多智能体系统核心技术难点

匹配正文：…景（如美团外卖调度）阐述技术选型核心技术难点通信与协调智能体间信息共享的带宽瓶颈：状态空间爆炸，需设计紧凑的通信协议（如意图向量而非原始观测）共识达成：分布式决策下的冲突消解，常用拍卖算法、合同网协议或基于LLM的协商任务分解与分配动态任务图的构建：子任务依赖关系实时变化，需支持重规划（replanning）能力匹配：智能体能力建模不准确导致任务分配失衡涌现行为的不可控性协作可能产生预期外的正/负效应，需引入显式的约束层或价值对齐机制架构选择的 Ratio…

#美团#Agent#多智能体系统