匹配追问：…效果变差？如果要在自己的模型中从LayerNorm切换到RMSNorm，需要注意哪些训练技巧？除了RMSNorm，还有哪些针对Transformer的归一化改进（如Pre-LN、Post-LN、Sandwich-LN）？场景切入假设你在做一个千亿参数的对话模型，线上推理延迟很敏感。你会怎么选归一化层？LayerNorm和RMSNorm，哪个对推理提速更明显？层层追问大模型里归一化层你常用哪些？……LayerNorm和RMSNorm公式上有什么关键区别？……那在训练…

#LayerNorm#RMSNorm#归一化技术

面试题·Agent· 美团

多轮 Agent RL 难在哪?

匹配正文：…。方案：采用细粒度奖励建模：对每轮回复进行即时评估（流畅度、相关性）引入蒙特卡洛树搜索（MCTS）或Actor-Critic架构，利用价值函数估计中间状态使用RNN/Transformer状态编码，显式建模对话历史对当前决策的影响 2. Agent动作执行的奖励稀疏性问题：工具调用成功/失败是稀疏信号，探索效率低。方案：分层奖励设计：意图识别正确→参数填充正确→API调用成功→最终结果满足用户，逐级分解课程学习（Curriculum Learning）：从简单…

#美团#Agent 强化学习#多轮对话 RL

面试题·Agent· 字节

Attention 在 Agent 多轮对话有哪些局限?

…文工具调用链参数错误、重复调用已失效API 工具文档/历史结果遗忘个性化服务用户偏好"失忆" 长期画像信息稀释优化方向架构层面稀疏Attention：Longformer（全局+局部）、BigBird（随机+窗口+全局），降复杂度至O(n) 线性注意力/状态空间模型：RWKV、Mamba，以RNN式隐状态替代KV Cache，支持无限长上下文记忆增强分层记忆：工作记忆（当前上下文）+ 短期记忆（会话摘要）+ 长期记忆（向量数据库检索）显式记忆写入：关键信息…

← 上一页第 3 / 3 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：

#字节#淘天#Agent

面试题·Agent· 小红书

长序列怎么压缩与摘要?

匹配正文：…行为重要性采样按点击/停留时长/转化权重筛选Top-K 行为质量差异大的场景双路召回短序列走精排，长序列走粗排召回工程分层架构小红书场景：笔记浏览序列中，收藏/点赞/完播应比快速划过获得更高保留优先级。二、记忆增强：外部化存储与压缩 1. 外部记忆网络（Memory Network）用Key-Value结构存储历史item的embedding 当前query与memory做注意力读取，类似RAG检索代表：DIN中的Activation Unit、Tran…

#小红书#Agent#长序列压缩

面试题·评估· 字节

Attention 在多轮对话中有什么局限?

匹配追问：…次很多，历史越来越长，你觉得计算上会有什么问题？……那KV Cache呢，会不会撑爆显存？还有位置编码，超出训练长度怎么办？直球架构考虑基于Transformer的Agent系统做多轮对话，标准Attention有哪些局限性？从计算复杂度、显存占用和位置编码外推能力这几个角度说说。

#字节#评估与监控#Attention 局限性

面试题·推理优化

KV Cache 是什么?为什么能加速推理?

匹配正文：…算自己的再与缓存拼接,典型的空间换时间代价是显存:缓存随序列长度和并发数线性增长,长对话高并发下可能比模型权重还占显存它是因果Transformer自回归推理中的常用优化，也是PagedAttention等缓存管理的基础；具体缓存策略依架构和框架配置。核心概念 KV Cache(键值缓存)是大模型推理时,把注意力计算中每个已处理 token 的 Key 和 Value 向量缓存在显存里、避免重复计算的优化技术。背景是:大模型生成文本是自回归的——答案一个 token 一…

#入门#基础概念#KV Cache

面试题·检索· 字节

RAG 为什么需要 Re-ranking?

匹配正文：…——query和doc分别编码，缺乏细粒度交互，容易召回语义相关但不够精准的文档。重排的核心作用维度召回阶段重排阶段模型架构双塔（Bi-encoder）交叉编码器（Cross-encoder）交互方式无交互，独立编码拼接输入，深度交互计算成本低（可预计算doc向量）高（需实时推理）精度粗粒度语义匹配细粒度相关性判断交叉编码器将query+doc拼接输入Transformer，通过注意力机制捕捉token级交互，能识别"苹果（公司）vs 苹果（…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

召回模型怎么搭建?

匹配正文：整体架构：双塔模型（DSSM）推荐召回的核心是向量检索，主流方案是双塔结构：User塔和Item塔分别编码，点积计算相似度，线上通过ANN快速检索。关键环节设计 1. 特征工程塔核心特征设计要点 User塔用户ID、画像标签、历史行为序列行为序列用Pooling或Transformer压缩，避免长序列直接输入 Item塔物品ID、类目、标签、文本/视觉内容内容特征需预训练（如BERT、CLIP），保持与User塔维度一致关键权衡：ID特征记忆性强但泛化差，…

#Tiktok#负采样与向量索引#召回模型搭建

面试题·RLHF与对齐· 美团

长周期 Agent 如何建模与规划?

匹配正文：…务的建模先把任务写成 MDP 或 POMDP：明确观测、动作、转移、奖励、终止/截断和约束。部分可观测时，策略可使用历史、循环/Transformer memory 或 belief state。把最终目标分解为可验证子目标，但避免用容易刷分的过程代理替代真正成功。三条可选技术路线 Model-free 与层级 RL：高层选择 option/子目标，低层执行原子动作；配合 n-step、GAE 或目标条件学习做信用分配。 Model-based planning：学习或使…

#长周期任务#分层强化学习#稀疏奖励

面试题·模型训练· 得物

LoRA 有哪些局限性?

匹配正文：… modules中，最优配置对模型和任务敏感。复杂任务不等于真实更新必然高秩，只有消融才能判断容量是否不足。 Adapter通常在Transformer层中插入带瓶颈的可训练模块，引入额外前向层和非线性；它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。 IA3学习少量乘性向量，对注意力和前馈中的激活进行缩放，参数形式与LoRA不同。它可能非常节省参数，但没有普遍证据说明训练一定更稳定或所有任务质量…

#LoRA#参数高效微调#Adapter

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：…格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为HTML/Markdown/JSON，保留行列关系；复杂表格做截图+结构化双路存储图片 OCR提取文本（PaddleOCR/EasyOCR）+ 视觉特征编码（CLIP/SigLIP）；图表类需解析为结构化数据版面分析 LayoutLM、YOLO等检测文档结构，建立阅读顺序 2. 向量化策略分离编码：文本走BERT…

#小鹏#多模态#RAG 表格处理

面试题·RAG· OPPO

用户兴趣模型：数据与特征取舍

匹配正文：…标签召回、协同过滤、图神经网络（社交关系）精排层多目标优化：点击+互动+关注+时长，用MMoE或PLE结构序列建模：DIN/Transformer捕捉短期兴趣，长期兴趣用记忆网络冷启动策略新用户：基于相似人群（Lookalike）+ 热门兜底新内容：内容理解模型（图文多模态）预打标签，快速匹配潜在人群四、模型更新策略模块更新频率机制实时兴趣向量分钟级 Flink流式处理用户行为，增量更新Embedding 模型参数小时级/天级在线学习或日全量训练，…

#小红书#用户兴趣建模#用户兴趣模型

面试题·检索· 字节

RAG 重排序怎么选?

匹配正文：…Top-N的相关性。主流重排序方法方法原理适用场景交叉编码器（Cross-Encoder） Query+Doc拼接输入，Transformer输出相关性分数精度要求高、延迟可接受 ColBERT 延迟交互，token级相似度计算，兼顾效率和精度中等延迟、长文档场景多路融合向量检索 + BM25 + 稀疏向量（如Splade）结果融合数据分布复杂、单一通道不足 LLM-based重排用GPT-4/Claude等直接打分或生成排序理由极高精度需求、成本不敏…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

RAG 中 Re-ranking 怎么用?

匹配口述回答：…苹果手机退款政策”和“iPhone退货流程”这种语义相近但表述不同的匹配，它就很难抓住。重排模型就是来补这个 gap 的。具体到架构，RAG 的检索链路其实是个两阶段流程。第一阶段用 [[ANN]] 做快速召回，比如从几百万文档里捞回 top 100 到 1000，这个阶段追求的是召回率，别把相关文档漏掉。第二阶段，在这个小候选集上，用重排模型做精细排序，把最相关的 top 5 到 10 个送进生成模块。说白了，第一阶段是海选，第二阶段是决赛。这里有个边界划分的问题。很多…

#字节#重排与优化#RAG Re-ranking

RMSNorm推理效率更高吗?

多轮 Agent RL 难在哪?

Attention 在 Agent 多轮对话有哪些局限?

长序列怎么压缩与摘要?

Attention 在多轮对话中有什么局限?

KV Cache 是什么?为什么能加速推理?

RAG 为什么需要 Re-ranking?

召回模型怎么搭建?

长周期 Agent 如何建模与规划?

LoRA 有哪些局限性?

RAG 中表格图片怎么处理?

推荐不准的分层诊断

用户兴趣模型：数据与特征取舍

RAG 重排序怎么选?

RAG 中 Re-ranking 怎么用?