匹配口述回答：…采用了这个配置，但没有提供所谓二倍、四倍、八倍完整消融并证明四倍普遍最好。中间维应该和模型深度、attention宽度、参数预算、训练数据、激活函数及硬件一起选择。某个模型使用四倍，只能说明这是成熟起点，不能外推到所有规模和任务。还要纠正一个相关比喻：attention不是纯线性模块。Q、K、V投影本身是线性的，但QK转置形成输入相关分数，之后还有scale、mask和softmax，再对V加权。因此整体attention对输入是非线性的。不能用“attention只做线性…

#Transformer#FFN#维度扩展

面试题·模型训练· 美团

LLM 训练哪步最难?

匹配追问：…训练过程中loss spike了，你会怎么排查？你们有没有遇到过灾难性遗忘，怎么解决的？场景切入假设你在做一个电商客服模型，训练数据来自线上聊天日志。你发现模型在回复时总是重复一些固定话术，查了后发现数据里有很多重复的客服模板。你觉得数据质量对整个训练过程的影响有多大？哪个环节最容易出这种问题？层层追问训练一个大模型，你觉得从数据、算力到算法，哪个环节最难搞定？……如果数据量很大但是质量参差不齐，比如重复、噪声多，会有什么后果？……那相比算力可以用云资源解决，算法有…

#数据工程#训练稳定性#超参数调优

面试题·项目与经历· 美团

Agent 哪项能力最先商业化?

…若缺少这些能力，工具链成熟也可能在升级时产生不可控返工，影响真正的商业复用。说明Coding的工程优势删除估值和市场口径审计训练数据治理成本比较其他能力的真实边界给出分阶段商业验证约4分钟公开GitHub代码为何不能直接视为高质量、低成本且可自由训练的数据。可继续讨论许可证、secret、去重、基准污染和代码审查闭环。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配口述回答：

#智能体商业化#Coding Agent#技术成熟度评估

面试题·多模态· 京东

VLM 基本原理怎么理解?

匹配追问：VLM中的幻觉问题如何缓解？对比CLIP和LLaVA两种架构的优缺点和适用场景如果让你设计一个电商商品理解VLM，你会如何构建训练数据和任务设计？场景切入假设你做一个智能相册助手，用户上传一张照片问‘这是哪里拍的’，模型需要同时理解图片内容和你问的文本。你会怎么设计这个模型，让它在看到一张图的同时也能看懂文字问题？层层追问多模态模型你怎么把图像和文本喂进去？……它们特征空间不一样，怎么让模型理解它们之间的关系？……现在主流做法是用一个轻量模块去桥接，你能讲下具体怎…

#视觉语言模型#多模态对齐#CLIP

面试题·多模态· 快手

多模态融合与对齐怎么改进?

匹配口述回答：…的信息，降低连接成本。但它不是“有了 Q-Former 就解决视频帧间关系”。视频还需要时间位置、帧间注意力、运动特征或明确的时序训练数据。第三层是效率。可以冻结部分编码器、用 LoRA 等参数高效方法、对视觉 token 做 resampling、按内容选择分辨率，或者先对齐再指令微调。数据侧要做去重、配对质量、OCR 与细粒度描述检查。不过“百分之十高质量数据一定胜过百分之百低质量数据”只是口号。正确做法是固定训练 token 和模型，比较不同筛选策略对 groundi…

#模态融合#跨模态对齐#训练效率

面试题·Agent· 得物

Agent 大模型优化三方向

匹配追问：…务规划？层层追问现在大模型做Agent主要靠提示词驱动，你觉得够用吗？……如果不够，模型本身需要做什么变化？……比如输出格式、训练数据，或者模型结构上有什么要优化的？直球架构要让大模型原生支持Agent能力，比如任务分解、工具调用、环境交互，你觉得在模型架构、训练目标和输出格式上分别需要做哪些针对性优化？请从这三个方向具体讲讲设计思路。

#得物#Agent#Agent 大模型优化

面试题·Agent· 得物

大模型记忆机制怎么改进?

匹配口述回答：…窗口本身。像现在的 Ring Attention 或者 StreamingLLM，能把有效窗口从4K推到1M以上。但这里有个前提，训练数据必须够长，不然模型学不会长距离依赖。推理时还要优化 [[KV Cache]]，不然内存会爆。另一种思路是分层记忆架构，比如MemGPT，它模拟操作系统的内存管理：主上下文就放当前最相关的信息，像内存一样有限，外部记忆像磁盘，需要的时候通过[[函数调用]]去读写。这样模型可以自主决定什么时候存档、什么时候回忆。再一个层面是外部记忆模块，说白…

#得物#Agent#大模型记忆机制

面试题·Agent· 小红书

生成式推荐系统有哪些改进方向？

匹配口述回答：…PO 系统集成：RAG加Agent深度整合落地风险与判断收尾约4分钟点击与未点击有曝光/位置偏差，生成的理由也不是天然高质量训练数据。怎样构造同一上下文的可靠偏好对，并用独立评测比较DPO、在线RL和不训练基线？

#小红书#Agent#生成式推荐系统

面试题·Agent· 小红书

LLM 输出格式不规范怎么修?

匹配口述回答：…延伸点：如果模型本身不支持结构化输出约束，比如开源小模型，光靠提示工程和后处理可能不够，那就要考虑微调了。比如用[[LoRA]]在训练数据里加入格式正确的样本，让模型从底层学会输出JSON。但这又涉及数据成本和模型更新频率的问题。所以我的判断是，没有银弹，关键是根据错误容忍度设计降级链路：先解析，失败就重试，再失败就规则兜底，最后人工介入。我更倾向把提示工程和后处理作为标配，硬约束按场景按需引入，这样既灵活又可控。本质是平衡软约束、硬约束和容错提示工程层：Few-sho…

#小红书#Agent#LLM 输出格式规范

面试题·Agent· 高德

ReAct 框架核心优势在哪?

匹配口述回答：…各的适用场景。举个例子，客服退款场景。用户说“我买了个东西，但商家说满减政策变了，少退了50块”。纯 CoT 的话，模型只能根据训练数据猜测，很可能给出错误解释。用 ReAct 呢，模型会先 Thought：我需要查最新的满减政策。Action：调用政策查询接口。Observation：拿到政策原文，发现确实有调整。然后 Thought：再查用户的订单和实际退款金额。Action：调用订单查询接口。Observation：发现退款金额确实少算了。最后 Thought：那差额…

#高德#Agent#ReAct 框架

面试题·Agent· 百度

Tool Use 实现方法有哪些?

匹配口述回答：…，比如金融风控里要调几十个内部API，或者需要完全私有化部署。优点是工具集可定制，不受Prompt长度限制。但前提是你要有高质量的训练数据，构建成本很高，而且泛化性依赖训练质量，换一个领域可能就不行了。实际生产里，我倾向于混合路由。用户query进来，先过一个意图分类模型，决定是直接回答、调用工具还是追问澄清。调用工具时，我会加一层参数校验，比如JSON Schema校验加类型转换兜底。如果调用失败，把错误信息回传模型，让它自我修正。多个独立工具可以并发，有依赖的按拓扑排序…

#百度#Agent#Tool Use 实现方法

面试题·Agent· 百度

Agent 系统性能优化陷阱

匹配口述回答：…Self-RAG]] 的思路，让模型在生成过程中自己判断是否需要检索，而不是每次都查外部知识库，这样能减少不必要的工具调用。但它的训练数据构造比较麻烦，而且对模型本身的推理能力有要求。所以整体上，我会把Agent性能优化看成一个工程系统问题，不是单点优化。推理要快，工具要稳，错误要能兜底。我更倾向优先保证工具层的可靠性，因为推理再快，工具挂了也是白搭。如果让我选一个最值得投入的方向，我会选结果验证和熔断降级，这是让Agent能在生产环境跑起来的底线。一句话定位：Age…

#百度#Agent#Agent 性能优化

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配口述回答：…l，直接用偏好对就行，适合快速验证。等DPO跑通，我再换[[PPO]]精细优化，PPO更稳定，但需要充足的reward model训练数据。说白了，落地时常常DPO和PPO一起上，先快后稳。评估体系我建了自动指标、人工评估和在线A/B测试的闭环。自动指标看工具调用准确率、任务成功率和[[幻觉]]率；人工评估用Likert 5分打有用性、安全性和流畅度；在线评估就看真实用户留存和任务完成率。迭代优化靠数据飞轮，线上bad case人工标注后加入训练，同时用当前模型生成hard…

#美团#Agent#Agent 训练链路

面试题·评估· 淘天

现代RAG架构有哪些改进?

匹配口述回答：…。另外有个点值得注意，就是这些反思token是怎么训练出来的？像Self-RAG是用了[[SFT]]来教模型输出这些控制信号，但训练数据构造本身就很讲究，比如负样本怎么采样，直接关系到模型会不会过度依赖检索。本质是检索和生成从单向变成双向互动边界划分：自适应路由 vs 固定流程业务场景：客服退款，动态决定是否检索落地风险：检索质量不稳定、延迟、成本我的判断：用迭代检索+反思机制，但控制轮次约4分钟反思token的训练数据构造，特别是负样本采样方式会影响模型是否…

#淘天#评估与监控#RAG架构改进

面试题·评估· 美团

RAG 解决了哪些问题?

匹配追问：场景切入假设你在做电商客服助手，用户问的很多问题都需要最新库存和实时价格，但模型训练数据是几个月前的。你怎么保证它不瞎编、能给出准确答案？层层追问你们做的大模型项目，有没有遇到模型信口开河的情况？……那你们怎么让模型能引用最新的文档或数据库来回答？……具体怎么把检索和生成结合起来呢？直球架构请阐述你对RAG技术的理解，包括离线阶段和在线阶段的流程，以及在你的RAG项目中解决了哪些具体问题，带来了哪些可量化的效果提升？

#美团#混合检索#RAG 技术

面试题·评估· OPPO

意图识别在 RAG 中怎么用?

匹配口述回答：…杂意图识别不准。常见失败场景是用户用口语化表达，比如“这玩意儿咋退”，意图识别可能判成闲聊而不是退款咨询，导致检索错误。所以前提是训练数据要覆盖足够多的真实用户Query变体，不然上线后效果会崩。所以我会更倾向用轻量级模型比如BERT做初分，快速过滤掉明显无关的查询，再对大模型拿不准的复杂意图做二次确认。这样既能保证速度，又能处理模糊场景。不过这里有个延伸点，就是当意图识别和外部工具联动时，比如识别到“查库存”意图后触发 [[Function Calling]]，怎么保证调…

#OPPO#RAG 意图识别#RAG

面试题·模型微调· 同花顺

Agent 规划能力怎么训练?

匹配追问：…一个客服Agent，用户问“我要退换货”，Agent需要先查询订单、再判断退货政策、最后生成退货单。你怎么让模型学会这种多步规划？训练数据怎么来？层层追问你训练过Agent的规划能力吗……一般用什么方法？……如果模型总是第一步调错工具，或者中途放弃，你会怎么改进？……那在RL阶段呢，结果奖励够用吗？直球架构说一下提升LLM Agent规划能力的技术路线。从SFT数据构建到RL优化，再到测试时扩展，每个阶段的关键方法是什么？

#同花顺#Agent#Agent 规划能力

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配口述回答：…学习能力，如果模型本身对示例的利用效率低，比如更倾向于依赖预训练知识而不是示例，那Few-shot的效果就会打折扣。这其实跟模型的训练数据和[[Instruction Tuning]]策略有关。所以总的来说，我会把Few-shot看成一种低成本、高灵活性的适配手段，但前提是任务模式能被少量示例定义清楚，而且基座模型足够强。如果数据够多、需求稳定，我倾向微调；如果任务简单，Zero-shot就够了。更多时候，我会用Few-shot搭RAG来覆盖那些模式复杂、知识又需要动态更新…

#华为#Few-shot 提示#Zero-shot 对比

面试题·模型微调· 字节

RAG Embedding 模型怎么选?

匹配口述回答：…ding模型时，不同构造策略（对比学习 vs 排序学习）对效果影响很大，且不是所有模型都支持微调。面试官可能会追问：具体怎么构造训练数据？对比学习和排序学习分别适用于什么场景？

#字节#向量检索#RAG Embedding 选型

面试题·模型微调· 百度

怎么提升对话模型事实一致性?

匹配追问：…用户问“这款手机屏幕多大”，你答对了。接着他问“拍照呢”，你回答时却把参数说错了。这种事实不一致的情况，你觉得是模型架构的问题还是训练数据的问题？怎么系统性地解决？层层追问你觉得大模型为什么会产生幻觉？……那除了训练数据，在模型架构上有没有办法让生成更依赖外部知识而不是记忆？……再具体点，推理时有没有什么技巧能强制模型输出和检索结果一致的内容？直球架构请从模型架构、训练策略、推理优化和外部知识集成四个角度，聊聊提升大模型生成事实准确性的有效方法，重点说清楚每种方法的核…

#百度#模型微调#评估与监控

面试题·RAG

RAG 和微调怎么选？

匹配口述回答：…钟 RAG不是万无一失，检索质量是瓶颈，需要靠Rerank保障Top5文档质量。面试官可能会追问Rerank的具体做法、如何构造训练数据、怎么评估检索效果。

#入门#基础概念#RAG和微调的区别

面试题·模型微调

LoRA 是什么?为什么能省这么多资源?

匹配口述回答：…另外，LoRA 的秩 r 和缩放系数 alpha 怎么选，其实很依赖具体任务，一般 r 取 8 到 64，alpha 根据 r 和训练数据调整。面试官如果追问，可以展开聊聊不同层挂 LoRA 的效果差异。一句话定位：LoRA 是参数高效微调，核心假设是微调改动本身信息量小直觉理解：像改西装袖长，不用重做整件衣服资源节省：梯度和优化器开销大幅降低，消费级显卡就能跑工程优势：推理零延迟、多任务热插拔约2分钟 LoRA 的秩 r 和缩放系数 alpha 的选择策略面试官…

#入门#基础概念#LoRA 微调

面试题·知识图谱· 淘天

GraphRAG 技术难点有哪些?

匹配口述回答：…一般用检索-剪枝-[[重排]]三级流水线，先用向量相似度召回候选子图，再用GNN或大模型做路径重排序。但这里有个风险，重排模型如果训练数据有偏，会过度拟合某些路径，导致多样性下降，上线后用户问几个不同角度的问题，结果都返回同一类路径。可扩展性，存储上属性图和RDF三元组各有适用场景，十亿级边图得用分布式图数据库。计算上子图提取的实时性和图神经网络预计算开销之间需要权衡。成本上，LLM做图摘要的token消耗远高于标准RAG的chunk检索。举个例子，电商场景里商品知识图谱有强…

#淘天#多模态#GraphRAG 难点

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配口述回答：…户问题，生成最终回答。这里有个大坑：跨模态语义对齐。说白了，怎么让“一只黑猫”的文本描述和一张黑猫的图片在向量空间里距离足够近。训练数据如果不够好，或者模态差异太大，比如音频和视频，对齐就很难。我上线前一定会用一批人工标注的query去测召回质量，看看图文是否真的匹配。另一个坑是索引构建：图像怎么切分？视频关键帧怎么抽？音频怎么分片？这些都得根据具体模态和数据特点来设计，没有通用方案。举个例子，电商智能导购。用户上传一张穿搭图，想找类似的商品。系统先对图片做编码，在[[向…

#阿里#多模态#Multi-modal RAG