匹配正文：…radley-Terry 偏好模型与 KL 正则化 RL 目标的重参数化，把偏好学习写成一个二元分类形式的损失工程链路更接近监督微调，但它对神经网络参数的优化仍然是非凸的，不能说“DPO 损失是凸的” 四维度对比维度 PPO DPO 算法原理 on-policy 采样后按奖励和优势更新策略在固定偏好对上提高 chosen 相对 rejected 的隐式奖励差实现复杂度高：rollout、奖励模型、价值函数、KL 和多模型显存都要管理较低：无需奖励模型与在线采样，但…

#DPO#PPO#RLHF

面试题·推理优化· 百度

模型优化方法有哪些？

匹配正文：…们属于模型注意力结构。已有 MHA checkpoint 不能靠服务开关无损变成 GQA/MQA；结构转换需要权重映射、继续训练或微调，并重新验证质量。部署侧关注模型格式、kernel 支持、冷启动、请求调度、自动扩缩、监控和回滚。优化必须固定模型、数据、硬件、精度、输入输出长度和并发，联合比较任务质量、TTFT、TPOT、吞吐、峰值显存与成本。

#模型量化#KV Cache优化#分布式训练

面试题·评估· 百度

LLM 准确性提升四大路径

匹配正文：…可帮助某些组合推理任务，也会生成看似合理的错误步骤。自一致性只说明多个采样同意，不等于事实正确。解码参数、验证器和工具执行应按任务选择，代码用测试，数学用可检查计算，不能靠一条统一prompt解决。外部增强方面，RAG能把回答连接到可更新语料，但仍可能召回错误、忽略证据或错误引用。工具调用可以把搜索、计算和数据库查询交给外部系统，同时新增权限与注入风险。检索质量、证据支持率、答案忠实度和拒答都需单独评测。我的实验会先建立无增强基线，再分别加入数据改进、偏好优化、推理提示、…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#数据质量#训练策略#推理优化

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…pt分布或实现错误，不能只用一个阈值触发同步reference，更不能把自动同步写成标准RLHF机制。在新的训练迭代中，团队可以选择把经过完整验收的新策略作为下一轮SFT或RLHF的起点，并重新冻结一个reference。也可以因为模型架构、tokenizer或目标分布变化而重新定义baseline。但这是版本级决策，要重新建立对照、评测回归和可追溯配置，不是在一个run中无条件更新。 DPO同样常使用固定reference策略来构造相对偏好目标，它不需要在线rollout…

#RLHF#Reference Model#PPO

面试题·多模态· 得物

多模态异构数据怎么统一存储?

匹配口述回答：…ctor或adapter。常见策略是冻结成熟的视觉、音频和文本基座，只更新连接层，先降低训练成本；如果数据量和任务支持，也可以联合微调部分基座。所谓“冻结投影层同时训练对齐”自相矛盾，必须明确究竟哪些参数在更新。索引有两条路线。对齐证据充分时，可以把不同模态映射到共同空间并使用统一ANN索引，支持文搜图、图搜文等跨模态查询。若还没有可靠共同空间，应按模态维护独立索引，各自取候选，再做late fusion。各索引的原始相似度没有天然共同标尺，需要在验证集上做温度或分位数校准…

#多模态融合#特征对齐#向量数据库

面试题·模型架构· 安克科技

GPT vs BERT 核心区别在哪?

匹配追问：为什么GPT系列选择Decoder-only架构而不是Encoder-Decoder？ BERT的[MASK]在下游微调时如何处理？现在流行的LLaMA、ChatGLM等属于哪种范式？与GPT/BERT的关系是什么？场景切入假设你要做一个电商智能客服，用户问‘订单发货了没’，你打算用BERT还是GPT来理解这句意图并给出回复？说说你的选型思路。层层追问聊一下预训练语言模型……GPT和BERT你觉得核心区别是什么？……那如果任务是情感分类，你会选哪个？……生成式任务呢…

#自回归模型#自编码模型#Transformer

面试题·评估· 百度

面试高频论文怎么选?

匹配正文：只讲实际读过并能定位原文的论文可从以下公开材料中选择真实阅读项，不必假装全部精读： Llama 2: Open Foundation and Fine-Tuned Chat Models，2023：公开预训练模型与 Llama 2-Chat，详细讨论 SFT、reward model、rejection sampling 和 PPO 等后训练与安全评测。 The Llama 3 Herd of Models，2024：覆盖 Llama 3 的预训练、后训练、长上下文、多语言…

#技术前沿追踪#论文阅读#大模型发展趋势

面试题·多模态· 快手

多模态融合与对齐怎么改进?

匹配口述回答：…序训练数据。第三层是效率。可以冻结部分编码器、用 LoRA 等参数高效方法、对视觉 token 做 resampling、按内容选择分辨率，或者先对齐再指令微调。数据侧要做去重、配对质量、OCR 与细粒度描述检查。不过“百分之十高质量数据一定胜过百分之百低质量数据”只是口号。正确做法是固定训练 token 和模型，比较不同筛选策略对 grounding、幻觉和长尾任务的影响，再决定删多少数据。第四层是泛化和评测。我会把单模态能力、跨模态 grounding、OCR、空间关…

#模态融合#跨模态对齐#训练效率

面试题·项目与经历· 字节

大模型 vs 搜推小样本特征怎么融合?

匹配正文：…上看延迟、成本和业务目标；严格按时间切分，防止未来行为泄漏。任何“某公司采用某方案”的说法都要有公开出处，否则只描述可验证的架构选择。

#特征工程#迁移学习#多模态融合

面试题·Agent· 美团

ReAct与Plan-and-Execute 上下文管理差异?

匹配口述回答：…-Execute不是二选一，而是根据任务可预估程度和步骤数来选。我更倾向以Plan-and-Execute为骨架，ReAct做局部微调，同时做好上下文管理和重试兜底。一句话定位：本质是动态决策与静态规划的选择 ReAct的上下文线性增长与灵活纠错 Plan-and-Execute的规划开销与全局一致性真实业务场景对比与混合方案落地风险与工程师取舍约4分钟用Function Calling让模型自主决定何时切换ReAct和Plan-and-Execute 面试官可能追…

#美团#Agent#ReAct vs Plan-and-Execute

面试题·Agent· 同花顺

Agent 开发技术栈怎么选?

匹配口述回答：…【硬件配置】和【评测方式】；否则说明为什么当前任务无需训练。【事实填空】我负责【本人交付】，依赖团队提供【平台或服务】。工具从【选择】到【参数校验】、【执行】、【结果验证】再到【失败恢复】的链路是【】。方案与【真实备选】比较时，使用【任务成功率、工具选择准确率、延迟、成本和故障率】作为指标，实际结果为【真实记录】，不是题库预填数字。【证据自检】回答前核对依赖文件、训练或评测日志、工具 schema、trace、压测记录与回滚方案。任何无法复算的提升都删掉。【追问入口】可…

#同花顺#Agent#Agent 技术栈

面试题·文档处理· 字节

文本块怎么转向量并建索引?

匹配口述回答：…保持语义完整，不能把一句话砍成两半，否则后面检索召回的内容会莫名其妙。嵌入模型选型上，Sentence-BERT是通用场景的默认选择，计算快、效果稳。如果垂直领域有标注数据，比如金融合同或医疗病历，我会用BERT-based做领域微调，用[[LoRA]]避免灾难性遗忘。OpenAI的text-embedding-3开箱即用，多语言支持好，但成本按量计，适合快速验证。SBERT-WK能捕捉不同层级语义，但实际用得少，因为大部分场景单层就够了。接下来是向量索引和数据库。索引结…

#字节#文档处理#向量检索

面试题·评估· 美团

RAG 仍会幻觉的原因

匹配口述回答：…三个关键机制：事实锚定、上下文约束、来源追溯业务例子：客服退款政策边界：检索失败、文档冲突、推理错误、截断落地取舍：RAG+微调+验证约4分钟 RAG落地时检索质量是关键，需要混合检索和重排，同时搭配微调处理高频更新知识。面试官可能会追问混合检索的具体实现、重排模型的选择、或者RAG与微调如何分工。

#美团#检索证据质量#RAG 仍会幻觉的原因

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配正文：…关键文档放首尾、压缩/摘要减少长度、显式引用机制 4. 知识冲突与幻觉检索内容与大模型参数知识矛盾时，模型可能"固执己见"或随机选择改进：置信度校准、检索内容高亮标记、source attribution强制引用三、系统层面局限 5. 延迟与成本检索+重排+生成链路长，首token延迟高改进：检索缓存、预计算embedding、流式生成、推测解码 6. 复杂推理场景失效多跳问答、对比分析、数值计算等需要综合多源信息时表现差改进：引入Agent（ReAct迭代检索…

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 蚂蚁

大模型客服评估：伪代码与指标

匹配口述回答：…、成本、置信度，以及人工闭环工程师判断：更倾向规则优先+模型补充，留复核兜底约4分钟低置信度样本自动流入人工复核，既用于持续微调模型，也用来发现规则引擎的盲区面试官可能会追问人工复核的流程设计、样本选择策略、以及如何用这些数据反哺规则引擎

#蚂蚁#客服质量评估#大模型评估系统

面试题·评估· 安克科技

评估集防泄漏与复现

匹配正文：…忠实度：答案是否基于检索内容，有无幻觉答案完整性：是否覆盖用户问题的全部意图 Agent评估重点工具调用准确性：参数解析、工具选择、调用时机规划合理性：任务分解步骤是否最优、能否处理失败回退多轮状态追踪：上下文记忆与槽位填充关键原则：任务设计必须从真实日志采样，而非人工臆造理想query。二、标注策略：三层质量控制层级方法目的初标领域专家+标注指南建立标准复核交叉验证（≥2人）+ Cohen's Kappa 一致性检验仲裁专家委员会处理分歧样本…

#安克科技#评估与监控#Agent

面试题·Prompt

Few-shot 和 Zero-shot 是什么意思?

匹配正文：…2~5 个即可——放太多占上下文窗口，效果还未必更好。入门之后，可以往上下文学习的机制、示例的动态检索挑选、few-shot 与微调的对比选型深入。

#入门#基础概念#Few-shot

面试题·知识图谱· 字节

RAG 技术原理和实现流程

匹配口述回答：这道题其实是在问，当大模型知识不够用或者不准确的时候，怎么用外部知识库去补它的短板。[[RAG]] 和微调是两条不同的路，微调适合让模型学特定风格或固定知识，但你要它回答实时变化的政策，比如电商平台的满减规则，微调一次成本高还跟不上更新，这时候 RAG 就派上用场了。实际落地中，我经常是 RAG 加微调一起上，微调解决回答的语气和格式，RAG 提供最新的事实，两者互补。具体说一下 RAG 的实现流程，核心就是离线建库、在线检索、增强生成三个阶段。离线建库这块，第一步是文档解…

#字节#检索生成流程#RAG 技术原理

面试题·知识图谱· 海尔

训练/推理/外部知识怎么选?

匹配正文：…工持续反馈闭环：线上幻觉案例回流训练数据核心思路：幻觉无法完全消除，需构建"预防-检测-缓解"的多层防御体系，根据业务风险等级选择技术组合。

#海尔#外部知识集成#大模型幻觉

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配口述回答：…和图片检索各出一批结果再合并。落地时我通常走混合方案：表格存结构化文本加截图双向量，关键图片存 OCR 文本加视觉向量，让系统按需选择。再说到生成阶段，LLM 能不能直接吃图片，取决于模型能力。如果用的模型原生支持多模态，比如 Qwen-VL，那直接把图片 base64 传进去就行；如果不支持，就只能把图片转成描述文本，比如用视觉模型生成一段 caption，再跟文本一起喂给 LLM。表格的话，我倾向用 Markdown 格式，因为 LLM 对 Markdown 的理解力比…

#小鹏#多模态#RAG 表格处理

面试题·Prompt· 百度

Agent系统架构怎么选？

匹配正文：答案要点明确Agent核心能力边界（规划、记忆、工具、执行）阐述ReAct/CoT等推理范式选择依据设计可扩展的工具注册与调用机制说明记忆模块的分层设计（短期/长期）考虑安全与异常处理机制整体架构：分层解耦的模块化设计 ┌─────────────────────────────────────┐ │ 交互层 (API/GUI) │ ├─────────────────────────────────────┤ │ 推理引擎层 │ ReAct/CoT规划器 │ │…

#百度#评估与监控#Agent

面试题·Prompt· 阿里

Prompt优化怎么评估准确性与效率？

匹配口述回答：…线指标看板，把当前版本的表现跑透，然后小流量A/B验证，避免全量上线后发现问题回滚困难。最后我想提一个延伸点：Prompt优化和微调怎么配合？比如有些场景下，光改Prompt不够，还得结合少量数据微调才能稳定提升。但微调成本高，而且可能破坏原有能力。所以我的取舍是：优先用Prompt优化，因为它轻量、可回滚；只有当优化效果不显著或者稳定性太差时，才考虑微调。这个选择其实取决于业务对稳定性和迭代速度的要求。所以整体上，我更倾向于把Prompt优化评估看成一套持续监控体系，而…

#阿里云#Prompt工程#评估与监控

面试题·Prompt· 字节

Prompt 工程方法怎么选?

匹配口述回答：…索，看能不能找到更好的离散模板，然后固定下来用。如果后面要大规模部署，我可能会把CoT模板转成软提示，用Prompt Tuning微调几轮，效果还能再涨几个点。这里有个坑：连续提示虽然效果好，但换模型版本或者换底层LLM，那串向量可能就废了，得重新训。所以上线前我会特别关注模型的版本锁定，如果未来有升级计划，离散模板更稳妥。还有一个点值得注意：连续提示的迁移性问题其实比想象中更严重。我试过把同一个软提示从Llama 2 7B搬到13B，效果直接掉一半，因为模型内部的表征分布…

#字节#Prompt Engineering 方法#Prompt Tuning vs AutoPrompt

面试题·RAG· 百度

对话模型准确性怎么提?

匹配正文：…下文；具体长度和质量取决于模型及训练配置。更长窗口能减少截断，但不能代替检索质量与事实核验。二、训练策略层面数据质量提升指令微调数据：过滤低质量指令，引入思维链（CoT）数据增强推理能力知识边界标注：明确标注"已知/未知"样本，训练模型识别知识盲区对齐训练 DPO 与 GRPO 分开理解：DPO 用偏好对直接优化策略，无需另训显式奖励模型；GRPO 是基于组内奖励计算优势的强化学习方法，省去的是 critic/value 模型，奖励仍需来自奖励模型或可验证规则。二者…

#百度#对话模型准确性#模型架构优化