匹配正文：…0%随机抽样+100%对抗集人工复核多样性维度设计文档维度类型：结构化表格、非结构化文本、图文混排长度：短片段（<512 token）、长文档（>4k token）领域：单领域深度 vs 跨领域混合问题维度答案位置：头部/中部/尾部/跨文档复杂度：单跳检索 → 多跳推理 → 数值计算 → 时序推理挑战性：显性答案 vs 隐性推断 vs 需要否定回答关键比例控制可回答 : 不可回答 = 8:2（测试拒答能力）单跳 : 多跳 = 6:3:1（基础:进阶:挑…

#安克科技#评估与监控#RAG 问答金标构建

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：…保留局部精细交互+全局稀疏聚合 Ring Attention / Striped Attention：序列分块循环计算，支持百万级token，适合超长对话历史分层编码：短窗口做token-level注意力，长历史用sentence/turn-level压缩表示显式记忆机制短期记忆（Context Window）：最近K轮完整对话长期记忆（External Memory）：关键信息向量库（摘要、实体、用户画像）记忆写入：每轮用轻量encoder提取关键信息，更新至FA…

#字节#模型微调#多轮对话一致性

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配正文：…流程：查询改写 → 向量检索 → 重排序 → 上下文增强生成关键优化：多路召回、HyDE（假设文档嵌入）、Self-RAG（反思token）局限：检索失败时幻觉反而加重，需配合置信度校准 2. 微调策略事实性SFT：用高质量QA对训练，强化"不知道就拒绝" 偏好对齐：RLHF/DPO中引入事实性奖励，惩罚幻觉输出知识蒸馏：从大模型蒸馏事实性强的推理链到小模型 3. 推理时干预（Inference-Time Intervention）不修改模型，在生成过程中干预：方…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配口述回答：…量召回、RRF 和 Cross-Encoder 重排。查询改写也要测语义是否漂移，不能只看召回数量变多。生成侧关注模型拿到的到底是什么证据。我会做去重和冲突检测，控制上下文预算与顺序，在 Prompt 里约束引用格式和证据不足时的拒答。评测要把答案正确性、引用支持率、faithfulness、覆盖率和拒答分开，否则一个流畅答案很容易掩盖检索或引用错误。必要时再加规则、验证器或人工确认，但这些也要单独做消融。系统层要让 bad case 可回放。一次请求至少记录原 quer…

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

RAG 工作原理与架构怎么搭?

匹配正文：…序查询改写：HyDE（假设文档嵌入）、Query扩展、多跳检索上下文压缩：LLMLingua、LongLLMLingua，减少token消耗 2. 生成侧优化重排序后Top-K：精排后取3-5条最相关，避免噪声干扰引用溯源：让模型输出引用标记，便于事实核查 3. 工程优化预检索缓存：热门Query结果缓存增量索引：支持实时数据更新，避免全量重建四、RAG vs 微调选择场景推荐方案知识频繁更新、需溯源 RAG 需要学习新风格/格式、知识边界模糊 SFT 高…

#字节#RAG 系统架构#RAG 工作原理

面试题·模型微调

什么是微调(SFT)?和预训练有什么区别?

匹配正文：…标学语言规律和世界知识学会听指令、按格式回答数据无标注原始文本(网页/书籍/代码) 标注好的指令-回答对数据量数万亿 token 几千到几十万条成本千卡集群、百万美元级单机多卡甚至一张卡可做类比读完整座图书馆岗前培训学"怎么接待客户" SFT 数据长什么样 {"messages": [ {"role": "user", "content": "把这句话翻译成英文:今天天气不错"}, {"role": "assistant", "content": "T…

#入门#基础概念#SFT 微调

面试题·模型微调

全量微调和 LoRA 微调怎么选?

匹配正文：…有回归风险，取决于数据与优化启用adapter同样有回归风险；可停用未合并adapter与原基座对照决策建议先固定任务、训练token与评测集，以LoRA建立低成本基线，并调rank、学习率与挂载模块。基线不达标时，分别检查数据、优化和可训练容量，再与全参微调对照；样本几千或百万不是通用分界。 LoRA便于共享基座并按需加载小adapter；全参也能多任务训练或部署多个checkpoint，只是参数存储与切换成本不同。入门之后,可以继续深入 QLoRA(量化 + L…

#入门#基础概念#LoRA微调

面试题·知识图谱· 淘天

RAG 系统痛点怎么破?

匹配正文：… Dilution）表现：有效信息淹没在大量检索结果中，模型注意力分散，关键细节丢失根源：固定Top-K截断，无关文档挤占有效token；长上下文模型对中间位置信息召回弱（Lost in the Middle）改进：动态上下文压缩，用更小模型做摘要过滤；检索结果聚类去重，减少冗余；调整文档排序策略，将高置信度结果放首尾 3. 语义鸿沟（Semantic Gap）表现：用户问题与文档表述方式差异大，字面匹配失败根源：Embedding的语义空间对齐不足；跨领域、跨粒度…

#淘天#知识图谱#RAG 痛点

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：…RAG拼接问题：信息严重损耗，图文对齐弱 2. 真多模态RAG（当前主流）框架核心机制特点 ColPali 延迟交互+视觉token级编码端到端，无需OCR，适合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构差异 Embedding层方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+T…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：…度过滤模态对齐：图文语义不对齐（如图片配错说明文字）→ 用多模态预训练或对比学习微调成本与延迟：视觉Encoder计算重、图片token占用长上下文 → 权衡用截图缩略图或分层检索评估困难：多模态答案的正确性难以自动评测 → 需构建多模态评测集实际落地中，建议先做文档类型路由（纯文本走轻量链路，复杂文档走多模态链路），逐步迭代。

#小鹏#多模态#RAG 表格处理

面试题·Prompt· 阿里

JSON 输出怎么保证稳定可靠?

匹配正文：…码（硬约束）主流方案方案原理适用场景 Grammar-based（如llama.cpp的GBNF）基于上下文无关文法，逐token过滤非法跳转边缘部署、高稳定性要求 JSON Schema约束（如OpenAI的response_format）编译Schema为DFA，动态约束token概率云端API、快速迭代 Outlines/Guidance库预编译索引+动态mask，支持复杂嵌套自研模型、深度定制关键权衡约束越强，推理延迟越高（DFA状态跳转开销）…

#阿里云#Prompt工程#Agent

面试题·Prompt· 华为

Prompt Engineering 技巧怎么选?

匹配口述回答：…实施时我固定模型、数据和解码参数，在同一回归集上比较 Prompt 版本。用【评测口径】同时看任务质量、格式、引用支持、危险动作、token 和延迟，并按【失败切片】检查平均分会不会掩盖高风险退化。自动 Judge 只作辅助，还要用人工样本校准。最终只报告【真实结果】，能对应 Prompt diff、样本和线上记录的数字才说。来自用户或文档的内容都按不可信输入处理，敏感工具由服务端鉴权和确认。模型升级后重跑回归；如果失败根因是缺知识、缺权限或模型能力不足，就把问题交给 RA…

#华为#Prompt工程#Prompt Engineering 技巧

面试题·Prompt· 华为

Few-shot 提示怎么用?

匹配口述回答：这道题问的是什么时候该用 few-shot，我觉得本质是在问：我们怎么让大模型在不动参数的情况下，快速理解一个它没见过或者不好描述的任务。说白了，few-shot 不是让模型学新知识，而是给它打个样，帮它定位到预训练里已经会的相关能力。那具体什么场景我会考虑用 few-shot 呢？我的判断标准是：任务对输出格式有严格要求，或者推理步骤需要示范，或者任务边界比较模糊，但又不值得专门微调。举个例子，输出格式严格，比如从非结构化文本里抽 JSON 字段，你告诉它“姓…

#华为#Few-shot 提示#Prompt 工程

面试题·Prompt· 字节

RAG生成阶段Prompt整合策略

匹配口述回答：…。这样模型就知道该按什么顺序干活。第三层是长度优化。检索回来的文档可能很长，但上下文窗口有限。我一般会按句子边界截断，保留前N个token，或者用轻量模型对长文档做摘要压缩后再注入。这里有个动态选择策略，如果问题问得很细，比如「具体条款是什么」，那就用片段级，只取相关句子；如果问题比较泛，比如「这个政策的整体思路是什么」，那就用文档级，保留整篇。第四层是可追溯性保障。我会强制模型输出引用标记，比如[1]、[2]，生成后再做一次后置校验，看引用的编号和实际检索内容是否匹配，…

#字节#Prompt工程#RAG Prompt 设计

面试题·Prompt· 华为

思维链(CoT)什么时候用?

匹配口述回答：这道题问的是什么时候要用[[思维链]]，其实本质是在问：大模型的推理能力什么时候需要显式地拆成中间步骤，而不是直接给答案。因为模型天生是黑盒，你问它5+3它直接蹦出8，但问它一个多步问题，比如‘小明有5个苹果，给了小红2个，又买了3个，现在有几个？’它可能直接猜6，但中间跳步就会错。CoT就是让模型把‘5-2=3，3+3=6’这一步一步写出来，把隐式推理显式化。那什么场景下必须用呢？先说边界。简单问题，比如‘今天天气怎么样’，直接回答就行，不需要CoT。但遇到复杂数学推理、…

#华为#思维链 CoT#Chain-of-Thought 使用场景

面试题·Prompt· 百度

AI Agent 架构与框架怎么选?

匹配口述回答：…补偿，然后去调订单API查价格，再查当前活动政策，最后给出结论。每一步都有依据，适合对可控性要求高的场景。缺点是每步都要调LLM，token消耗大，成本高。再说[[Chain-of-Thought]]，很多人把它跟Agent混为一谈，其实不对。CoT本质是纯推理提示技术，不涉及外部工具交互。它就是一个规划模块，让模型把推理步骤写出来，但没法执行。所以适合纯文本任务，比如数学题、逻辑推理。真正落地时，CoT常常作为ReAct内部规划的一部分，而不是独立框架。最后是AutoG…

#百度#Agent#AI Agent 架构

面试题·Prompt· 字节

Agent系统Prompt设计：架构与机制

匹配口述回答：…过滤，还有一个很关键的决策：判断这个请求是走完整的[[Agent]]链路，还是简单问答短路直接回复。比如客服场景里用户问“退款流程是什么”，直接给标准答案就行，没必要走规划执行。决策层是核心，负责任务分解和工具选择，我一般用 [[ReAct]] 范式，就是Thought、Action、Observation循环，也会结合 [[Chain-of-Thought]] 做复杂推理。执行层是工具注册中心，工具要标准化成OpenAI Function格式，还要做执行沙箱，控制超时和并发…

#字节#Prompt工程#Agent

面试题·Prompt· 哔哩哔哩

CoT 提示怎么写?

匹配正文：…写风格，降低解析成本作用与边界有效场景：数学推理、符号逻辑、多步决策、代码调试等需要显式路径的任务局限性：简单任务可能增加token消耗而无收益事实性问答不需要CoT，直接回答更高效模型能力不足时（如小模型），CoT可能产生幻觉推理链在Agent中的应用：CoT是ReAct、Plan-and-Solve等Agent架构的基础组件，支撑任务分解与规划能力。

#b站#Agent#Chain-of-Thought 提示

面试题·RAG

Deep Research vs RAG 怎么选?

匹配口述回答：…不完整。上线我会特别关注召回率和精确率的平衡，还有重排序的效果。另外，RAG对多跳推理很弱，比如“A公司的供应商是谁，它的环保政策是什么”，这种问题RAG往往会漏掉中间环节。Deep Research的风险则是成本高，token消耗大，而且可能陷入无效循环，比如模型一直查同一个方向跑偏了。所以前提是要有可靠的终止条件，比如最大轮数或者置信度阈值。其实现在有个趋势是把两者结合，比如用RAG做快速的事实检索，再结合[[Agent]]的规划能力做多步推理。像[[Agentic R…

#Deep Research#RAG#Deep Research vs RAG

面试题·检索· 字节

专业领域RAG链路优化陷阱

匹配口述回答：…recision。生成融合阶段，我最关注的是引用锚定和校验。检索回来的片段不能全塞给大模型，得做上下文压缩，比如用LLM摘要控制token。同时强制生成时标注来源片段ID，法律场景必须输出“依据《XX法》第X条”，这样结果可追溯。后处理加一个领域规则引擎，比如医疗场景查药物禁忌，如果生成内容冲突就拦截。说白了，生成环节如果不做约束，[[Hallucination]]风险很高，尤其专业领域用户对准确性要求极高。最后说端到端优化。我一般会建一个闭环：线上错误案例回流，分析是检…

#字节#重排与优化#RAG 链路优化

面试题·检索· 快手

RAG 延迟与准确率优化

匹配正文：…检索更慢工具调用 Agent多轮Planning-Action循环每次LLM调用串行，工具响应不可控生成阶段长上下文导致首token延迟高长序列KV Cache计算量大，Attention复杂度O(n²) 正确率挑战与根因检索不准：向量相似度≠语义相关，用户query与文档表述gap大上下文噪声：Top-K检索结果混入无关文档，稀释有效信号多跳失败：复杂问题需跨文档推理，单轮检索覆盖不全优化思路延迟优化预检索策略：热点query缓存、用户画像预加载常用知…

#快手#RAG延迟优化#RAG 延迟与准确率优化

面试题·检索· 百度

RAG 工作原理与核心组件

匹配正文：…核心架构：索引-检索-生成三阶段 1. 索引阶段（离线）文档切分：按语义/固定长度分块，chunk size通常256-512 token 向量化：用Embedding模型（如BGE、M3E、OpenAI text-embedding）将文本转为稠密向量索引构建：存入向量数据库（Milvus、Faiss、Pinecone），采用HNSW或IVF-PQ等近似最近邻算法加速检索 2. 检索阶段（在线）查询向量化：用户问题同样经Embedding模型编码相似度计算：余弦相似…

#百度#RAG核心组件#RAG 工作原理

面试题·检索· 美团

RAG 架构怎么搭?

匹配正文：…注检索器与生成器的协同机制协同点具体做法信息注入检索结果直接拼入Prompt的system/user消息中动态截断按token预算动态选择能容纳的最相关文档数置信度过滤 Rerank分数低于阈值时，触发"知识不足"回复多轮协同多轮对话中维护检索历史，避免重复检索关键优化方向查询侧：Query2Doc、Step-back prompting扩展查询语义检索侧：稀疏+稠密混合召回（BM25 + Dense），多索引融合生成侧：Self-RAG、Corr…

#美团#检索器生成器协同#RAG 架构

面试题·模型架构· 字节

格式化输出 vs 思维链，怎么选？

匹配追问：这些方法在工业落地时最大的工程挑战是什么？如果任务需要严格的概率输出（如风控场景），生成式方法如何保证校准性？你实际项目中用过哪种转化方式，效果如何？场景切入假设现在要把一个意图分类任务统一到生成式接口。你会如何定义输出标签、格式约束和评测，并判断是否真的需要思维链？层层追问直接生成标签与结构化输出有什么差别？……指令重构改变了什么？……CoT 适合哪类需要中间推理的任务？……性能、校准和延迟怎样同口径比较？直球技术请比较格式化标签生成、seq2seq/指令化…

#生成式建模#判别式任务转化#Prompt工程