匹配正文：…数据。更不用说模型受用户提示影响后生成 DELETE、DROP、多语句和绕过限制的表达式。关键认知是：模型输出永远是不可信计划。Prompt 里写“只生成安全查询”不能代替代码校验，关键词黑名单也不能代替 SQL 解析和数据库权限。安全要从生成约束、AST 校验、Schema 与权限、查询成本、隔离执行、结果审查和审计七层共同完成。 Text2SQL 的默认能力最好是只读查询。若业务真的需要修改数据，应作为另一类高风险工具，使用明确动作 Schema、Dry-run、人工确…

#Agent#工具调用与安全#Text2SQL SQL 安全

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…置信与真实错误率联合观察。t-SNE适合探索局部可视化，但会扭曲全局距离，不能单独作为样本属于分布外的证据。系统侧要把基础模型、prompt、检索、工具、后处理和模型本体分开。检索没召回、上下文被截断、格式校验错误，都可能表现为模型能力不足。训练侧检查loss mask、tokenizer、学习率、梯度、checkpoint加载和数据配比，并用少量样本过拟合测试确认实现能学习。若确定需要微调，就建立可比较基线。LoRA的target modules、rank、alpha、…

#模型调试#bad case分析#数据质量

求职指南·求职

转行大模型最常见的 12 个坑

匹配正文：…怯按题量补齐地基,方向分布看大模型技术栈全景 8 把 RAG 当普通 CRUD 拼接觉得 RAG 就是"存向量、查向量、拼 prompt",套后端惯性搭一遍面试考的是分块、召回、重排、忠实度的取舍,不是接口拼装过一遍检索链路取舍,看怎么攒真项目经历里的 RAG 主线 9 demo 跑通就当项目写简历跟着教程复现一遍能跑,就直接写进简历当项目 demo 没有你自己的取舍和踩坑,一问设计原因和 badcase 就答不上把 demo 改造成有取舍有数据的项目,看 …

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#求职#职业转型

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…评测时，会先算一个“答案准确率”。如果分数上涨，就认为系统变好了；如果分数下降，就继续换 Embedding、调 TopK 或改 Prompt。问题是，RAG 不是一次模型调用。用户问题要经过 Query 处理、检索、排序、上下文组装、答案生成和引用回跳。最终回答错了，可能是正确证据根本没有被找回，也可能是证据已经排在前面，生成模型却漏掉了限制条件。只看一个端到端分数，团队仍然不知道应该修哪一段。这也是项目面试里很容易被追问的一道题： Recall@K、Precision…

#RAG#评测与上线#RAG 评估指标

面试题·Agent

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

匹配正文：…、租户、问题族、预算、版本和最终状态。阶段 span 表示计划、检索、访问、计算、摘要和综合等阶段。模型 span 记录模型、Prompt 版本、输入输出 token、缓存使用、采样、延迟与结果状态。工具 span 记录工具名、参数摘要、供应商 request ID、计费单位、缓存命中、重试与错误类型。状态 span 或事件记录 checkpoint、上下文长度、证据数量、剩余预算和停止原因。父子关系让团队看到一次昂贵任务究竟在哪一步扩张。异步任务跨进程、队列和服…

#Deep Research#上线成本与评估#Deep Research 成本

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…检索很快、答案很长，TTFT 不错，总耗时仍然很长。要看清首字响应，可以先把链路拆成 Query Embedding、向量检索、Prompt 构建和网络、队列、I/O 等系统开销。一条完整的线上时间线还要加上路由、关键词召回、融合、Rerank、模型排队、预填充和第一个 Token。首字响应与总耗时的区别 TTFT 只到第一个 Token，总耗时还包含后续生成。优化前要先确认用户抱怨的是哪一段等待。如果所有阶段只记一个 response_time，你只能知道“整条请求慢…

#RAG#评测与上线#RAG 首字响应

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…偏差和更新 rubric。 Judge 不能看到不该使用的参考答案或隐藏标签，否则会产生泄漏。评估结果保存 evaluator、Prompt、rubric 和规则版本，确保每版可以重算。多维分数应该怎样汇总？先区分硬门和软分。虚构关键事实、引用不存在、权限越界和任务完全未完成可以直接判不通过。覆盖、结构、效率和部分过程维度可以分档或加权。总分用于排序和看趋势，但诊断必须保留各维度。若只保存加权总分，引用退化可能被可读性提升抵消。权重来自任务风险，不是教程中的教学…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

Agent 线上答错一次，怎样用 Trace 和 Replay 定位到底哪一步坏了

匹配正文：…也不无条件存原始私密推理。回放分三种：复用历史 Observation 做离线确定性回放；在相同版本下重放请求检查能否复现；用新 Prompt 或模型做影子对比。副作用工具默认只读历史结果，不能在回放中再次执行。排障时从最终失败沿依赖反查最早分歧点。核心是：Trace 用来还原事实链，Replay 用来验证修复，不是简单“再跑一遍”。 Agent Trace 的完整事件链用户请求、决策、工具、状态与最终答案通过父子关系串成一条任务轨迹。指标、日志、Trace 和回放有什…

#Agent#多智能体与评估#Agent Trace 回放

求职指南·求职

转行大模型应用开发常见问题(FAQ)

匹配正文：…应用开发路线图。要不要学微调?应用岗用得上吗? 多数应用岗不要求你亲手微调,但要求你讲得清什么时候该微调、什么时候 RAG 或 Prompt 就够。面试里微调更多以概念题出现:LoRA 和全参的区别、微调和 RAG 怎么选、数据要怎么准备。所以顺序是把微调放第二阶段,先用 RAG 和 Agent 拿到面试机会,微调作为加分项按目标岗位选修。想验证自己理解到位没有,直接去题库的模型微调模块刷 47 道题(经验值),答不上来的就是缺口。研一、研二转大模型应用开发,来得及吗? …

#求职#职业转型

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…进入在线搜索。第二种，先搜全库，再在前端隐藏后端检索已经拿到了其他租户内容，即使前端不显示，这些内容仍可能进入 Rerank、Prompt 或日志。权限必须在检索过滤里生效，缓存键也要包含租户和知识库范围。第三种，向量服务失败后直接让模型回答模型返回一段通顺答案，接口状态还是成功，用户无法知道它没有使用知识库。降级应该明确选择可用检索路线，证据不足就拒答，并在结果中标记本次链路状态。第四种，只监控接口存活，不监控答案服务没有报错，延迟也正常，但正确证据长期召回…

#RAG#评测与上线#RAG 系统设计

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…ge 可以读取任务 contract、候选答案、证据和 rubric，按维度输出分数与理由。它比纯人工更容易扩展，也能保持固定 Prompt 下的基本一致性。它还适合做错误初筛、Pairwise 版本比较和样本优先级排序。但 Judge 的价值是自动化近似，不是替代事实验证与人工责任。 URL 是否存在、引用 ID 是否匹配、计算是否可复算、工具是否执行，应优先用规则和真实 Trace。高风险事实、Judge 分歧和新型失败仍需人工复核。 LLM Judge 的价值与…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…很容易失败。相反，Agent 可能完成了高质量检索和验证，但最后格式不符合用户要求。只记一个失败，会掩盖前面能力，也无法决定修 Prompt、工具还是状态机。因此结果层要拆维度，轨迹层要独立归因。最终综合结论可以有，但必须能回到每个分项和样本。第一步：先把“任务完成”写成可验收条件不同任务有不同完成定义。事实问答要求关键结论正确且有支持证据。研究报告还要求覆盖指定范围、引用与主张对应、冲突被说明、未知部分不编造。工具任务要求真实业务状态达成，而不是 API 返回成功…

#Agent#多智能体与评估#Agent 评估体系

面试题·模型训练· 美团

训练数据清洗：规则 vs LLM

匹配正文：…报告precision、recall和误杀高质量样本的比例，并按语言、来源和长度切片。规则可能精确但漏长尾，LLM可能召回更高却受prompt和模型版本漂移。不能只看模型给自己的质量分。常见级联是先做低风险确定性规范化与去重，再用规则或轻量分类器过滤明显样本，把不确定语义案例交给LLM，最后对高风险删除进行人工复核。各层都应保留原因码和原文引用，支持回滚。规则先删掉多少数据完全由当前语料决定，不设固定比例。 LLM清洗还要防提示注入、内容泄露和输出不稳定。如果文本包含指令，…

#数据清洗#数据工程#训练数据构建

面试题·评估· 百度

LLM 准确性提升四大路径

匹配正文：…。自一致性只说明多个采样同意，不等于事实正确。解码参数、验证器和工具执行应按任务选择，代码用测试，数学用可检查计算，不能靠一条统一prompt解决。外部增强方面，RAG能把回答连接到可更新语料，但仍可能召回错误、忽略证据或错误引用。工具调用可以把搜索、计算和数据库查询交给外部系统，同时新增权限与注入风险。检索质量、证据支持率、答案忠实度和拒答都需单独评测。我的实验会先建立无增强基线，再分别加入数据改进、偏好优化、推理提示、检索或工具，每次只改变有限变量。按事实、推理、帮助…

#数据质量#训练策略#推理优化

面试题·评估· 商汤科技

评测数据集怎么选?

匹配正文：…和评测目的，再从真实实验记录中选择数据集：通用知识与理解：若实际使用 MMLU，说明它覆盖多学科多项选择，关注宏平均、学科切片、prompt 与 few-shot 设置。数学问题求解：GSM8K 是小学数学文字题，MATH 覆盖更具挑战的竞赛数学问题。它们评测的是数学问题求解结果；是否使用或输出 CoT 是推理与评分协议，不能直接把数据集叫作“CoT 能力测试”。代码生成：若使用 HumanEval，说明以单元测试执行 functional correctness，并报…

#评测数据集#benchmark选择#评测指标

面试题·RLHF与对齐· 美团

稀疏与延迟奖励的塑形与权衡

匹配正文：…的 off-policy RL，不是所有长序列或 RLHF 的通用解法。延迟奖励要区分信号来源。典型 RLHF 奖励模型对完整 prompt-response 给一个序列级标量，训练中再叠加逐 token KL，并由 value function、return 或 GAE 把终局信号用于各时间步更新；这不等于奖励模型把偏好自动蒸馏成每步即时正确奖励。若有可验证中间状态，可以设计过程奖励，但需单独标注或校验其因果有效性。多目标可用归一化加权、约束优化、词典序优先级或 Par…

#奖励塑形#稀疏奖励#多目标优化

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配正文：…定质量门槛下仍有收益，才接受该量化配置；裸权重估算不能替代端到端profile。部署还要区分预填充和逐token解码。预填充在长prompt下可能更偏计算瓶颈，解码在小batch时更偏权重带宽；同一个INT4模型在两阶段的加速比可能完全不同。权重压缩也不会自动压缩KV，除非另外采用KV量化或改变注意力头结构。多卡时，张量并行通信和每卡分片粒度也会改变收益，模型能装下只代表容量达标，不代表延迟达标。因此性能结论必须同时注明阶段、并发、序列长度、硬件和推理框架版本。图解 1…

#模型量化#INT8/INT4#显存优化

面试题·模型训练· 美团

合成数据怎么系统构建?

匹配正文：…型生成新的指令，并根据指令是否需要输入继续生成输入与输出，再通过相似度和启发式规则过滤，形成迭代数据。实现时要保留来源、生成模型、prompt和过滤版本，防止同一模板无限扩张。质量控制应按可验证性分层。代码运行测试，数学重算结果，检索型答案检查权威资料和引用，结构化任务用schema与业务规则，主观写作用盲标gold和成对人评。多个模型给出相同答案只能作为弱信号，因为它们可能共享训练数据、知识盲点和表达捷径。困惑度可以反映文本在某个语言模型下的可预测程度，却不是通用质量分…

#数据合成#Self-Instruct#指令微调

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtyp…

#LoRA#参数高效微调#故障排查

面试题·评估· 百度

大模型应用怎么保障可靠性?

匹配正文：…围、时间、来源和权限；对文档做版本与哈希记录，对用户输入做注入和敏感数据检测。检索与生成层：保留query、召回结果、重排分数、prompt、模型版本和工具调用trace。要求关键事实能回指证据；高风险计算交给确定性程序或受控API，结构化输出用schema约束。验证层：业务规则、单元测试、代码执行、数据库校验或独立模型可以提供信号，但验证器也要有独立测试集。Self-Consistency的答案一致度只能作为不确定性特征之一，不是经过校准的正确概率；不能自创“输入置信度…

#数据验证#输出校验#反馈闭环

面试题·项目与经历· 百度

大模型 vs 规则引擎怎么选?

匹配正文：…语义层。它可以从邮件、合同、客服对话或自然语言政策中抽取字段，识别意图，生成候选解释，并处理规则难以枚举的表达变化。但它的输出会受prompt和上下文影响，可能遗漏条件或生成不存在的依据，不适合直接承担不可逆的最终决策。因此我会按职责拆层：大模型负责把非结构化输入转换成带证据的结构化候选，确定性校验检查格式、权限和硬约束，规则或工作流执行可审计决策，高风险边界交给人工。模型建议与最终动作之间要有明确接口，而不是让一段自然语言推理直接调用核心系统。模型自报置信不能直接当概率…

#技术选型#规则引擎#大模型决策

面试题·模型训练· 美团

LLM 训练哪步最难?

匹配正文：…必然导致退化，也不能给长文清洗固定成本倍数。代码占比变化可能影响能力和输出风格，但对话风格是否变得指令化还受到预训练混合、SFT和prompt影响。所有因果都要通过当前语料的配比与去重消融验证。长文数据还涉及文档边界、章节顺序、模板重复、时间戳和版权，不只是长度更长。代码数据要处理许可证、secret、自动生成文件、仓库级去重和基准污染。不同领域的数据质量定义不同，单一困惑度或质量模型很难覆盖。算力与系统也并非有钱就能解决。大规模训练仍有通信、容错、数值稳定和利用率挑战；…

#数据工程#训练稳定性#超参数调优

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…Group Sequence Policy Optimization，用于大语言模型强化学习。它针对可验证奖励下的成组采样：同一 prompt 生成一组响应，依据组内奖励构造相对优势，再用策略概率更新模型。关键变化是把 importance ratio 的粒度从 token 转到序列。GSPO 根据整条响应在新旧策略下的序列似然形成序列级比率，并进行序列级 clipping、reward 和优化，使优化单元与序列级奖励更一致。论文报告它相较 GRPO 提升训练效率和性能，并…

#GSPO#策略优化#离线强化学习

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…之间的权衡，没有跨模型通用范围。它需要结合实际KL、任务奖励、语言质量、拒答和安全评测调节。KL突然上升可能来自学习率、奖励尺度、prompt分布或实现错误，不能只用一个阈值触发同步reference，更不能把自动同步写成标准RLHF机制。在新的训练迭代中，团队可以选择把经过完整验收的新策略作为下一轮SFT或RLHF的起点，并重新冻结一个reference。也可以因为模型架构、tokenizer或目标分布变化而重新定义baseline。但这是版本级决策，要重新建立对照、评测…

#RLHF#Reference Model#PPO