匹配正文：…变成文档清洗、切块、索引、评估集构造。缓存和异步变成检索缓存、任务队列、长程 Agent 执行。监控和排障变成答案质量、延迟、成本、badcase 追踪。权限和安全变成文档权限、工具调用边界、敏感信息保护。技能怎么映射,可以看后端工程师转大模型应用开发:已有经验怎么迁移。这一篇重点讲职业节奏:在职怎么安排、什么时候投、什么时候跳。在职转型的核心原则:先做证据,再做动作在职准备可以用下面的顺序降低试错成本。它是一种工作流,不是适用于所有人的唯一顺序: 先确认目标岗位…

#求职#职业转型

面试题·Agent

IterResearch 的演进报告为什么不是普通摘要，怎样避免越改越错？

匹配正文：…的断链。一个教学场景：比较三种技术路线下面是教学设计，不代表真实客户项目或线上实测。用户要求比较三种技术路线的部署方式、维护成本和适用边界，并且只接受公开可核验资料。第一轮搜索得到候选来源。演进报告不直接写结论，只记录三个对象、交付维度和待访问页面。第二轮访问方案 A 的官方文档，确认一种部署方式。报告新增 Claim A1，绑定来源 S1，同时关闭“部署形态”缺口。第三轮访问一篇旧版本博客，它说 A 不支持某能力。报告发现时间冲突，把这条信息标为待核验，不覆盖 …

#Deep Research#执行框架与长任务#IterResearch 演进报告

项目实战·Agent

第 6 章：训练取舍与 GRPO——CPT、SFT、RL 怎么选

匹配正文：…ic CPT。所有候选使用相同的隔离测试集、工具环境和服务端护栏，报告任务成功、证据支持、权限/危险动作、延迟、token/工具成本及失败切片。训练不能替代鉴权、schema、幂等和预算。 CPT、SFT 与 RL 是可选实验分支，不是缺一不可的流水线各阶段能做什么每个训练阶段都要定义输入、目标、产物与独立验收阶段可能用途关键风险是否采用的证据持续预训练/CPT 改变领域或行为数据分布灾难性遗忘、数据许可、成本同预算消融与通用能力回归 SFT 学任务示范、…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#Agent#Deep Research#项目实战

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配正文：…励可配合 PRM、价值估计、n-step/GAE 或搜索，但过程奖励必须防止代理目标被利用。多目标：正确性、安全、帮助性、格式和成本应分别监控，再用有业务含义的权重、约束或分层策略组合，不能只压成一个不可解释总分。偏好异质性：基础 Bradley-Terry 模型假设共享标量效用；不同人群偏好不一致时，要把 annotator、用户群或上下文纳入条件模型，或分层建模。稳健性：留出人工评测集，监控 reward hacking、长度偏差、风格捷径、分布漂移和奖励模型不确定…

#RLHF#Reward Model#奖励设计

求职指南·求职

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…体模型接口会在固定评估集上比较设置;低温也不等于跨请求绝对确定,通常不要同时盲调两个参数 /ai-coding 第 2 章推理成本与延迟价格和延迟可能受 token、模型、缓存、批处理及服务策略影响会按实际价目和 usage 统计成本,区分首 token 延迟、生成速度和端到端延迟 /questions?module=推理优化幻觉输出缺少事实依据或与可核对证据冲突会组合检索与引用、结构校验、工具验证、拒答阈值和人工复核,并用评估集衡量引用与溯源 Embeddi…

#求职#职业转型

面试题·RAG

RAG Chunk 为什么不能只按固定字数切？

匹配正文：…找表头，普通自包含段落则不必扩展。这里要区分两件事。 Overlap 是入库时复制一部分边界内容，所有查询都会承担它的存储与重复成本。前后关系是检索后按需读取，没有需要时不增加候选正文。两者都能补上下文，但使用时机不同。边界处长期都需要同一句话，可以考虑自然边界 Overlap；只有少数查询需要额外解释，更适合按关系动态扩展。四个坏样本，分别说明了什么？以下四个坏样本均为教学场景，只用于说明排查方法，不代表真实项目结论。条件与结论被拆开（教学示例）前一块写适用对象…

#RAG#切分与索引#RAG Chunk

面试题·Agent

ReSum 动态摘要怎样压缩长任务，又不把关键证据丢掉？

匹配正文：…务，可以在最终发布前从原始证据重新核对关键主张，不完全依赖多轮摘要结果。不同任务风险不同，不能让所有请求都承担同样的人工或模型核验成本。摘要器、Schema 或模型升级时，要回放固定长轨迹集，并分任务长度、冲突数量和摘要次数报告结果。只有平均分提高，边界样本持续变差，不能直接发布。用户中途修改任务，摘要应该怎样更新？用户增加对象、缩短时间范围或改变交付形式时，任务契约已经发生版本变化，应按新任务边界处理，不能当作普通新证据合并。系统应先保存旧契约和旧摘要，标出哪些已完…

#Deep Research#执行框架与长任务#ReSum 动态摘要

面试题·Agent

Agent 任务中断后怎么恢复？Checkpoint、断点续跑和人工审批怎样设计

匹配正文：…才可以把动作标记为完成。 Checkpoint 应该保存在哪些位置最容易理解的方案是每个节点之后都保存，但真实系统还要看一致性和成本。保存点最好落在业务语义清楚的边界。节点执行前记录即将执行什么，便于崩溃后知道未完成动作。但如果执行后还没保存就崩溃，仍然无法判断外部副作用是否发生。节点执行后保存结果和下一节点，恢复时可以跳过已经完成的计算。问题是写操作与快照提交不可能天然原子，仍需幂等键或外部状态查询。高风险动作前这是人工审批的自然暂停点。快照应固定动作名、参数…

#Agent#工作流与状态#Agent 中断恢复

项目实战·RAG

第 7 章:Query 理解与改写

匹配正文：…量、覆盖和分布漂移,并且需要训练与持续评估。 LLM Prompt:把意图选项写进 prompt 让大模型判断,零样本就能用,但有成本、延迟,需控偏差。工程选择:规则、监督分类器和 LLM 可以单独或组合使用。冷启动可比较规则与 LLM 基线,积累经授权的真实 query 和标注后再判断是否训练专用分类器;"LLM 先上、BERT 接管"不是固定路线。按意图数量、开放集比例、标注、隐私、延迟、成本和漂移监控选型。用 LLM 做意图识别,prompt 模板怎样便于校验? 这…

#RAG#检索#项目实战

面试题·RLHF与对齐· 美团

长周期 Agent 如何建模与规划?

匹配正文：…本效率、计划修订次数、约束违例和分布外鲁棒性。HRL、世界模型和 LLM 不是缺一不可，应按环境可模拟性、动作空间、反馈延迟和验证成本选型。

#长周期任务#分层强化学习#稀疏奖励

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…需要推导,需要读得懂追 badcase、定位错误来源排查、归因、工程要避免抽样偏差,必要时分析分布与置信度封装模型服务、控成本和延迟后端工程不需要你会发现,决定应用岗做得好不好的,是"能不能把一个模糊问题拆成可评估的小实验""能不能从一堆 badcase 里找到真正的短板"——这是工程和产品思维,不是数学能力。数学在其中的角色,是帮助你识别假设、选择指标并解释实验,深度随系统风险和岗位职责增加。这些概念的直觉具体指哪些、每个该懂到什么程度,不在本篇展开,专门有…

#求职#职业转型

系统教程·AI 编程

从零拼一个最小 RAG 问答

匹配正文：…方案一定更好。重排：若候选顺序不能满足任务，可比较 Cross-Encoder 等重排方案；是否启用要看固定题集上的质量、延迟和成本。评估：检索看证据覆盖与排序，生成看主张是否受证据支持、任务是否完成；不能用一个模糊的“QA 准确率”代替分层评估。 👉 想做深,直接看站内 RAG 完整项目教程:沿着文档处理、检索、重排、引用与评测完成项目，并查看配套 GitHub 代码；效果数字要由自己的评测得到。常见坑资料没提到也硬答：提示中应写明证据不足时拒答，但这不能保证模型…

#Agent#AI 编程

面试题·Agent

Function Calling 到底怎么跑？模型不会执行函数，完整工具结果循环怎么实现

匹配正文：…描述、系统约束和测试样本改进，也可以在业务层识别必须查询的任务并拒绝无证据回答。模型不该调却调了简单解释题也发起外部查询，增加成本和风险。需要准备“不调用工具”的负例，并在评估中单独统计无意义调用。工具名不存在模型生成了注册表中没有的名字。程序应返回可理解的错误或安全停止，不能通过反射执行任意名称。参数格式正确但语义错误 JSON 通过校验，不代表业务参数合理。例如日期范围颠倒、资源不属于当前用户。Schema 校验之后仍需要业务校验和权限判断。工具超时或返回格式…

#Agent#工具调用与安全#Function Calling 完整流程

项目实战·RAG

第 8 章:多轮对话与记忆管理

匹配正文：…emory(滑动窗口 + 摘要) = 一种短期记忆原型;工程实现可以选进程内存、缓存或数据库,是否用 LLM 摘要要按质量、延迟和成本实测; 你的 resolve()(把"它"补全) = 指代消解,本质是第 7 章 Query 重写的一种,只是信息来源是对话历史; 你这个"先补全、再检索"的流程 = 一种常见在线链路;也可以先路由、并行取证或在工具调用后更新状态,顺序由任务依赖和评估结果决定。你手搓的是它最朴素的样子;Part 2 讲工程系统可以怎样选历史、控制上下文、管理…

#RAG#检索#项目实战

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…指向正确片段和版本; 关键约束与反例是否覆盖,证据冲突和不可回答是否妥善处理; 工具参数、停止条件、重试和副作用是否正确; 延迟、成本、恢复、取消、权限和数据隔离是否满足门槛; 在不同问题类型、来源新鲜度和用户角色下是否稳定。研究型 Agent 需要多层证据,不能用“跑通”代替质量四层评估对象结果、轨迹、运行与安全四层评估结果与证据:主张正确性、引用蕴含/覆盖、来源质量/新鲜度、冲突与不可回答、可读性。轨迹与工具:计划、查询、工具参数、证据选择、停止/继续、重复空查…

#Agent#Deep Research#项目实战

面试题·RAG

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：…多模态处理，也不能因为类型分类错误而把正文送进图片流程。记录内容类型判定、采用的处理器、降级原因和最终证据来源，才能同时检查质量、成本与可解释性。验收结果要落到可定位的失败类型，而不是只报一个总准确率。表格错误可以标记为跨页误合并、表头缺失、单位丢失或列错位；代码错误可以标记为字符识别、缩进破坏、符号边界或调用关系缺失；图片错误可以标记为 OCR 漏字、节点遗漏、连线方向或图例对应错误。不同标签对应不同处理器，才能知道下一步应该修解析、切分、增强文本还是检索。面试时若被问…

#RAG#切分与索引#RAG 表格切分

面试题·Agent

Deep Research 有 Search、Visit、Scholar 和 Python，Agent 怎样选对工具？

匹配正文：…元数据，Python 做受控计算。注册表除了名称和 description，还应声明输入 Schema、证据等级、前置条件、权限、成本、超时、缓存和副作用。我会采用混合路由：模型根据当前子任务、证据缺口和已有来源提出候选工具与参数，程序检查权限、前置条件、Schema 和重复动作，再由统一网关执行鉴权、限流、超时和日志。返回结果要区分线索、原文证据、派生计算和错误。失败时按参数、网络、权限、内容为空或限流分类，决定修参、重试、换工具、降级或停止。验收不能只算工具名准确率。…

#Deep Research#研究工具与稳定性#Deep Research 工具路由

求职指南·求职

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：…索引、IVF 是倒排文件分区,不能直接套用 B+ 树机制缓存设计向量检索结果缓存、语义缓存、Prompt 命中复用推理延迟与成本优化性能调优、连接池、批量化、异步降级可观测性 / 线上质量监控评估指标埋点、离线评测集、线上 badcase 采样与回归 Agent 工作流编排状态机、任务调度、重试与幂等、DAG 编排工具 / 函数调用集成接口设计、RPC、参数校验、错误处理这张表的用法不是让你自我安慰,而是面试和简历时的翻译词典:对方用大模型的黑话问,你用工…

#求职#职业转型

面试题·RAG

Chunk 为什么要带标题、页码和前后片段 ID？

匹配正文：…六类动作：过滤、排序、去重、扩展、展示和审计。如果某个字段不服务任何动作，也没有明确的消费者，它只会增加解析、入库和更新时的同步成本。字段应该怎样从业务动作反推？第一类是身份字段。 chunk_id 用来稳定定位当前片段，doc_id 标明所属文档，kb_id 标明所属知识库。多租户场景还需要租户或权限边界。它们让系统知道一段内容属于谁，也支持检索前限定范围。第二类是结构字段。章节路径、标题层级、内容类型、父内容 ID、前后片段 ID，描述当前 Chunk 在原文结…

#RAG#切分与索引#RAG Metadata

面试题·Agent

Function Calling 有了 JSON Schema，为什么工具参数还是会错？

匹配正文：…用户或租户是否有权调用，目标资源是否可访问，是否包含危险路径、任意代码或敏感参数。第六层是幂等和副作用校验。只读工具主要防重复成本。有写操作时，必须使用幂等键、用户确认和审计，防止重试造成重复副作用。全部通过后，调用才进入网关。不能让工具自己承担所有拒绝逻辑，因为那样错误已经走到执行边界。 Function Calling 从模型输出到真实执行的校验链结构化调用先经过解析、Schema、业务、状态、权限和幂等检查，再执行。为什么 required 越多不一定越好？ …

#Deep Research#研究工具与稳定性#Function Calling 参数校验

面试题·Agent

Agent 有几十上百个工具时怎么选？大工具集路由怎样设计和验收

匹配正文：…量增加后，光说明书就会占用大量上下文，挤压用户目标、历史结果和业务约束。每一轮 Agent 调用都重复携带全部工具，还会放大延迟与成本。相似工具难以区分企业系统里很容易出现 search_order、query_order_detail、list_orders、search_refund_order 等相似工具。模型面对一长串描述时，可能只看见关键词相似，忽略数据范围、返回粒度和使用前置条件。权限边界被过度暴露普通用户不需要知道管理员工具的名称与参数。即使后端最终会拒…

#Agent#工具调用与安全#Agent 大工具集路由

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…相关结果的完整性。 Recall@k 和 MRR 怎么算两者提供覆盖与首个相关结果排序的视角,还不能替代噪声、证据充分性、延迟、成本和最终答案评估。概念 3:离线评估 vs 线上指标离线评估:用评估集在本地跑,算 Recall/MRR/准确率:上线前反复优化用。线上指标:系统真跑起来后看的:响应延迟(P95/P99)、QPS 吞吐、用户满意度:上线后盯着不出事。离线评估与线上指标解决不同问题。通常先用离线数据筛掉明显不合格的方案,再通过灰度、监控和人工复核观察真实流…

#RAG#检索#项目实战

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…nt Harness 层让 Agent 稳定跑起来的工程骨架状态管理、工具注册、权限确认、trace、replay、错误恢复、成本控制 Agent 题库、工具与函数调用章、记忆管理章开发/Java 后端线的主场 Data / Eval 层决定"效果好不好"能不能被证明文档解析、Embedding、Rerank、评估集、LLM-as-Judge、badcase 闭环评估与监控题库、文档处理、评估章两条线都绕不开,算法线更深 Training / Post-Trai…

#求职#职业转型

面试题·RLHF与对齐· 美团

奖励函数设计与投机陷阱

匹配正文：…号、是否容易被钻空子。硬约束更适合动作掩码、安全屏障或约束强化学习，不能把负无穷奖励当成默认实现。机制与边界设计时先定义成功、成本、风险和时间范围，再决定回报是终局奖励、过程奖励还是两者结合。稀疏终局奖励最接近任务目标，却可能导致探索困难；稠密 shaping 能加速学习，但代理信号一旦写错，策略会优化代理而不是业务结果。潜势函数 shaping 在特定条件下可保持最优策略不变，普通手工加分没有这个保证。奖励尺度还会影响优化稳定性，所以可以做 return 或 advan…

#奖励塑形#稀疏奖励#奖励黑客