搜索大模型内容

大模型应用开发要懂哪些概念、懂到什么程度

匹配正文：…先给结论:应用开发要懂的概念不超过一打,而且每一个都能直接落到你写代码、调参数、排 badcase 的动作上。下面这张表按"一句话是什么 + 要懂到什么程度 + 站内哪里补"三列列全,懂到什么程度那一列就是你的自测标准。概念一句话是什么要懂到什么程度站内哪里补 Token 与分词模型看到的不是字而是 token,一个中文字常拆成 1-2 个 token 能估算一段文本大概多少 token,知道它决定成本和窗口占用 /ai-coding 第 1 章上下文窗口模型单…

#Deep Research#执行框架与长任务#ReSum 动态摘要

ReSum 动态摘要怎样压缩长任务，又不把关键证据丢掉？

匹配正文：…究状态、最近工具交互和预留输出分别占多少。当可用空间接近安全边界时触发，而不是等模型请求已经超过限制才处理。但不能只看一个固定 Token 数。不同模型窗口不同，不同任务需要的最终输出空间也不同。一个需要生成长报告的任务，应更早预留输出；一个正在处理关键冲突的步骤，当前原文虽然长，却可能不适合立刻摘要。第二个信号是历史结构。已经关闭的子任务、重复网页和早期失败日志适合优先压缩。最近正在核验的证据、用户刚修改的约束和未解决冲突应该保留更多细节。第三个信号是任务阶段。 …

项目实战·Agent

第 7 章:工程化上线:推理优化、并发与成本

匹配正文：…十次、跑好几分钟,中间还要等搜索、等网页抓取。同时来 100 个用户怎么办?GPU 就那么几张,排队还是并发? 每次任务烧多少 token、花多少钱?一个月的账单扛得住吗? 万一某次任务卡住了、工具超时了、模型输出崩了,整个服务会不会被拖垮? 这就是**「训练好的模型」和「能上线的服务」之间的鸿沟**。模型只是发动机,要让它变成一辆能载客上路的车,还需要一整套工程:推理优化、并发调度、成本控制、稳定性保障。本章讲的就是这套工程。训练好的模型 ≠ 能上线的服务:中间隔着并发…

#Agent#Deep Research#项目实战

系统教程·AI 编程

从零拼一个最小 RAG 问答

匹配正文：…常见坑资料没提到也硬答:prompt 里必须加"没提到就说不知道",否则照样幻觉。 k 取太大:塞太多片段 → 噪声多 + 烧 token + 注意力稀释。每次都重算知识库向量:知识库向量离线算一次存好,在线只算问题向量。不做切分:整篇文档当一个片段,要么超长、要么粒度太粗,检索不准。关联面试题「RAG 的完整流程是什么?检索质量怎么优化?」「为什么需要混合检索?向量和 BM25 各自的短板是什么?」 👉 去题库搜 RAG / 混合检索 / 重排 / 切分。…

#Agent#AI 编程

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…是“第一，已完成身份核验”。如果 B 完全不带前文，单独召回 B 时语义会变弱。让 B 带上一小段 A 的尾部，可以恢复“这些条目是什么”的上下文。但 overlap 不是越大越保险。重叠越多，同一段文字会被多次向量化。查询命中边界区域时，Top K 里可能出现内容高度相似的 A、B、C，表面上召回了三条，实际上只有一份证据。它们还会一起进入重排和提示词，占用候选位、计算和上下文长度。因此，overlap 解决的是边界连续性，不应该拿它替代正确的结构切分。章节、表格、代码…

#RAG#切分与索引#Chunk Size

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：…思维数据管线 / 批处理直接复用文档清洗、切块、向量化就是一条新的 ETL,链路你熟性能 / 成本优化大部分复用换成 token 成本、首 token 延迟、并发批处理,方法论一致接口 / 编排直接复用函数调用、工具编排就是把外部能力封成接口给模型调「效果好不好」怎么判断要重训直觉从「测试通过=对」变成「概率对,要靠评估集量化召回率/忠实度/胜率」调 Prompt 要重训直觉不是改配置文件,是不确定的实验:同一句话换个写法效果差很多,要 A/B 要…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 字节

LLaMA为何选RMSNorm?

匹配正文：公式与不变性 LayerNorm在单个token的隐藏维上计算均值和方差：(x-mean(x))/sqrt(var(x)+eps)，再乘逐维gamma并加beta。RMSNorm不减均值，只按均方根缩放：x/sqrt(mean(x^2)+eps)，再乘gamma。 LayerNorm具有重新中心化与重新缩放不变性；RMSNorm舍弃中心化，只保留整体缩放归一化。RMSNorm不会把均值“隐式变成0”，也不能据此宣称它对异常值更鲁棒。效率与稳定性 RMSNorm少一个均值和中…

做一个 Agent 项目怎么做:从最小 Agent 到 Deep Research

匹配正文：…方向、要攒一个能进简历的自建项目的人 | 前置:会用 Python 调一次大模型 API,了解 function calling 是什么 Agent 项目和 RAG 项目到底差在哪先给结论:RAG 项目的骨架是一条相对固定的检索问答链,Agent 项目多了"自主决策 + 多步 + 工具 + 失败恢复",工程复杂度和不确定性都更高,面试更看你对稳定性和可控性的把握。RAG 里模型基本是"给定检索结果作答";Agent 里模型要自己决定下一步调哪个工具、什么时候停、失败了要不要…

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配正文：…输入已经是零均值。效率与数值边界 RMSNorm少计算均值和中心化项，理论上统计量更少，kernel也可能更容易融合。但两者都是token内沿隐藏维归约，通常不是“同步所有GPU”；端到端速度和显存收益取决于kernel、隐藏维、精度和硬件，不能给固定百分比。数值稳定性不能简单判定RMSNorm必然更好。混合精度实现常在较高精度中累积平方和，并依靠 eps 处理极小尺度。LayerNorm对整体平移具有再中心化不变性，RMSNorm则会保留均值分量。逐维 gamma 还会…

#LayerNorm#RMSNorm#归一化方法

#Deep Research#数据构造与训练#Deep Research SFT

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

匹配正文：…整性仍一般。这个单例只能说明出现了正确选择，不能写成计算工具准确率已经稳定提升。第四个观察是部分事实题答案更规范。 “水的化学式是什么”这类用例中出现了正确答案与稳定结构，但材料也明确说明这不是稳定现象。综合起来，最稳妥的结论是：格式学习先出现，策略与内容能力仍需要更多有针对性的数据和评测。为什么格式比工具策略更容易学？格式规则通常稳定、局部而且重复。同一种 tool call 有固定字段、角色和括号结构。模型只要在许多样本中反复看到相同模式，就可能快速降低格式错误…

#Agent#记忆与存储#Agent 记忆检索排序

Agent 从海量记忆里怎么找对内容？相关性、时间性和重要性怎样组合

匹配正文：…时工具事实始终高于历史记忆。冲突条目不能静默选一条，而要成组裁决或请求确认；过期、被替代和无权限条目不得进入排序。最后限制条数和 Token，保留来源与时间注入上下文，并用正例、难负例、冲突和不应召回样本评估。这段话的关键不是给出一个万能公式，而是把硬约束与软排序分开。 Agent 记忆检索与重排流程先排除不能用的记忆，再在可用候选里判断哪条更值得进入上下文。第一步：先理解当前任务要找什么用户输入不一定能直接作为向量查询。 “继续做昨天那个方案”包含指代，需要先从当前…

#Deep Research#数据构造与训练#Deep Research 工具选择

训练数据里 Search 太多，为什么 Agent 遇到什么都想先搜？

匹配正文：一个调研 Agent 面对“水的化学式是什么”，先调用 Search；面对简单乘法，也想搜网页；真正需要访问原文时，却停在搜索摘要。很多团队会先怀疑 Prompt 没写好，或者模型太小。但如果训练轨迹里大量任务都以 Search、Visit 开头，模型可能只是忠实模仿了高频动作。它没有学会判断“当前缺什么信息”，而是把“收到问题”与“先搜索”绑定在一起。相关首次训练记录里，就出现了简单问题仍偏 Search 的现象，材料同时指出 Search、Visit 轨迹偏多可能是…

项目深挖:面试官会怎么一层层追问你的项目

匹配正文：大模型面试里最能分辨真假的环节,就是项目深挖。面试官不会随机提问,而是顺着一条几乎固定的追问链,从"你解决的是什么业务问题"一路问到评估、badcase 和上线成本,哪一环你只有话术、没有证据,他就在哪一环停下判你"水"。所以准备项目不是把讲法背顺,而是提前把这条链上的每一环都补一条"问题+方案+取舍+数字"。这一篇拆开 RAG 和 Agent 两条最常被追的链,逐环告诉你面试官想验证什么、你该怎么带着证据答。作者:吴师兄 | 适合:项目主线能讲顺、但被往深追第二层就卡住的…

#Agent#多智能体与评估#单 Agent 和多 Agent 区别

复杂任务一定要拆成多 Agent 吗？单 Agent 与多 Agent 怎么选

匹配正文：…而不是将上一个 Agent 全部聊天记录复制过去。如果所有角色最终都要看同一份完整上下文，拆分不能解决注意力问题，反而会把相同 Token 重复发送。第三个判断：工具与权限是否不同一个拥有搜索、写数据库、发消息、删除文件和运行代码等全部工具的 Agent，能力面过大。即使 Prompt 要求谨慎，模型选错工具的影响也可能很高。按职责拆分可以执行最小权限。研究 Agent 只读公开资料，执行 Agent 才能调用有副作用的业务工具，发布 Agent 必须经过人工批准。每…

#Agent#多智能体与评估#多 Agent 编排模式

多 Agent 怎么编排？固定流水线和 Supervisor 监督模式怎么选

匹配正文：…ipeline 与 Supervisor 的编排边界固定依赖用图控制，运行时未知分支才需要动态监督。 Pipeline 模式到底是什么 Pipeline 不只是把多个 Agent 写成一个数组顺序调用。它描述任务依赖、节点输入输出、成功条件和失败边。例如研究报告流程可以是：解析问题，生成子问题，并行检索，合并证据，检查冲突，生成报告，评审核验。每个节点只读取必要 State，输出结构化工件。依赖明确的节点按顺序，互不依赖的子问题并行，所有分支结束后进入合并。固定流程的优…

大模型系统设计和编码环节怎么准备

匹配正文：…题框架和编码环节的准备重点。作者:吴师兄 | 适合:准备大模型岗系统设计与编码环节的转行者 | 前置:知道 RAG/Agent 是什么,最好做过一个项目大模型系统设计到底考什么先给结论:考的是"把模糊需求拆成能落地、能评估、能控成本的系统"的能力,不是让你把组件画满一张图。大模型系统设计题和传统后端系统设计的最大不同,在于多了三条你必须主动说清的链路:检索/召回怎么设计、效果怎么评估、成本和延迟怎么控。传统后端设计里"高可用、可扩展"你已经熟,但一个 RAG 系统里"…

面试题·RAG

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

匹配正文：…并允许再次使用的信息。两者如果不区分，系统很快会出现两个极端。第一个极端是全量拼接。每次请求都把从第一轮开始的全部对话交给模型，Token 会随轮次持续增长，旧话题、寒暄和已经失效的条件也会干扰当前问题。上下文窗口再大，也不意味着所有历史都有价值。第二个极端是固定保留最近几轮。这能控制长度，却会机械地丢掉较早但仍然重要的信息。例如用户先确认了预算，随后讨论十几轮功能细节；只看最近消息，系统可能忘记最初的约束。因此记忆管理解决的不是“存不存聊天”，而是四个更具体的问题：哪…

#RAG#生成与对话#RAG 记忆模块

#Deep Research#数据构造与训练#Deep Research 截断轨迹

长轨迹被截断就算失败吗，为什么这样做会把 Agent 训成提前乱答？

匹配正文：Deep Research Agent 一次任务可能经历多轮搜索、访问、计算和摘要。当轨迹达到最大 token、最大步骤或运行时间，系统可能在 final answer 之前停止。很多训练管道看到“没有最终答案”，就直接给零 reward，并把这条轨迹当作负样本。这看起来合理，实际上可能教坏模型。有些轨迹确实走错了，有些只是环境超时，还有些方向完全正确但预算用完。若全部受到同一种惩罚，模型反而会学着赶在截断前随便给出答案，研究质量未必提高。相关训练材料明确提醒，这种处…