匹配正文：…模型输出的格式可由 schema 约束，但语义正确、工具权限和业务状态仍需权威系统校验。性能指标要分开。TTFT 是请求到首个 token，通常包含排队、网络和 prefill；TPOT 或 ITL 表示首 token 之后相邻输出 token 的平均间隔，不是整个请求延迟；E2E latency 覆盖完整请求。还要看请求吞吐、输出 token 吞吐和 P50/P95/P99，并固定输入输出长度与并发。降低 temperature 会减少采样随机性，temperature=…

#大模型工程化#系统架构设计#推理优化

面试题·Prompt

Few-shot 和 Zero-shot 是什么意思?

匹配正文：…于当前上下文，会话一换就消失，所以叫"上下文"学习怎么选、怎么用场景建议任务常见、要求简单 Zero-shot 即可，省 token 输出格式要求严格 Few-shot，示例统一格式任务边界模糊、有易错情况 Few-shot，把易错情况放进示例注意：示例之间格式要一致，标签分布尽量均衡（别全是正面例子），数量通常 2~5 个即可——放太多占上下文窗口，效果还未必更好。入门之后，可以往上下文学习的机制、示例的动态检索挑选、few-shot 与微调的对比选型深入。

#入门#基础概念#Few-shot

面试题·Agent

ReAct 框架是什么?

匹配正文：…能拆解复杂任务、轨迹可解释它是最经典的 Agent 执行范式,出自 2022 年的论文 ReAct 代价是多轮模型调用,延迟和 token 成本更高,还要防死循环核心概念 ReAct 是一种让大模型把"推理过程"和"工具行动"交替进行的执行框架:模型先写下思考,再执行一个动作,观察工具返回的结果后继续思考,循环往复直到任务完成。一个循环长什么样以"姚明的妻子比他小几岁"为例: Thought:得先查姚明妻子是谁 → Action:搜索"姚明妻子" → Observa…

#入门#基础概念#ReAct 框架

面试题·模型架构

上下文窗口是什么?超了怎么办?

匹配正文：答案要点上下文窗口是模型一次推理能「看到」的最大 token 数,输入和输出共享这个额度限制的本质:注意力计算量随长度平方增长 + 位置编码只在训练长度内可靠 + KV 缓存显存随长度线性增长超窗后模型不会报错,而是最早的内容被截断,表现为「忘了前面说过的话」三种经典应对:截断(简单粗暴)、摘要压缩(有损保留主干)、RAG(外挂检索,按需取用) 实际系统常三者组合:近期对话留原文、久远对话滚动摘要、知识库走 RAG 核心概念上下文窗口(Context Window)…

#入门#基础概念#上下文窗口

面试题·推理优化

KV Cache 是什么?为什么能加速推理?

匹配正文：答案要点大模型生成是逐 token 自回归的,每生成一个新 token 都要「回看」前面所有 token 不加缓存时,前面每个 token 的 Key/Value 会被一遍遍重算,计算量随长度急剧膨胀 KV Cache 把已算过的 K、V 存进显存,新 token 只算自己的再与缓存拼接,典型的空间换时间代价是显存:缓存随序列长度和并发数线性增长,长对话高并发下可能比模型权重还占显存它是因果Transformer自回归推理中的常用优化，也是PagedAttention等…

#入门#基础概念#KV Cache

面试题·检索· 字节

RAG 核心实现原理是什么?

匹配标题与标签：RAG 核心实现原理是什么? 检索增强生成的关键组件与技术架构方案详解检索字节 RAG实现原理 RAG 实现原理 RAG 关键组件 RAG 技术架构字节

#字节#RAG实现原理#RAG 实现原理

面试题·RAG

RAG Chunk 为什么不能只按固定字数切？

匹配正文：…。 Chunk 太小与太大的不同问题块太小容易丢前提，块太大容易混主题。合理切分要在语义完整与检索聚焦之间取得平衡。 “512 Token”只能成为候选实验起点，不能直接当作推荐配置，更不能成为方案理由。不同资料的自然结构差异很大。FAQ 可能一组问答就能独立成块，制度条款需要保留条件和例外，操作流程需要保留步骤顺序，表格则依赖表头与行列关系。如果所有内容都套同一个数字，表面上实现统一，实际是把复杂度转移给检索和生成。一条可落地的切分链路是什么？切分不应该从整篇纯文…

#RAG#切分与索引#RAG Chunk

项目实战·RAG

第 8 章:多轮对话与记忆管理

匹配正文：…是它最朴素的样子;Part 2 讲工程系统可以怎样选历史、控制上下文、管理长期记忆和用户画像。这一节你掌握了什么? ✅ 记忆模块是什么、为什么多轮对话离不开它 ✅ 短期 / 长期记忆的区别 ✅ 亲手实现了"带记忆 + 指代消解",看清了"没记忆就断片" 🎯 Part 2 · 面试深度｜ ~45% 这部分讲透对话历史怎么选、上下文怎么裁、长期记忆怎么管、主流框架怎么做。 2.1 对话历史怎么选每轮生成时,不能把全部历史都塞给模型(token 有限,且旧信息会干扰)。怎么…

#RAG#检索#项目实战

面试题·RAG· 小红书

生成式推荐的序列原理

匹配正文：…用户历史行为、上下文信息编码为Prompt，让模型自回归生成下一个物品的ID或属性，而非传统打分排序。工作原理核心流程：统一Token空间：将用户ID、物品ID、行为类型、时间等离散化为统一词汇表序列化输入：[BOS] 用户u [SEP] 点击i1 [SEP] 收藏i2 [SEP] 时间t [SEP] → 生成i3 自回归生成：模型学习行为序列的联合分布 P(i₃|u, i₁, i₂, t...) 典型方案： GPT4Rec/TIGER：直接生成Item ID P5/…

#小红书#Item Tokenization#生成式推荐的序列原理

项目实战·RAG

RAG 智能问答系统

匹配正文：… 本次另实跑9个公开零依赖下载脚本，以及兼容环境内的长/短/空PDF切分和固定条款分块；无模型下载或LLM/API调用。字符切分与token预算要分别测，不能把512字符写成512 token。继续安装完整链路依赖这套旧Chroma0.4.x依赖应注意numpy>=1.26,<2与posthog>=2.4,<6兼容边界。实证组合是 Chroma0.4.24、NumPy1.26.4、PostHog5.4.0、Python3.11.17：NumPy2会在旧Chroma imp…

#项目实战#RAG 智能问答系统

项目实战·Agent

Deep Research Agent

匹配正文：…→ 筛选与增强 SFT 冷启动学输出格式 RL 与负样本筛选的候选方案及风险验证 Loss Mask 掉 observation token 工程验证 + 评估为推理、并发与成本设计压测(KV Cache / continuous batching) 把 RACE、FACT 与 LLM-as-Judge 作为候选评测方法校验把失败样本回流到数据与策略验证学习成果理解一个「执行框架 → 训练 → 评估」全链路的研究 Agent 如何设计，并能按职责、方案、证据和边界复盘…

#项目实战#Deep Research Agent

学习路线·学习路线

大模型应用开发学习路线

匹配正文：…工程手感。你需要亲手看见请求怎样进入模型，模型怎样返回结构化结果或工具调用，失败又怎样被记录和收口。建议按这个顺序完成：掌握 Token、上下文、幻觉、Embedding 和模型调用的基本语义，可以从LLM 应用基础概念开始。亲手调用一次大模型 API，处理超时、错误和配置，不把密钥写进代码。用Function Calling跑通“模型给出调用意图，代码执行工具，结果再回填”的完整循环。按主线选一个最小练习：最小 RAG或最小 Agent。故意制造一次失败：检索不…

#学习路线#RAG#Agent

求职指南·Agent

vLLM 推理服务、吞吐、延迟与成本项目模拟面试

匹配正文：… 怎么选?、LLM 推理框架综合选型。 5. metrics · metrics 吞吐、TTFT、TPOT、P95、显存和单百万 token 成本如何测？输入输出长度和并发分布是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。吞吐、TTFT、TPOT、尾延迟、显存与 token 成本口径固定模型、硬件、长度分布和并发条件下的旧基线压测脚本、请求分布、预热、采样窗口和版本记录需要追加追问时：metric_undefined → metrics-proo…

#模拟面试#简历项目#连续追问

求职指南·求职

转大模型应用开发路线图(2026):研究生/Java 后端要学什么、多久上岸

匹配正文：…、能溯源、能上线、能被用户反复使用。所以这条路线的判断标准很简单: 你要证明什么面试官会怎么问该准备什么你懂模型基本行为 Token、上下文、幻觉、温度、Embedding 怎么影响系统概念能口述,能解释工程取舍你能把模型接进系统 API、流式输出、工具调用、异常兜底怎么做最小 LLM 应用 + 最小 Agent + 最小 RAG 你做过完整项目文档怎么切、检索怎么评估、引用怎么溯源一个能讲透的 RAG 或 Agent 项目你扛得住追问为什么选这个方案,…

#求职#职业转型

面试题·Agent

LLM、Workflow 和 Agent 怎么选？什么任务根本不该做成 Agent

匹配正文：…称它在根据环境反馈决策，意义有限。 3. 可选行动能否被清楚约束 Agent 至少要知道有哪些工具、工具分别解决什么问题、参数边界是什么、哪些用户有权调用。如果工具描述含糊、返回格式不稳定，模型得到的就不是可靠行动空间。没有稳定工具，Agent 会退化成“连续猜测”。它可能看起来进行了很多步，但每一步都没有可验证的新信息。 4. 错误是否可逆搜索一次错误关键词和误删生产数据，不是同一个风险等级。前者通常可以换关键词重试；后者即使事后发现也可能无法恢复。只读、可回放、低成…

#Agent#架构与规划#Agent 和 Workflow 区别

项目实战·RAG

第 1 章:为什么做 RAG?

匹配正文：…"? 上下文,就是你这一次塞给模型、让它参考的那段文字。模型一次能读的上下文有长度上限(就像一口能吃的饭量),这个"量"用 **token(粗略 = 1 个汉字或 0.5 个英文单词)**来计。RAG 的关键动作,就是"检索出最相关的几段资料,拼进上下文",而不是把整个知识库一股脑塞进去。后面整本书很多功夫,都花在"怎么让塞进上下文的那几段,又准又全"。上下文有上限:整本书塞不下,只能挑最相关的几块 🛠️ 跟着做:20 行代码,看懂 RAG 的核心机制不用 API k…

#RAG#检索#项目实战

项目实战·RAG

第 2 章:RAG 整体架构

匹配正文：…作者或学员的客户项目。假设知识库包含产品条款 PDF、培训 PPT 和录播视频字幕,最小版本常会遇到两类问题: 像「公司的报销制度是什么」这种流程型问题,答案明明白白躺在制度文档里,却因为只有几个关键词、纯向量检索抓不准; 像「怎么提升销售业绩」这种思考型问题,答案又零散分布在十几份培训材料里,召回的片段东一块西一块。再加上召回回来没重排、Embedding 还是通用的、不认"现金价值""退保费"这些保险黑话,这些毛病各不相同,却都指向同一件事: RAG 不是"写个检索"就…

#RAG#检索#项目实战

项目实战·Agent

第 2 章:Agent 执行框架,ReAct → IterResearch

匹配正文：…任务里又快又好,但「把观察只增不减地堆进上下文」这个朴素做法,扛不住长程调研。这一章,就是讲怎么扛住它。概念 1:ReAct 是什么 ReAct(Reasoning + Acting),是最基础也最常用的一种 Agent 框架。核心一句话:把「想」和「做」交织起来,想一步(Thought)、做一个动作(Action)、看观察结果(Observation),再想下一步,如此循环。上一章那个 mini-agent 就是一个最朴素的 ReAct:思考 → search → 观…

#Agent#Deep Research#项目实战

面经·项目面试

Agentic RL 项目，GRPO 为什么不用 PPO？六道大厂真题逐题复盘

匹配正文：…在准备的方向上。备的是算法对比，PPO 有 critic，GRPO 没有，背得很熟。面试官顺着往下问的是项目：你为什么这么选，代价是什么，训崩了你怎么知道。我从里面挑了六道，你面试的时候大概也是按这个顺序被问到。示范答法用的是第一人称，是站在做过这个项目的同学的角度写的；其余地方说"我"的，都是我吴师兄。 127 道 GRPO 真题在问什么一、GRPO 相比 PPO 改进了什么，为什么选它？请分析 GRPO 相比 PPO 在哪些方面有所改进，解决了 PPO 的哪些局限性…

#Agentic RL#GRPO#PPO

面试题·Agent

ReAct Agent 为什么会死循环？停止条件和步数上限怎么设计

匹配正文：…不可区分、错误被反复回灌，或者模型每轮看不到已完成状态。生产系统不能只等模型自行停止，要同时设置业务完成条件、最大步数、最大耗时、Token 与工具预算、重复动作检测、连续失败控制和人工接管。每轮都要记录结构化 Action、工具结果和状态变化。停止时还要区分成功、信息不足、预算耗尽和系统故障，不能把所有退出都包装成一段最终答案。如果只回答“设 MAX_STEPS”，面试官通常会继续问：“那设多少？为什么？到上限以后给用户什么？”没有状态和退出语义，就很难接住。 ReAct…

#Agent#架构与规划#ReAct Agent 死循环

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：…本 500 页的保险条款整本塞给它。所以要先剪成小块,用户提问时只挑最相关的几块送进去。模型上下文预算按具体tokenizer的token计量，没有固定的汉字/英文词换算比例。本例RecursiveCharacterTextSplitter默认用len按字符计长，所以chunk_size=512是最多约512字符，不能当作512 token。若按token切分，需选择与目标模型匹配的tokenizer/长度函数并重新验证。什么是切分:把大文档剪成多个小块这步看着简单,却…

#RAG#检索#项目实战