页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「长上下文」找到 101 条内容
按专题浏览 →匹配正文：…显存,而且和上下文长度成正比。对长程调研 Agent(上下文动辄几万 token),KV Cache 能吃掉大量显存,这也是为什么长上下文推理这么贵。 联系第 2 章:还记得 IterResearch 用「演进报告」把上下文压成常量吗?那个设计直接受益于此:上下文短,KV Cache 就小,推理又快又省显存。架构选择和推理成本是连在一起的。 2.2 Continuous Batching:把 GPU 喂饱 (回扣小实验)static batching 的问题是「整批等最慢」,…
匹配正文：…路由验收清单 设计合格的标志，是能证明正确工具被找回、错误工具被拒绝、失败能定位。 面试官会怎样连续追问 追问一：为什么不直接用更长上下文 长上下文只能缓解容量，不解决相似工具混淆、权限暴露、健康状态、版本和每轮成本。路由仍有必要把候选缩小并留下选择证据。 追问二：只用向量检索有什么问题 语义相似不代表可调用。它可能召回无权限、高风险、缺少前置参数或数据域错误的工具。应先硬过滤，再混合召回，并允许无合适工具。 追问三：Top K 设多少 没有通用固定值。要根据工具相似度、模型…
匹配正文：…过训练长度后都可能出现困惑度、检索和生成质量退化。扩窗通常结合 position interpolation、频率缩放、继续训练或长上下文微调，并在目标长度验证短文能力、困惑度、检索、多跳和真实生成。不能用 LLaMA 从 2K 直接无损到 32K 或固定 8 到 16 倍作为通用结论。 图解 位置编码为什么重要?图解
学习内容与项目面试，在同一条路上。