本文目录
一句话:这几个词面试几乎必问。别背定义,建立一个能上手的心智——后面所有动手内容都建在它上面。
LLM:一个「下一个 token 预测器」
理解文本生成时，可以先记住这个循环：给定已有上下文，预测下一个 token 的概率分布，再按解码策略选出一个 token，接回上下文继续生成。贪心解码选概率最高的 token，采样则按分布抽取；“预测概率”不等于每次都选最可能的那个。
要区分模型本身与承载它的应用：
- 实时信息：仅靠训练得到的参数，不能可靠知道训练之后发生的新闻；应用接入搜索、RAG 或实时 API 后，可以把新资料交给模型使用。缺少资料时可能回答错误，也可能说明不知道。
- 对话记忆：模型使用本次调用收到的上下文；多轮历史、会话状态与长期记忆，需要由应用或服务提供并管理。
- 工具执行：在本文的文本对话示例里，模型生成文本或工具调用请求，查数据库、运行代码等动作由宿主或工具服务执行。多模态能力与可用工具取决于具体模型和应用。
Token:模型眼里的「文字最小单位」
模型先用 tokenizer 把文本转换成 token。一个 token 可能是子词、标点、空格或其他片段，不等同于一个字或一个词。英文、中文、代码和不同 tokenizer 的切分比例都不同，不能固定按“一个英文词”或“几个汉字”换算；实际计费和窗口预算应使用对应模型的 tokenizer 或 API 返回的 usage。
为什么面试爱问 token?因为它直接决定两件钱事:
- 成本：文本 API 通常区分输入、输出等 token 类别计费；缓存、推理 token 与具体价格要看所用服务的规则。
- 上下文上限:模型一次能"看"的 token 有上限,超了就得截断或压缩。
上下文窗口:模型一次能看多少
「上下文窗口」= 模型单次请求能容纳的 token 总量(输入 + 已生成)。它是个硬上限:
- 塞太多 → 注意力被稀释,关键信息被淹没,效果反而下降(不是越长越好)。
- 快满了 → 要么报错,要么硬截断丢信息 → 长任务必须做截断 / 摘要 / 外部记忆(后面手搓 Agent 会踩到)。
Agent:LLM + 工具 + 循环 + 记忆
直接调一次 LLM 是「问一句答一句」。Agent 在它外面套了一层自治循环:
感知(读输入/状态) → 规划(想下一步) → 行动(调工具) → 观察(看结果) → 回到规划……直到完成一句话:Agent = LLM(大脑) + 工具(手脚) + 循环(自治) + 记忆(状态)。面试官问「Agent 比直接调 LLM 多了什么」,答的就是这后三样。
配套站内概念图:题库里 Transformer、注意力、KV Cache、RAG、Agent 等都配了示意图,看图理解更快。
面试常踩的点
- 「大模型为什么会幻觉?」→ 它是概率预测,不是知识库;不知道也会"流畅地编"。
- 「上下文越长越好吗?」→ 不是,注意力稀释 + 成本 + 延迟,够用就好。
- 「Token 和字符是一回事吗?」→ 不是,token 是子词,中英文切分粒度不同。
关联面试题(去站内练手)
- 「请解释一下大语言模型的基本原理 / 为什么会产生幻觉?」
- 「什么是 Token?它和上下文长度、推理成本有什么关系?」
- 「Agent 和直接调用 LLM 有什么区别?」
👉 去 题库 搜 大模型原理 / 幻觉 / Agent,配套真题边学边刷。
训练营延伸
这些概念再往底层走——注意力机制、KV Cache、上下文如何在显存里摆放、长上下文怎么外推——是训练营「Memory & Transformer 基础」那条线在讲的,也是大模型岗底层加分项。