求职指南 · 转行大模型指南
大模型应用开发要懂哪些概念、懂到什么程度
转大模型应用开发,不用把深度学习从头学一遍,真正要吃透的是一小批"每天做工程决策都会碰到"的概念:Token、上下文窗口、温度、Embedding、向量检索、RAG、Agent、评估指标这些。标准不是能背定义,而是能一句话讲清、还能说出它影响哪个工程取舍。这篇给你一张核心概念清单和"懂到什么程度"的可操作标准。
作者:吴师兄 | 适合:准备转大模型应用开发、想知道概念地基要打到多深的人 | 前置:知道应用岗和算法岗的区别,不需要机器学习背景
先给结论:应用开发要懂的概念不超过一打,而且每一个都能直接落到你写代码、调参数、排 badcase 的动作上。下面这张表按"一句话是什么 + 要懂到什么程度 + 站内哪里补"三列列全,懂到什么程度那一列就是你的自测标准。
| 概念 | 一句话是什么 | 要懂到什么程度 |
|---|
学习内容与项目面试，在同一条路上。
| 站内哪里补 |
|---|
| Token 与分词 | 模型看到的不是字而是 token,一个中文字常拆成 1-2 个 token | 能估算一段文本大概多少 token,知道它决定成本和窗口占用 | /ai-coding 第 1 章 |
| 上下文窗口 | 模型单次能读进去的 token 上限 | 知道超窗会截断或报错,知道 RAG 存在就是为了绕开窗口限制 | RAG 为什么需要 |
| 温度 / top_p | 控制输出随机性的两个采样参数 | 能说出什么场景调低(抽取、分类)、什么场景调高(创作) | /ai-coding 第 2 章 |
| 推理成本与延迟 | 每次调用按 token 计费、按 token 生成耗时 | 能算清一个请求的成本量级,知道流式输出改善的是体感延迟 | /questions?module=推理优化 |
| 幻觉 | 模型一本正经编造不存在的事实 | 知道它无法根治,只能靠检索接地和引用溯源缓解 | 引用与溯源 |
| Embedding 与向量 | 把文本压成一串数字,语义相近则向量相近 | 知道它是语义检索的基础,知道选模型影响召回质量 | Embedding 选型 |
| 向量库与 ANN 检索 | 存向量、用近似最近邻快速找相似 | 知道为什么用近似而非精确,知道它牺牲一点召回换速度 | /questions?module=向量检索 |
| RAG | 先检索相关资料再让模型基于资料回答 | 能画出"切块-向量化-检索-重排-生成"整条链路 | RAG 架构 |
| Agent 与工具调用 | 让模型自己决定调哪个工具、按结果再决策 | 能说清一次工具调用的请求-执行-回填闭环 | /ai-coding 第 3 章 |
| Prompt 与结构化输出 | 用提示词约束任务,并要求返回 JSON 等固定格式 | 能写出让下游能解析的稳定输出,知道怎么处理格式跑偏 | 系统提示词 |
| 微调 vs 提示工程 | 改模型权重 vs 只改输入,两条改行为的路径 | 能判断一个需求该先试提示还是该上微调 | 模型微调题库 |
| 评估指标 | Recall / MRR / 忠实度等衡量系统好坏的量 | 能说出各指标衡量哪一环、少了它面试会露 | 评估 |
结论先行:判断你懂没懂一个概念,就问两句话——能不能用一句话讲清它是什么,能不能说出它影响哪个工程决策。两句都能过,才算懂到应用开发要的程度。
拿温度举例。"温度控制输出随机性"这是第一层,只是定义。第二层是:做信息抽取、分类、SQL 生成这类要稳定复现的任务,温度调到 0 或接近 0;做文案、头脑风暴这类要多样性的任务,调高到 0.7 以上。能说出第二层,你才是真懂——因为那意味着你在真实项目里知道该往哪拧。
再拿重排举例。第一层"重排就是把检索回来的候选再打一次分排序"。第二层是"为什么要重排":向量检索为了快用的是近似最近邻,召回排序并不精准,重排用更重的模型对 top-k 做精排,把最相关的顶上去;不加重排,答案容易被相关性一般的片段带偏。能答出第二层,面试官追问才不会把你问穿。
对每个概念都套这两句话,你会很快发现自己哪些是"背过定义"、哪些是"真能用"。
结论:在校生适合系统过一遍、顺便判断要不要走应用算法;工作党适合挑不熟的补,别从头啃深度学习。这两类人的起点和目标都不同,打法必须分开。
| 维度 | 研一/研二在校生 | 工作约 3 年 Java/后端 |
|---|---|---|
| 起点 | 时间充裕,可系统过一遍全部概念 | 已有工程直觉,时间紧,只补缺口 |
| 补的顺序 | 按上表从上到下走一遍,建立完整地图 | 直接跳到 RAG / Agent / 评估这三块补直觉 |
| 深度取向 | 可往下多探一层(Embedding 怎么训、注意力机制),为要不要走应用算法留口子 | 不必深挖原理,重点是"这概念影响我哪个设计决策" |
| 里程碑 | 能对着一张架构图把每个概念讲 20 分钟 | 能把概念挂到自己的项目和后端经验上 |
| 别做的事 | 别只刷概念不动手,概念会飘 | 别从头学深度学习数学,那是浪费时间 |
在校生多出来的那层深度不是白花的:它帮你判断自己更喜欢调模型(应用算法)还是搭系统(应用开发),这个岔路口早点想清楚,见研究生阶段怎么准备。工作党的优势是工程直觉已经在,Embedding、向量库、检索缓存这些对做过后端的人几乎是"换个名字的老朋友",难点只在 RAG 整条链路和 Agent 的决策闭环这两块新东西,把它们补成直觉即可,细节见后端经验怎么迁移。
最典型的假努力,是把每个概念的定义抄成一份漂亮的知识卡片,能一字不差背出"什么是重排""什么是 MRR""什么是 top_p",然后以为自己懂了。
面试里这套一追问就崩。面试官不会问"什么是重排",他会问"你这个 RAG 为什么要加重排、不加会怎样""你召回的 top-k 取多少、依据是什么""你用什么指标证明重排真的有用"。这些问题背定义答不了,因为它们考的是概念之间的因果和取舍,不是孤立的名词。
正确的补法是反过来:不是先记定义再找场景,而是先动手搭一个最小 RAG,亲眼看到不加重排时答案被烂片段带偏,再回头理解重排的定义。从决策倒推概念,概念才粘得住。这也是为什么这篇一直强调"能说出它影响哪个决策"——那是懂和背的分水岭。
按这个顺序走,概念不会停在纸面上:
概念是地基,但地基不是终点。补完这一批,再看数学和理论到底要补多少和方向级技术栈全景,把地图铺全。
不用系统学。应用开发日常用到的是上面那张清单里的工程概念,反向传播、损失函数这些原理知道个大概即可,不必推公式。真要往应用算法走再补,判断标准见应用开发和应用算法怎么选。
在校生系统过一遍加动手,约 3-4 周;有后端经验的人挑着补 RAG/Agent/评估,约 2 周。这是经验值,关键不在天数,而在有没有真动手搭过一个系统,让概念从定义变成直觉。
多半是你在背定义而没串因果。把每个概念改成问自己"它影响我哪个决策""不用它会怎样",再对着自己的项目复述一遍。答不上来的地方,就是回去补项目、补评估的信号。
先吃透提示工程,它是每天都用的基本功,成本低、迭代快。微调只在提示怎么调都达不到效果、且你有数据时才考虑。入门先把提示和 RAG 做扎实,微调作为进阶概念了解即可。