匹配正文：大模型应用开发岗和算法岗的区别,不是“高级”和“低级”,而是产出不同:算法岗优化模型本身,应用开发岗把模型接进业务系统。普通工程师如果没有论文、竞赛或训练履历,更适合先从应用落地进入,再按岗位深度补微调、评估和推理部署。作者:吴师兄 | 适合:正在纠结投应用岗还是算法岗的工程师、研究生、后端开发 | 前置:知道大模型基本概念,但不确定职业入口一句话分清:一个做模型,一个做系统算法岗更靠近模型训练和模型能力本身,应用开发岗更靠近业务系统和用户结果。两者都重要,但日常问题完…

#求职#职业转型

系统教程·AI 编程

亲手调一次 LLM API(同步 + 流式)

匹配正文：…-p 这些采样参数分别控制什么?」 👉 去题库搜流式 / 采样参数 / 解码策略。训练营延伸往工业级走:高并发下的推理优化(KV Cache、continuous batching)、vLLM 部署、成本与延迟权衡——是训练营工程化那条线的内容。参考资料 DeepSeek 官方首次调用与当前模型入口 Python SDK 的超时、重试与流式接口

#Agent#AI 编程

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：… 文档处理、切块、Embedding、检索、重排、引用、评估后端、数据、企业系统、知识库项目背景 RAG 基础、向量检索、重排与优化 Agent 开发让模型调用工具完成多步任务工具 schema、任务规划、状态机、记忆、异常兜底后端、全栈、自动化、研发工具背景 Agent、Prompt 工程推理部署/LLMOps 让模型服务稳定、便宜、跑得快模型服务、并发、显存、KV Cache、监控、灰度后端、SRE、平台工程、基础架构背景推理优化、模型架构应用算法/微调…

#求职#职业转型

← 上一页第 2 / 2 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

求职指南·求职

大模型岗面试流程全解:每一轮考什么、怎么准备

匹配正文：…on Calling、ReAct、失败恢复、多步编排)。微调方向:LoRA/QLoRA 原理、数据构造、灾难性遗忘。推理方向:KV Cache、量化、批处理与吞吐优化。这些在领域八股速通里按模块整理好了,题库入口在 /questions,每道题有书面答案和口语版讲法。练的重点是「能顺畅讲出来」,不是「看懂点头」——面试是口试,看懂和讲清楚之间差一个数量级。技术二面:系统设计 + 边界试探结论:二面从「你做过什么」升级到「给你个新问题你怎么从零设计」。典型题是「给你 …

#求职#职业转型

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：…模型微调」应用岗通常只考 LoRA/SFT 概念与「何时微调 vs 何时 RAG」题库「模型微调」模块的判断类真题「熟悉推理优化(vLLM、量化、KV Cache)」部署方向核心项,其他方向是加分项题库「推理优化」模块「良好的工程能力」代码能读能维护、懂接口/异步/日志/稳定性后端老本行,把它翻译成大模型系统语言「有 0-1 项目经验者优先」加分项,自建完整项目同样算数没有项目经验怎么办「发表过顶会论文者优先」纯加分项,应用岗没有它照样过忽略,别被…

#求职#职业转型

求职指南·求职

大模型系统设计和编码环节怎么准备

匹配正文：…工具调用、记忆、循环终止、失败重试 Deep Research 这类 Agent 怎么设计设计一个高并发大模型推理服务批处理、KV Cache、并发调度、显存、限流降级服务化章和推理优化题库设计一个带评估的内容审核/分类系统 Prompt 分类 vs 微调、评估指标、误报漏报权衡模型架构题库设计一个低成本的长文档摘要/问答长上下文 vs 分段检索、token 成本、缓存 RAG 系统怎么从零搭起准备策略:RAG 问答和 Agent 工作流是应用开发岗的绝对…

#求职#职业转型

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配口述回答：…。vLLM 侧重 PagedAttention、连续批处理和高吞吐服务；TensorRT-LLM 面向 NVIDIA GPU 深度优化，使用自己的 checkpoint 与 engine 流程，不要求模型必须先转 ONNX；TGI 提供成熟的 Hugging Face 服务能力，但官方当前把项目标成 maintenance mode；llama.cpp 面向轻量本地和边缘部署，支持 GGUF、CPU 与多种 GPU，也远不只支持 Llama。比较时固定模型、量化、上下文和并发…

#vLLM#TensorRT-LLM#推理引擎

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配标题与标签：13B模型INT8/INT4量化后多大? 量化后存储估算及对推理延迟、吞吐量、硬件资源影响分析推理优化模型量化 INT8/INT4 显存优化推理性能部署成本 2026真题 13B模型量化 INT8 INT4量化模型存储大小量化推理延迟量化吞吐量系统优化与推理加速百度

#模型量化#INT8/INT4#显存优化

面试题·推理优化· 京东

推理框架硬件支持对比

匹配口述回答：【30秒速答】服务端高并发可先压测 vLLM 和 SGLang，NVIDIA 上追求特定模型优化可评估 TensorRT-LLM，本地、CPU、Apple Silicon 或异构设备可看 llama.cpp。TensorRT-LLM 当前支持从 Hugging Face 权重转换和高层 API，不是必须先转 ONNX。TGI 有流式、连续批处理、张量并行和监控，但官方已进入 maintenance mode，也没有覆盖所有业务的通用安全过滤。StreamingLLM 是长流…

#vLLM#TensorRT-LLM#llama.cpp

面试题·Agent· 得物

大模型记忆机制怎么改进?

匹配正文：…ion、StreamingLLM等改进注意力机制，将有效窗口从4K扩展到1M+ tokens 关键：训练阶段使用长序列数据，推理时KV Cache优化（如H2O重计算策略）分层记忆架构（如MemGPT）模拟OS内存管理：主上下文（有限token）+ 外部记忆（磁盘级存储）通过函数调用自主触发read_memory/write_memory，实现页式交换二、外部记忆模块：显式存储设计方案核心机制适用场景 Memory Bank 按实体/话题聚类存储摘要向量多轮对…

#得物#Agent#大模型记忆机制

面试题·Agent· 小红书

长序列行为数据怎么处理?

匹配正文：…结构热记忆：最近1-2天行为，全量放入prompt 冷记忆：历史行为向量化存入HNSW索引，按需检索Top-10 三、上下文管理优化 KV Cache复用：对固定历史前缀预计算并缓存，避免重复编码稀疏注意力：Longformer/BigBird模式，降低O(n^2)复杂度分页调度：vLLM的PagedAttention思想，动态分配显存四、小红书场景的特殊考量多模态行为：图文/视频浏览需统一embedding空间实时性：新发布笔记需在分钟级进入用户记忆负信号：曝…

#小红书#Agent#长序列行为数据

面试题·评估· 得物

Agent部署关键环节与陷阱

匹配正文：…延迟<200ms，吞吐>1000 token/s 部署形态：多副本+负载均衡，GPU与CPU分离部署（工具执行放CPU节点）关键优化：KV Cache按session隔离，支持prefix caching加速多轮；流式响应降低感知延迟 2. 工具集成层注册中心：工具以OpenAPI Schema注册，含description+parameters+required字段供LLM理解执行沙箱：工具调用走异步RPC/HTTP，超时默认5s可配置；敏感操作需人工确认节点版本管…

#得物#Agent#Agent 系统部署

面试题·评估· 字节

Attention 在多轮对话中有什么局限?

匹配正文：…模式不规则多轮规划早期推理步骤被稀释，关键决策点难以回溯长期记忆用户偏好、会话历史跨session，超出上下文窗口针对性优化方向稀疏Attention：Sliding Window + Global Attention（如Longformer），关键步骤保留全局可见压缩历史：用摘要模型或记忆模块将多轮压缩为固定token 动态KV Cache：H2O保留Heavy Hitters，StreamingLLM丢弃中间token 长度外推：NTK-aware插值、Ya…

#字节#评估与监控#Attention 局限性

面试题·RAG· 小红书

生成式推荐系统未来怎么发展？

匹配正文：…生成需对齐"收藏率"而非单纯点击率 3. 推理效率：动态解码策略核心矛盾：生成式逐token解码 vs 推荐系统毫秒级延迟要求优化方向：投机采样（Speculative Decoding）：小模型草稿+大模型验证提前退出：置信度达标时终止生成缓存复用：用户长期兴趣KV Cache持久化 4. 应用场景：多模态生成推荐小红书特有优势：图文/视频内容可直接作为生成目标演进方向：从"推荐现有笔记"到生成个性化内容摘要、组合生成穿搭方案等关键挑战挑战应对思路 ID…

#小红书#生成式推荐趋势#生成式推荐系统

面试题·模型架构· 海尔

Self-Attention 怎么计算 QKV?

匹配正文：…分数存储随序列长度呈二次增长。FlashAttention减少中间矩阵的高带宽内存读写，但不改变全局attention的数学结果。KV Cache只在自回归解码中避免为历史token重复计算K/V；训练和prefill仍需处理整段输入，不能靠KV Cache消除其二次attention成本。图解 Self-Attention 怎么计算 QKV?图解

#Self-Attention#Transformer#注意力机制

面试题·模型架构· 海尔

Decoder-only 架构为何是主流?

匹配口述回答：…不是训练也逐 token 串行。推理才必须自回归。Prefill 阶段一次并行处理完整输入，生成阶段每次只产一个新 token。 KV Cache 是推理的关键优化：每层保存历史 token 的 Key 和 Value，新一步不再重复计算历史投影。但它不把注意力变成常数复杂度。标准 dense attention 下，第 t 步仍要读取长度为 t 的 KV 并与当前 Query 计算，缓存空间随上下文长度线性增长；如果连续生成很多 token，总注意力工作会随生成长度累积。要…

#Decoder-only架构#自回归生成#因果注意力

面试题·Agent· 小红书

生成式推荐系统有哪些改进方向？

匹配口述回答：…coder]] 把 Top-K 再精排一遍。另一个是延迟，Agent 多轮对话加 RAG 检索，整体响应时间很容易超标，得做 [[KV Cache]] 和投机采样来优化。还有一个点值得深入，就是生成的推荐理由只能算待核验数据，不能天然当高质量样本；需验证依据与反馈，再研究是否适合训练。Self-RAG需要专门的检索与反思训练机制，不能等同于把未点击理由直接回流。这个数据飞轮怎么设计，我觉得挺有意思。所以总的来说，我会把生成式推荐看成一种生成加判别协同的系统，而不是单一的…

#小红书#Agent#生成式推荐系统

面试题·Agent· 百度

Agent 核心组件有哪些?

匹配口述回答：…。短期记忆就是当前对话的上下文，比如用户刚才说了什么、中间结果是什么，实现上就是 [[Sliding Window]] 或者 [[KV Cache]]，把最近的几轮对话或者关键中间结果存下来。长期记忆则负责沉淀历史经验、领域知识、用户偏好，比如一个电商客服 [[Agent]]，需要记住某个用户是 VIP，他之前投诉过物流慢，那么下次对话就要避免再推荐慢的快递。长期记忆的典型实现是 [[Vector Database]]，比如用 Milvus 存向量，按语义检索。但这里要划清边…

#百度#Agent#Agent 核心组件

面试题·模型架构· 海尔

位置编码为什么重要?

匹配口述回答：…encoding 使用多组频率的 sin 与 cos，不需要学习位置表，也能为未见过的位置算出数值；然而模型参数只在训练长度分布上优化，数值存在并不保证 attention 能解释它。相对位置方法把两 token 的距离或方向映射为 bias、embedding 或分桶值，可直接影响 attention score。RoPE 把第 2i 和 2i+1 个特征看作二维对子，位置 m 对应角度 mθ_i，Query 与 Key 同时旋转后，内积依赖位置差。ALiBi 则让不同头…

#位置编码#Transformer#自注意力机制

面试题·项目与经历· 美团

面试反问环节怎么准备?

匹配口述回答：…ation]]。再一个，大模型在智能客服或推荐解释场景里，最大的技术瓶颈我觉得不是推理成本，而是效果稳定性。推理成本可以通过[[KV Cache]]、模型量化来压，但效果波动，比如同一个问题今天答对明天答错，对用户体验伤害很大。所以我会更关注线上[[RAGAS]]指标和bad case追踪，确保每个版本上线前有足够的回归测试。团队协作方面，我想了解算法和工程的协作模式。比如模型上线后的A/B实验和监控体系怎么设计？是算法团队自己写服务，还是交给工程团队封装？我最怕的是模型…

#面试技巧#职业规划#团队文化

面试题·模型架构· 京东

位置编码怎么选? RoPE vs ALiBi

匹配追问：RoPE的外推性优化有哪些改进方案（如NTK-aware、YaRN）为什么LLaMA选择RoPE而ChatGLM早期用ALiBi 长文本场景下位置编码如何影响 perplexity 场景切入我们有个搜索推荐场景，文档库长度会动态变化，比如从几千跳到几万。你负责给Transformer加位置编码，怎么保证模型在长序列上还能正常推理？层层追问 Transformer怎么知道token顺序的？……那如果训练时最大长度512，线上来了1024的序列，位置编码能直接工作吗？……你…

#位置编码#RoPE#相对位置编码