匹配正文：…hidden features归一化，不会拿不同token的均值互相污染。若隐藏维做张量并行，统计量是否跨卡归约取决于切分布局。 LLaMA采用Pre-Norm位置的RMSNorm。合理表述是该选择在其训练配方中兼顾质量和实现效率，不是RMSNorm在所有任务上必然更稳定。选型需比较loss、梯度、溢出、吞吐和最终质量。图解 LLaMA为何选RMSNorm?图解

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 字节

匹配正文：…留均值分量。逐维 gamma 还会改变各维尺度，因此不能说RMSNorm严格保持向量方向或与RoPE“天然正交”。主流模型选择 LLaMA使用Pre-Norm位置的RMSNorm。合理解释是：在保持模型质量的前提下减少归一化统计量并简化实现，而不是“RMSNorm在任何任务都更稳定”。工程选型应比较训练loss、梯度范数、溢出率、吞吐与最终质量。图解 RMSNorm vs LayerNorm：训练效率怎么比?图解

#LayerNorm#RMSNorm#归一化方法

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配正文：…力。TGI 提供流式输出、连续批处理、张量并行和监控，但官方文档已标为 maintenance mode，新项目需考虑维护风险。 llama.cpp 不只是 Llama 或 CPU 小模型。官方项目列出 CUDA、HIP、Metal、Vulkan、SYCL、CANN、OpenCL、RPC 等后端，支持 CPU+GPU 混合、量化和服务端。是否适合多 GPU 或分布式要按 backend、模型和拓扑压测，不能笼统说 GPU 与分布式支持弱。内存也必须绑定参数量、GGUF 量化格…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#vLLM#TensorRT-LLM#llama.cpp

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配正文：…，不依赖 batch 统计。训练与选型 RMSNorm 不要求输入预先近似零均值，也不能笼统称为对异常值更鲁棒或数值必然更稳定。LLaMA 等模型采用 pre-normalization 的 RMSNorm，说明它是经过大规模实践验证的架构选择，但不证明它与 RoPE、SwiGLU 天然绑定或对所有任务最优。选型应在相同初始化、学习率、精度和 kernel 下比较 loss、梯度范数、吞吐和最终任务质量。图解 RMSNorm vs LayerNorm：数值稳定性怎么比?图…

#Layer Normalization#RMS Normalization#归一化技术

面试题·推理优化· 京东

推理框架硬件支持对比

匹配正文：…kpoint 导入或转换为 TensorRT-LLM checkpoint，再构建或使用新服务 API，并不要求先经过 ONNX。llama.cpp 使用 GGUF 与多种量化，支持 CPU、Metal、CUDA、HIP、Vulkan、SYCL、CANN、RPC 等，适合本地、端侧和异构场景，也有 OpenAI 兼容 server。 TGI 具有 SSE 流式、连续批处理、张量并行、Prometheus 与 OpenTelemetry 等功能，但官方页面已注明 mainten…

#vLLM#TensorRT-LLM#llama.cpp

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配正文：…归一化相对子层与残差的位置，和选择 LN 或 RMSNorm 是两个维度；RMSNorm 并非数学上必须配合 Pre-Norm。 LLaMA 系列公开架构采用 Pre-Norm RMSNorm。选择原因可从规模稳定性、实现简洁和已有训练配方理解，但不能把相关性写成唯一因果。推理端 norm 往往只占总成本一部分，收益受融合 kernel、hidden size、batch、内存带宽和量化实现影响，应测 step time、吞吐和端到端延迟。

#LayerNorm#RMSNorm#归一化技术

项目实战·Agent

第 5 章:训练数据构造,种子 → 轨迹 → 增强

匹配正文：…研 Agent 的「骨架」搭起来了:执行框架、工具集、记忆。但有件事一直靠 prompt 硬撑,让一个通用大模型(比如 Qwen、LLaMA)去当 Agent,它其实不太「会」。具体哪不会?① 该用 visit 拿细节时,它图省事只 search 一下就编结论;② 该收手时不收手,或没查够就硬给结论;③ 工具调用的格式时灵时不灵。你 prompt 写得再细,通用模型也只是「勉强照做」,不稳。根因是:通用模型在预训练时,见过的「人类写文章」很多,但见过的「Agent 一步步…

#Agent#Deep Research#项目实战

面试题·模型架构· 海尔

位置编码为什么重要?

匹配正文：…n interpolation、频率缩放、继续训练或长上下文微调，并在目标长度验证短文能力、困惑度、检索、多跳和真实生成。不能用 LLaMA 从 2K 直接无损到 32K 或固定 8 到 16 倍作为通用结论。图解位置编码为什么重要?图解

#位置编码#Transformer#自注意力机制

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：…过多步工具调用的东西,能说清编排与失败兜底 30 行最小 Agent、Agent 项目实战「熟悉主流开源模型」知道 Qwen/Llama/DeepSeek 等各自特点、会按场景选型在项目里实际换几个模型跑,记住体感差异「熟悉 LangChain / LlamaIndex 等框架」用过其一即可,更看重你知道框架替你做了什么用框架重写一遍你的最小 RAG 「熟悉 Function Calling / ReAct / MCP」 Agent 岗核心项,会追问实现细节 MC…

#求职#职业转型

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配正文：…务连续批处理、流式输出、张量并行、量化和监控官方文档当前标注为 maintenance mode，选型前应确认维护与后端支持 llama.cpp 轻依赖本地与边缘推理 GGUF、多种整数位宽、CPU 和多类 GPU 后端、CPU/GPU 混合支持远不止 Llama，但具体算子、模态与量化需查模型列表框架不能脱离模型和硬件排名。应固定 checkpoint、prompt/output 长度、dtype/量化、并发和质量门槛，分别测冷启动、TTFT、TPOT、吞吐、P95…

#vLLM#TensorRT-LLM#推理引擎

面试题·模型训练· 海尔

LoRA 低秩分解 vs 全量微调怎么选?

匹配正文：…写成两个低秩矩阵的乘积BA，并用缩放系数作用到前向结果。对一个dout乘din的线性层，LoRA参数数是r乘以din加dout。以LLaMA-7B的32层、隐藏维4096为例，若每层只作用Q和V两个4096乘4096投影，参数总数是32乘2乘8192r，也就是524288r；r等于16约8.39M，r等于64约33.55M。机制与边界低秩假设是下游任务需要的权重变化可能集中在较低维子空间。训练时只更新A和B，减少梯度与优化器状态；推理前可把BA合并回W，因此通常不增加该线…

#LoRA#参数高效微调#低秩分解

面试题·推理优化· 得物

超长上下文怎么处理?

匹配正文：…块计算块式精确attention，不是稀疏attention。机制与边界 YaRN是RoPE上下文扩展的一种高效方案，论文在特定LLaMA设置下报告了数据和训练步数优势，但这不等于理论最优。位置缩放只解决模型在新位置范围内的编码与训练问题，不能保证中间信息检索或长文推理。Transformer-XL通过片段级递归复用上一段隐藏状态，并配相对位置编码；它不是把历史压成一个摘要。若业务只需少量相关证据，检索后拼接通常比塞入全量文档便宜，但检索漏召回会成为新的质量上限。 Ring…

#长上下文#位置编码#稀疏注意力

面试题·模型训练· 阿里

SFT prompt 模板设计原则与结构

匹配正文：…y technique for enhancing task-specific capabilities" } 实际对话模板封装（Llama-2-chat风格）： <s>[INST] <<SYS>> You are a helpful assistant. Provide concise, accurate responses. <</SYS>> Translate the following sentence to English: {input} [/INST] {out…

#Prompt Engineering#指令微调#数据格式设计

面试题·模型训练· 阶跃星辰

LlamaFactory 怎么构造训练数据?

匹配正文：LLaMA Factory 通过 Alpaca、ShareGPT 与 dataset_info 映射数据以官方 data/README.md 当前格式为准。LLaMA Factory 支持 json、jsonl、csv、parquet、arrow，并在 dataset_info.json 登记文件、formatting、ranking 和 columns。Alpaca 是默认格式。SFT 样本使用 instruction、可选 input、output；框架把 instru…

#LlamaFactory#数据格式#SFT

面试题·推理优化· 字节

KV-Cache 空间复杂度怎么算?

匹配正文：…性增长。必须使用 n_kv_heads，不能一律代入query头数；MQA/GQA正是通过减少KV头数降低缓存常数。可核验示例 Llama-2-7B有32层、32个KV头、头维128。batch=1、长度4096、FP16时，缓存约为 2×1×4096×32×32×128×2 bytes = 2 GiB。这并未超过约7B参数的FP16权重，后者约14 GB十进制量级。Llama-2论文中7B/13B使用MHA，70B使用GQA，不能说全系列都是GQA。优化边界 MQA/G…

#KV-Cache#显存优化#自回归生成

面试题·评估· 百度

面试高频论文怎么选?

匹配正文：只讲实际读过并能定位原文的论文可从以下公开材料中选择真实阅读项，不必假装全部精读： Llama 2: Open Foundation and Fine-Tuned Chat Models，2023：公开预训练模型与 Llama 2-Chat，详细讨论 SFT、reward model、rejection sampling 和 PPO 等后训练与安全评测。 The Llama 3 Herd of Models，2024：覆盖 Llama 3 的预训练、后训练、长上下文、多语言…

#技术前沿追踪#论文阅读#大模型发展趋势

面试题·RLHF与对齐· 网易

SFT、偏好优化与 RL 怎么衔接?

匹配正文：…归集或冻结部分参数。再次 SFT 可能修复明确收集到的失败模式，也可能覆盖偏好优化出的行为，甚至引入新的遗忘，所以必须有配对消融。Llama 2 展示的是 SFT 后进行 RLHF 的流程和多轮数据迭代，不能据此宣称周期性交替是所有团队的标准。工程验证落地以一个稳定 SFT checkpoint 为锚，保留通用能力、安全和目标业务三套评测。每轮记录新增数据来源、标注策略、奖励模型版本、参考策略和采样分布。比较只更新奖励、继续偏好优化、混入语言建模目标、加入旧数据 repl…

#SFT#RLHF#语言退化

面试题·Agent· 美团

大模型输出怎么做真实性验证?

匹配正文：…ure>0）聚类答案，选择高频结果；或让模型自我评判"这些答案是否一致" 多模型交叉用独立模型验证主模型输出，如GPT-4验证Llama结果成本较高，适合关键场景 4. 落地权衡策略延迟准确率适用场景轻量规则匹配低中实时客服检索增强验证中高知识问答多模型交叉高最高医疗/法律美团场景建议：检索增强+引用溯源组合，在RAG链路中嵌入验证节点，无法验证的内容主动提示用户"该回答可能不准确"。学习建议建议系统学习该知识点

#美团#Agent#大模型真实性验证

面试题·评估· 美团

Agent 训练链路怎么搭建?

匹配正文：…ht/Action/Finish 输出格式强制JSON，降低解析失败率 3. 策略网络设计基座模型：选用指令遵循能力强的模型（如Llama-3-Instruct）结构：保持LM结构，通过prompt注入工具schema，或用LoRA微调工具感知模块关键：解耦"何时调用"（规划）与"如何调用"（参数生成），可用两阶段训练 4. 奖励机制奖励类型计算方式权重结果奖励任务完成度（EM/F1）高格式奖励 JSON合法性、字段完整中过程奖励步骤合理性（人工或模…

#美团#Agent#Agent 训练链路

面试题·模型微调· 小红书

意图识别结构化输出失败如何修复

匹配正文：…on Calling 预定义schema，模型只填充参数，不生成自由文本约束解码用logit_bias或grammar约束（如llama.cpp的GBNF）小红书场景建议：优先用Function Calling，将意图定义为工具函数，slot作为参数三、微调策略层面核心思路：让模型"见过"各种边界情况数据构造：正样本：覆盖口语化、省略主语、多意图等复杂输入负样本：加入格式错误的输出作为对比学习（如字段缺失、类型错误）训练配置： LoRA微调即可，r=64~1…

#小红书#意图识别格式优化#结构化输出

面试题·模型架构

Transformer 是什么?为什么是大模型的基石?

匹配正文：…规整,加层、加宽就能稳定提升效果,配合海量数据催生了 Scaling Law(规模法则,即模型越大、数据越多,效果越好),GPT、LLaMA 等都是在它基础上堆出来的一个常见误区 Transformer 不等于大模型:它只是架构。GPT 只用了 Transformer 的解码器部分,BERT 只用了编码器部分,两者同源但用法不同。入门后可以深入 Q/K/V 的具体计算、多头注意力的作用,以及位置编码为什么必不可少。

#入门#基础概念#Transformer架构

面试题·Prompt· 阿里

JSON 输出怎么保证稳定可靠?

匹配正文：…适用：原型验证、对准确率要求不高的场景第二层：约束解码（硬约束）主流方案方案原理适用场景 Grammar-based（如llama.cpp的GBNF）基于上下文无关文法，逐token过滤非法跳转边缘部署、高稳定性要求 JSON Schema约束（如OpenAI的response_format）编译Schema为DFA，动态约束token概率云端API、快速迭代 Outlines/Guidance库预编译索引+动态mask，支持复杂嵌套自研模型、深度定制 …

#阿里云#Prompt工程#Agent

面试题·RAG· 阿里

LangChain vs LlamaIndex 场景怎么选？

匹配正文：…lamaIndex负责数据层（索引+检索），LangChain负责应用层（Agent编排+工具调用）。LlamaIndex也推出了llama-index-agent模块，边界正在模糊，但原生优势领域依然分明。学习建议建议系统学习该知识点

#阿里云#AI框架选型#LangChain vs LlamaIndex

面试题·模型架构· 海尔

Transformer归一化方法有哪些?

匹配追问：…pike，你会如何调整归一化策略？ DeepNorm和SandwichNorm你了解吗，它们解决了什么问题？场景切入假设你在做LLaMA那样的生成式模型，训练时发现loss振荡很厉害，你会怎么调整归一化？是先试RMSNorm还是LayerNorm？它们在计算效率和稳定性上有什么实际差别？层层追问 Transformer里为什么要做归一化？……那LayerNorm和RMSNorm的核心区别是什么？……为什么现在很多模型比如LLaMA都用RMSNorm，它比LayerNor…

#LayerNorm#RMSNorm#Pre-Norm