搜索大模型内容

匹配正文：…于打破纯attention对顺序的置换对称；原论文使用正弦余弦编码。它可计算到训练长度之外，但“可计算”不保证模型可靠外推。现代架构要分开说 BERT是encoder-only；GPT是decoder-only，没有原始seq2seq decoder中的cross-attention；T5属于encoder-decoder。现代LLM常采用Pre-Norm、RMSNorm、RoPE和不同FFN，不能倒写成原始Transformer定义。训练时decoder各位置可在因果ma…

#Transformer#自注意力机制#位置编码

Transformer 为何用 Layer Norm?

匹配正文：…然。自回归一致性：生成时batch与长度不断变化，LN无需维护训练期running mean/variance。残差优化经验：Transformer已形成Pre-Norm、Post-Norm及RMSNorm等成熟配方；这是架构与优化的经验选择，不是数学上“必须LN”。 LN会改变送入Q/K/V的表示尺度与中心，因此会影响注意力logit和权重分布，不能说“不影响attention”。BN也不是理论上不能用于序列模型；如果明确定义统计轴、正确mask并处理训练推理统计差异，…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Layer Normalization#Batch Normalization#归一化机制

#Layer Normalization#残差连接#梯度消失

Transformer 为何要归一化?

匹配标题与标签：Transformer 为何要归一化? LayerNorm 的作用机制与在 Encoder/Decoder 中的位置模型架构 Layer Normalization 残差连接梯度消失训练稳定性 Pre-Norm/Post-Norm 2026真题 Transformer 归一化 LayerNorm 作用 Transformer 结构大模型架构与原理海尔

面试题·模型架构· OPPO

CNN/RNN/Transformer 怎么选?

匹配正文：…TM、GRU 通过门控缓解而非消除长程依赖问题。训练时跨时间步的依赖限制并行度，但模型尺寸、序列长度和推理方式都会影响实际性能。 Transformer Transformer 用自注意力在 token 间建模依赖，并通过位置编码保留顺序信息。它便于训练阶段并行处理序列位置，已广泛用于语言、视觉和多模态任务。标准全注意力的时间与注意力矩阵空间开销随序列长度近似二次增长；稀疏、滑窗或线性注意力等变体用于改变这一权衡。选型原则不存在只看任务名称就能决定的架构。应比较数据规模与…

#CNN#RNN#Transformer

#Layer Normalization#Batch Normalization#Transformer

Transformer 为何用 LayerNorm 而非 BatchNorm?

匹配标题与标签：Transformer 为何用 LayerNorm 而非 BatchNorm? 训练稳定性、批大小依赖性与序列建模特性分析模型架构 Layer Normalization Batch Normalization Transformer 归一化方法序列建模 2026真题 Layer Normalization vs Batch Normalization Transformer LayerNorm BatchNorm 批大小依赖大模型架构与原理美团

#LayerNorm#RMSNorm#Pre-Norm

Transformer归一化方法有哪些?

匹配正文：…而省去均值计算。两者都常沿每个token的hidden维工作，不依赖batch统计。Post-Norm把归一化放在残差和之后，原始Transformer需要学习率warmup等技巧稳定训练。相关理论和实验表明，Pre-Norm在初始化时梯度更平稳，深层网络更容易训练。但这不是所有深度和任务下的绝对胜负，最终性能还受初始化、残差缩放、优化器与架构影响。归一化还有无偏方差、epsilon位置、参数dtype、是否有bias等实现差异。RMSNorm不是简单“少一个减法”，归约和…

面试题·模型架构

Transformer 是什么?为什么是大模型的基石?

匹配正文：答案要点 Transformer 是 2017 年论文《Attention Is All You Need》提出的神经网络架构,核心是自注意力机制注意力的直觉:每个词在理解自己时,可以「看一眼」句子里所有其他词,并按相关程度分配权重相比 RNN 逐词串行处理,Transformer 可以并行计算整个序列,训练效率提升几个数量级并行化 + 结构可扩展,让「堆数据、堆参数」成为可能,这是 GPT 等大模型诞生的前提注意区分:Transformer 是架构,大模型是「架构 …

#入门#基础概念#Transformer架构

项目实战·Agent

Memory & Transformer 基础

匹配正文：… MHA 的区别」「MoE 怎么路由」「Memory 模块怎么设计」时卡壳，往往不是不努力，而是底层基础没系统补过。这个项目把 Transformer 的四大基础(分词、Embedding 训练、注意力变体、MoE)和大模型 Memory 模块一次补齐，既是底层原理，也是面试高频。分词 Tokenization 原理常见分词算法为什么重要 Embedding 词嵌入是什么 Embedding 训练方法和检索的关系注意力 + 架构 MHA / GQA / MLA M…

#项目实战#Memory & Transformer 基础

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：…用原生长上下文，超出的用RAG式记忆检索，两者结合最实用。学习建议建议从对话状态跟踪、上下文压缩、记忆机制等基础概念入手，结合Transformer架构与RLHF训练实践，逐步理解多轮对话的系统设计。

#字节#模型微调#多轮对话一致性

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：…一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构差异 Embedding层方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+Transformer）检索策略早期融合：图文拼接后统一编码晚期融合：分别检索后加权融合 4. 适用场景文档智能：发票、合同、研报（ColPali优势）电商搜索：商品图+详情页联合检索医疗影像：影像…

#淘天#多模态#多模态 RAG 架构设计

位置编码为什么重要?

匹配标题与标签：位置编码为什么重要? Transformer 中位置编码的作用与对模型性能的影响模型架构位置编码 Transformer 自注意力机制序列建模绝对/相对位置编码 2026真题 Transformer 位置编码位置编码作用大模型架构与原理海尔

#位置编码#Transformer#自注意力机制

#Layer Normalization#RMS Normalization#归一化技术

LLaMA为何选RMSNorm?

匹配标题与标签：LLaMA为何选RMSNorm? LLaMA 系列为何偏爱 RMSNorm?计算效率与稳定性对比模型架构 Layer Normalization RMS Normalization 归一化技术 LLaMA Transformer优化 2026真题 LayerNorm vs RMSNorm RMSNorm 优势 LLaMA 归一化大模型归一化方法大模型架构与原理字节

#Layer Normalization#Batch Normalization#Transformer

LayerNorm vs BatchNorm 怎么选?

匹配标题与标签：LayerNorm vs BatchNorm 怎么选? Transformer 中训练稳定性、批大小依赖、变长序列适应性对比模型架构 Layer Normalization Batch Normalization Transformer 归一化技术训练稳定性 2026真题 Layer Normalization vs Batch Normalization Transformer 归一化选择 LayerNorm 训练稳定性大模型架构与原理美团

RMSNorm vs LayerNorm：训练效率怎么比?

匹配标题与标签：RMSNorm vs LayerNorm：训练效率怎么比? LLaMA 系列为何倾向 RMSNorm?计算与内存效率对比模型架构 LayerNorm RMSNorm 归一化方法 Transformer优化 LLaMA架构 2026真题 LayerNorm vs RMSNorm RMSNorm 优势 LLaMA 归一化选择大模型架构与原理字节

#LayerNorm#RMSNorm#归一化方法

#Seq2Seq#Encoder-Decoder#Transformer

Encoder vs Decoder 功能区别?

匹配标题与标签：Encoder vs Decoder 功能区别? Seq2Seq 模型中编码器与解码器的结构差异与信息处理流程模型架构 Seq2Seq Encoder-Decoder Transformer 注意力机制自回归生成 2026真题 Encoder Decoder 区别 Seq2Seq 模型结构编码器解码器功能大模型架构与原理海尔

#Layer Normalization#Transformer#训练稳定性

Layer Norm 怎么稳定训练?

匹配标题与标签：Layer Norm 怎么稳定训练? Transformer 中层归一化的作用机制与收敛速度影响模型架构 Layer Normalization Transformer 训练稳定性梯度流归一化技术 2026真题 Transformer 训练稳定性层归一化作用大模型架构与原理海尔

#Transformer#Encoder-Decoder架构#自注意力机制

Encoder vs Decoder 核心区别?

匹配标题与标签：Encoder vs Decoder 核心区别? 结构设计与功能定位对比,机器翻译场景详解模型架构 Transformer Encoder-Decoder架构自注意力机制机器翻译序列建模 2026真题 Encoder Decoder 区别序列建模架构机器翻译 Encoder Decoder 大模型架构与原理海尔

#Layer Normalization#梯度稳定#训练收敛

LayerNorm 如何控制激活尺度?

匹配标题与标签：LayerNorm 如何控制激活尺度? 从特征归一化、极端 logit 与残差梯度路径解释稳定边界模型架构 Layer Normalization 梯度稳定训练收敛归一化技术 Transformer架构 2026真题 LayerNorm 激活尺度控制 Transformer 激活稳定性残差梯度路径 LayerNorm 机制大模型架构与原理海尔

#Layer Normalization#数值稳定性#前向传播

FFN 隐藏层维度为何扩 4 倍?

匹配标题与标签：FFN 隐藏层维度为何扩 4 倍? Transformer 中 d_ff 的扩维动机与理论依据模型架构 Transformer FFN 维度扩展模型容量信息瓶颈 2026真题 FFN 隐藏层维度 Transformer d_ff 前馈神经网络扩维大模型架构与原理字节

#Transformer#FFN#维度扩展

面试题·模型架构· 百度

LayerNorm 前向实现：数值稳定性陷阱

匹配标题与标签：LayerNorm 前向实现：数值稳定性陷阱 Python+NumPy 手动实现，多维归一化与低精度数值稳定性模型架构 Layer Normalization 数值稳定性前向传播 Transformer 归一化 2026真题 Layer Normalization 实现 NumPy LayerNorm 层归一化前向传播大模型架构与原理百度

#Self-Attention#Transformer#注意力机制

Self-Attention 怎么计算 QKV?

匹配标题与标签：Self-Attention 怎么计算 QKV? 注意力权重生成过程详解,从输入到加权求和模型架构 Self-Attention Transformer 注意力机制 Query-Key-Value 缩放点积注意力 2026真题 Self-Attention 原理 QKV 计算注意力权重生成大模型架构与原理海尔