模型架构学习专题

#Transformer#Encoder-Decoder架构#自注意力机制

Encoder vs Decoder 核心区别?

结构设计与功能定位对比,机器翻译场景详解

#Layer Normalization#梯度稳定#训练收敛

LayerNorm 如何控制激活尺度?

从特征归一化、极端 logit 与残差梯度路径解释稳定边界

Few-shot 推理为何有效?

从预训练目标看少样本推理的机制与表现提升

#上下文学习#预训练目标#隐式梯度下降

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

自回归生成用 token id 还是概率分布?

解码策略原理:采样/贪婪 vs softmax 分布,影响生成质量

#自回归生成#softmax采样#梯度传播

FFN 隐藏层维度为何扩 4 倍?

Transformer 中 d_ff 的扩维动机与理论依据

#Transformer#FFN#维度扩展

AI 论文怎么读?核心思想+创新点

大模型领域论文阅读方法,从创新点到工作启发

#论文阅读#技术追踪#学术敏感度

面试题模型架构· 商汤科技

幻觉一致性延迟诊断

按幻觉、输出不一致、延迟症状定位根因，补充适用边界与工程取舍

#幻觉问题#输出一致性#推理延迟

VQ-VAE 与传统 VAE 有何不同?

离散表示学习原理、模型结构及应用场景详解

#VQ-VAE#离散表示学习#变分自编码器

#Layer Normalization#数值稳定性#前向传播

LayerNorm 前向实现：数值稳定性陷阱

Python+NumPy 手动实现，多维归一化与低精度数值稳定性

#Self-Attention#Transformer#注意力机制

Self-Attention 怎么计算 QKV?

注意力权重生成过程详解,从输入到加权求和

面试题模型架构· 美团

Transformer 架构核心组件原理

编码器-解码器、自注意力、位置编码等核心组件详解

#Transformer#自注意力机制#位置编码

Multi-Head Attention 维度变化

手动实现 QKV 变换、缩放点积、多头拼接及输出投影

#多头注意力#Transformer#注意力机制

面试题模型架构· 安克科技

GPT vs BERT 核心区别在哪?

从架构、训练目标到应用场景,4 个维度系统对比

#自回归模型#自编码模型#Transformer

#Decoder-only架构#自回归生成#因果注意力

Decoder-only 架构为何是主流?

从建模目标、训练效率、推理特性三角度分析优势

Flow Matching 原理是什么?

生成模型中连续归一化流的核心机制与应用

#生成模型#连续归一化流#扩散模型

面试题模型架构· 京东

MLA 与 KV Cache 怎么用?

Multi-Head Latent Attention 原理及推理优化机制

#MLA#KV Cache#注意力机制

面试题模型架构· 360

BERT+CRF 怎么联合训练?

NER 任务中 BERT 与 CRF 各自作用、联合训练及优势

#BERT#CRF#命名实体识别

#Layer Normalization#RMS Normalization#Batch Normalization

LayerNorm vs RMSNorm 原理差异?

大模型中两种标准化方法的原理、计算与适用场景对比

面试题模型架构· 美团

多头注意力原理与QKV拆分陷阱

QKV拆分、并行计算与位置编码，内存优化详解

#多头注意力#Transformer#并行计算

面试题模型架构· 京东

位置编码怎么选? RoPE vs ALiBi

Transformer 中绝对/相对位置编码原理与优劣对比

#位置编码#RoPE#相对位置编码

VQ-VAE 损失与码本更新

VQ-VAE 三类损失、梯度路径与 EMA 码本更新

#VQ-VAE#向量量化#离散表示学习

DDPM vs Flow Matching: 建模与训练差异?

建模思路、训练方式、生成路径与数学形式对比

#生成模型#扩散模型#流匹配