匹配正文：…8，即FFN中间维约为4倍。每个位置共享同一两层MLP：FFN(x)=W2 activation(W1 x+b1)+b2。扩维给逐token非线性变换更大的通道容量，再投影回残差维度；它不是自编码器式信息瓶颈。 4倍是论文配置和长期使用的经验起点，不是原论文通过2倍、4倍、8倍统一消融后证明的理论最优值。最优宽度取决于参数预算、算力、激活函数、稀疏性和硬件。现代门控FFN SwiGLU类FFN通常有两条上投影和一条下投影，共三组主要矩阵。若想与“4d的普通两层FFN”近似匹…

#Transformer#FFN#维度扩展

面试题·RLHF与对齐· 虾皮

RLHF 中 Reference Model 不训练?

匹配正文：…HF中，常见目标会把reward与相对reference的KL惩罚结合，限制策略为了追逐奖励模型而大幅偏离原有语言能力。实现可以按token使用新旧log probability估计相关项，但具体形式要看算法。reference若在同一次优化中不断追随policy，比较基准也随之移动，KL约束的含义就会改变。 beta控制奖励收益与偏离基线之间的权衡，没有跨模型通用范围。它需要结合实际KL、任务奖励、语言质量、拒答和安全评测调节。KL突然上升可能来自学习率、奖励尺度、prom…

#RLHF#Reference Model#PPO

面试题·RLHF与对齐· 美团

Environment-based 训练怎么用?

匹配正文：…故障场景下压测；真实流量则从影子评估、小比例可逆动作开始，设置成功率、违规率、成本和漂移的停止线。比较静态与环境训练时固定模型和 token 预算，分别报告样本效率、墙钟时间、部署指标与安全事件，不能只看训练 reward。还要防止把日志新鲜误当成因果有效。在线数据由当前策略选择动作，仍然存在选择偏差；没有记录动作概率或探索机制时，后续离线比较会缺少可靠反事实依据。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#环境交互训练#在线学习#模拟器训练

面试题·文档处理· 字节

医疗法律文档切块

匹配正文：核心原则专业文档（医疗/法律）的核心特征是强结构、强引用、术语密集，切块需优先保证语义完整性和上下文可追溯性，而非简单按token切分。常见策略对比策略做法优点缺点适用场景固定长度切块按token/字符数硬切（长度需通过实验确定）简单、批量处理快、embedding对齐切断语义、丢失章节边界、表格被破坏非结构化文本、快速原型递归字符切块按标点→句子→段落层级递进切分保留基本可读性、实现简单对复杂嵌套结构（法律条款层级）处理粗糙通用文档、博客文…

#字节#医疗法律文档切块#医疗和法律文档怎么切块？结构、语义与引用边界

面试题·文档处理· 腾讯

RAG 文档 Chunk 划分策略怎么选?

匹配正文：常见分块策略对比 1. 固定长度分块实现：按token数或字符数硬切分（如512 tokens）优点：实现简单、Embedding批次处理高效、便于控制上下文长度缺点：边界可能切断语义（如"深度学习...的优化方法"被拆开），导致检索片段不完整适用：通用场景、对延迟敏感、文档结构松散时 2. 语义边界分割实现：按句子（NLTK/spaCy）、段落（\n\n）、或主题模型（如BERTopic）切分优点：保留语义完整性，检索结果可读性强缺点：块大小不均，可能过长（超…

#腾讯#文档处理#RAG Chunk 划分

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配正文：…o-shot Few-shot Fine-tuning 数据需求无 5-20条数百-数千条成本最低（推理）低（推理+示例token）高（训练+部署）效果天花板受基座能力限制中（模式迁移）高（深度适配）时效性即时即时小时-天级核心优势免训练适配：利用预训练阶段的ICL（上下文学习）能力，通过注意力机制"复制"示例模式动态可控：同一模型，换示例即可切换任务风格（如从"严谨报告"切到"口语化总结"）知识隔离：敏感数据不进权重，示例随请求销毁，满足…

#华为#Few-shot 提示#Zero-shot 对比

面试题·检索· 字节

RAG 中 Re-ranking 怎么用?

匹配正文：…ery和doc拼接输入，注意力层充分交互，效果最好但慢 Late Interaction ColBERT、ColBERTv2 保留token级向量，延迟交互，效率与效果平衡轻量重排 MiniLM、蒸馏版边缘部署， latency敏感场景实际落地要点截断策略：重排输入不宜过长，通常对doc做滑动窗口或关键片段提取级联过滤：可先过轻量模型（如ColBERT）再过重模型，控制成本领域适配：通用重排模型在垂直领域往往需微调，可用点击/人工标注数据字节等厂的实际系统中，重…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

RAG 重排作用与实现

匹配正文：…代表：BGE-Reranker、Cohere Rerank 2. 轻量交互模型 ColBERT：late interaction，token级MaxSim，平衡效率 MiniLM蒸馏版：百毫秒级延迟 3. Learning to Rank（LTR）特征：向量分数、BM25、点击反馈、文档结构模型：GBDT（LightGBM）、DNN（DIN/DIEN） 4. 大模型作为重排器用LLM直接输出相关性判断或分数（成本高，离线或精排top-K用）工程实践要点级联策略：初检…

#字节#Cross-Encoder重排#RAG 重排作用与实现

面试题·检索· 快手

RAG 延迟准确率根因

匹配追问：…答非所问的情况？具体是哪些延迟和准确率的问题？层层追问 RAG在Agent落地时,你觉得主要有哪些性能瓶颈？……延迟方面,比如首Token出来慢、流式输出卡顿……准确率方面,召回不够或者噪声干扰……这些问题的根本原因你觉得是什么？直球架构请直接分析Agent+RAG系统在延迟和准确率上分别面临哪些核心挑战,并说明每个挑战产生的根本原因。不用展开具体方案,重点讲问题和根因。

#快手#RAG延迟与准确率#RAG 延迟准确率根因

面经·项目面试

Reranker 的上限，藏在候选集里

匹配正文：…见。扩大的是上限，不代表每对输入都要填满256个字符。这组实验使用字符切片，没有运行tokenizer。真实模型的输入长度通常按token计数，问题、候选以及特殊标记如何占用预算，还取决于实际封装。不能把这里的64字符说成64个模型token，也不能由这次尾部裁切推断某个模型一定采取相同策略。成对输入的截断也未必只发生在正文尾部。实际配置可能从较长的一侧移除token，也可能只截第二段，问题本身的长度同样需要关注。应核对具体封装和版本，检查最终送入的序列；不能把某个底层接…

#RAG#Rerank#候选召回

面试题·推理优化

Flash Attention 原理怎么理解?

匹配正文：… dimension 与片上存储容量，不能笼统写成 O(N²) 到 O(N)。训练与推理价值训练和 prefill 会处理多 token 的完整注意力，通常更容易受益于融合与少写 HBM。逐 token decode 已使用 KV Cache，shape、batch、GQA/MQA、量化和 kernel 启动都会影响收益。不能设定“序列超过某长度必加速”的通用门槛；应在目标 GPU、dtype、head dimension、mask、序列长度和 batch 上测吞吐、延迟…

#Flash Attention#内存优化#注意力机制

面试题·模型架构· 美团

Transformer 为何用 Layer Norm?

匹配追问：…former，batch 较小且各样本 padding 差异明显。你会选择 LayerNorm 还是 BatchNorm，判断依据是什么？层层追问 BatchNorm 沿哪些维度统计？……小 batch 和变长序列会带来什么问题？……LayerNorm 对每个 token 怎样计算？……训练与自回归推理时两者的统计依赖有何不同？直球技术请从归一化轴、batch 依赖、变长序列、训练/推理一致性和优化稳定性解释 Transformer 为什么通常采用 LayerNorm …

#Layer Normalization#Batch Normalization#归一化机制

面试题·RAG

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：…接关系。文字被提取出来，不等于结构还在。所以，特殊内容切分的第一步不是先问“每块放多少字”，而是先判断：这个内容最小的可解释单元是什么。跨页表格应该先合并，还是先切块？先恢复逻辑表格，再决定怎样切。如果解析阶段已经按页把表格拆开，第二页往往没有表头。此时直接入库，检索可能命中第二页某一行，却把一串没有列名的数值交给模型。判断上下两页是否属于同一张表，可以综合看几个信号：列数是否一致，列位置是否接近，表头是否延续，上页是否在页面底部结束，下页是否从页面顶部继续，以及表…

#RAG#切分与索引#RAG 表格切分

面试题·模型训练· 网易

SFT 置信度下降影响

匹配正文：置信度下降不等于性能或校准必然变差预训练语言模型与常规生成式 SFT 通常都使用 token 级交叉熵；分类头微调也常使用交叉熵。两者并不存在“预训练交叉熵鼓励自信、SFT 交叉熵反而鼓励平均”的通用对立。排查可分为四层：数据与标签：类别先验变化、域迁移、边界样本增多、冲突标注或硬标签噪声都会改变 posterior。硬标签噪声仍是 one-hot 错标，不等同于软标签。训练目标：label smoothing、知识蒸馏软目标、Mixup、熵或 logit 正则会抑制…

#模型校准#标签平滑#温度缩放

面试题·模型架构· 海尔

位置编码为什么重要?

匹配追问：为什么Transformer不用RNN的循环结构，却还需要位置信息 RoPE旋转位置编码相比原始正弦编码的优势是什么长文本场景下位置编码会遇到什么问题，如何解决场景切入假设你在做一个电商客服模型，用户说“退掉A商品”和“A商品退掉”意思一样，但“苹果吃我”和“我吃苹果”完全不同。Transformer怎么区分这两种顺序？层层追问 Transformer的自注意力是怎么计算token间关系的？……它是不是只看内容相似度，不看顺序？……那“我打你”和“你打我”在模型眼里一…

#位置编码#Transformer#自注意力机制

面试题·模型架构· OPPO

CNN/RNN/Transformer 怎么选?

匹配正文：…的依赖限制并行度，但模型尺寸、序列长度和推理方式都会影响实际性能。 Transformer Transformer 用自注意力在 token 间建模依赖，并通过位置编码保留顺序信息。它便于训练阶段并行处理序列位置，已广泛用于语言、视觉和多模态任务。标准全注意力的时间与注意力矩阵空间开销随序列长度近似二次增长；稀疏、滑窗或线性注意力等变体用于改变这一权衡。选型原则不存在只看任务名称就能决定的架构。应比较数据规模与归纳偏置、上下文长度、流式需求、训练和在线预算、目标硬件及质量…

#CNN#RNN#Transformer

面试题·模型架构· 小红书

主流图像生成模型有哪些?

匹配正文：…采样通常一次前向，但训练可能不稳定。连续VAE：学习连续潜变量的近似后验和decoder，适合表示学习、生成和可控潜空间。离散token自回归：先把图像量化为token，再按序生成。Parti是公开的文生图自回归路线，生成受序列解码成本影响。掩码生成：Muse并非自回归模型，它并行预测被mask的图像token并迭代细化。 Diffusion与flow：Imagen等扩散模型逐步去噪；rectified flow类方法学习速度场并通过ODE类路径采样。 DALL-E 3…

#扩散模型#自回归模型#图像生成

面试题·多模态· 小红书

多模态大模型面临哪些挑战?

匹配正文：…差异，而不是强行融合。医学、身份和内容审核等高风险场景还要做权限控制、隐私处理和人工确认。系统侧也有成本约束。分辨率、帧数和视觉token增加会抬高prefill与显存，并不保证质量线性提升。我的验收会同时报告grounding、OCR、时序、事实支持率、拒答、延迟和成本。只有具体失败类型减少，才能说明数据、模型或工具方案真正有效。

#模态对齐#数据构建#推理一致性

面试题·模型架构· 高德

参数规模怎么影响大模型?

匹配追问：为什么大模型会出现"涌现能力"，这和参数规模的关系是什么？在实际训练中，如何权衡模型规模和数据规模？Chinchilla定律的核心结论是什么？从优化角度，为什么大模型反而更容易训练稳定，和小模型的直觉相反？场景切入假设现在要在固定训练预算下选择不同规模的语言模型。你会怎样同时考虑参数量、训练 token、数据质量、吞吐和下游能力，而不是只看模型大小？层层追问参数增大代表什么容量变化？……数据与计算不足时会怎样？……优化和数值稳定成本如何变化？……Double De…

#缩放定律(Scaling Laws)#过参数化#双下降现象

面试题·模型架构· 海尔

Encoder vs Decoder 功能区别?

匹配追问：为什么解码器要用因果掩码而不能看到未来token？编码器-解码器架构和纯解码器架构（如GPT）各有什么优劣？ Transformer中编码器和解码器的层数设计有什么讲究？场景切入假设你在做一个智能客服，用户说“帮我查一下订单”，然后又说“改成明天到”。编码器和解码器在这里分别怎么干活？谁负责理解“订单”和“改时间”的关系，谁负责组织回复的语言？层层追问 Seq2Seq模型里编码器和解码器你觉得主要区别是什么？……那在结构上，比如注意力机制，它们用的一样吗？……如果编码…

#Seq2Seq#Encoder-Decoder#Transformer

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配正文：…常。任何诊断都应把实际optimizer state、loss scaler和梯度累积步数纳入日志。我会为异常时刻保存样本ID、token长度、loss分量、梯度分层统计和系统状态，再用上一个健康checkpoint重放。最后看独立验证指标与人工样本，确认修复没有只让训练曲线变漂亮。曲线提出原因假设，重放和消融才提供因果证据。图解训练曲线异常怎么排查？图解

#训练监控#学习率调度#梯度裁剪

面试题·模型架构· 海尔

Transformer归一化方法有哪些?

匹配正文：…化时的梯度。机制与边界 LayerNorm同时提供重中心化和重缩放不变性，RMSNorm保留重缩放而省去均值计算。两者都常沿每个token的hidden维工作，不依赖batch统计。Post-Norm把归一化放在残差和之后，原始Transformer需要学习率warmup等技巧稳定训练。相关理论和实验表明，Pre-Norm在初始化时梯度更平稳，深层网络更容易训练。但这不是所有深度和任务下的绝对胜负，最终性能还受初始化、残差缩放、优化器与架构影响。归一化还有无偏方差、eps…

#LayerNorm#RMSNorm#Pre-Norm

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配正文：…测试FP16、INT8与INT4。质量侧按任务分桶看准确率、困惑度、格式合规、长文本和高风险样本；性能侧记录模型加载后显存、KV每token增长、首token延迟、逐token延迟、请求吞吐、能耗和尾延迟。再扫 batch 与序列长度，画出容量和吞吐曲线。只有在固定质量门槛下仍有收益，才接受该量化配置；裸权重估算不能替代端到端profile。部署还要区分预填充和逐token解码。预填充在长prompt下可能更偏计算瓶颈，解码在小batch时更偏权重带宽；同一个INT4模型在…

#模型量化#INT8/INT4#显存优化

面试题·项目与经历· 美团

客服办公导购 Agent 选型

匹配正文：…断的业务未必适合。不能引用没有行业、年份和口径的客服成本、独立解决率或降本比例。应先测当前工单结构和人工基线。成本效益也不只包含token费用。接入知识库、工具权限、质检、隐私脱敏、审计、人工升级和事故处理都要算进去。退款错误、泄露个人信息、错误承诺和未按法规升级投诉，单次损失可能远高于节省的对话成本，因此ROI必须按风险加权。落地路径可以从坐席辅助开始，模型只生成摘要、检索证据和回复草稿；通过盲评后开放低风险只读查询；再对少量可逆操作加入确认与回滚。每一级都设置权限、日…

#Agent#商业落地#技术成熟度