匹配正文：…m的embedding 当前query与memory做注意力读取，类似RAG检索代表：DIN中的Activation Unit、Transformer-XL的Segment-level Recurrence 2. 记忆压缩/摘要压缩：用MLP或Autoencoder将多步历史聚合成固定维向量（如User2Vec）摘要：用小型模型或规则生成"兴趣标签"（如[美妆爱好者, 近期关注孕期护肤]） 3. 稀疏注意力/线性注意力 Longformer、BigBird的局部+全局注…

#小红书#Agent#长序列压缩

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：…用原生长上下文，超出的用RAG式记忆检索，两者结合最实用。学习建议建议从对话状态跟踪、上下文压缩、记忆机制等基础概念入手，结合Transformer架构与RLHF训练实践，逐步理解多轮对话的系统设计。

#字节#模型微调#多轮对话一致性

面试题·推理优化

KV Cache 是什么?为什么能加速推理?

匹配正文：…算自己的再与缓存拼接,典型的空间换时间代价是显存:缓存随序列长度和并发数线性增长,长对话高并发下可能比模型权重还占显存它是因果Transformer自回归推理中的常用优化，也是PagedAttention等缓存管理的基础；具体缓存策略依架构和框架配置。核心概念 KV Cache(键值缓存)是大模型推理时,把注意力计算中每个已处理 token 的 Key 和 Value 向量缓存在显存里、避免重复计算的优化技术。背景是:大模型生成文本是自回归的——答案一个 token 一…

← 上一页第 3 / 3 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#入门#基础概念#KV Cache

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：…Embedding层方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+Transformer）检索策略早期融合：图文拼接后统一编码晚期融合：分别检索后加权融合 4. 适用场景文档智能：发票、合同、研报（ColPali优势）电商搜索：商品图+详情页联合检索医疗影像：影像+报告跨模态查询 5. 选型建议场景推荐方案追求效果上限端到端多模态Embedding 快速落地伪多模态+CLIP+重排序成本敏…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：…格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为HTML/Markdown/JSON，保留行列关系；复杂表格做截图+结构化双路存储图片 OCR提取文本（PaddleOCR/EasyOCR）+ 视觉特征编码（CLIP/SigLIP）；图表类需解析为结构化数据版面分析 LayoutLM、YOLO等检测文档结构，建立阅读顺序 2. 向量化策略分离编码：文本走BERT…

#小鹏#多模态#RAG 表格处理

面试题·RAG· OPPO

RAG 模型分类有哪些?

匹配正文：…ve快速验证→Advanced优化体验→Modular解决复杂任务，避免过度设计。学习建议建议先掌握向量运算和概率基础，再结合Transformer论文理解Attention的计算流程与意义。

#淘天#RAG架构分类#RAG 分类

面试题·RAG· 小红书

生成式与判别式推荐选型

匹配正文：…tem ID映射为语义token 随机ID → 语义ID（如基于内容的哈希）序列生成模型编码历史，建模序列依赖 GPT类架构、Transformer decoder 生成解码自回归采样下一个token Beam search、Top-p采样典型流程：[BOS] item_23 item_156 item_89 → 生成 item_342 [EOS] 与传统判别式方法的核心区别维度判别式（DSSM/DeepFM等）生成式建模目标区分正负样本的判别能力序列数据…

#小红书#生成式与判别式推荐#生成式与判别式推荐选型

面试题·RAG· 小红书

用户兴趣模型：数据与特征取舍

匹配正文：…标签召回、协同过滤、图神经网络（社交关系）精排层多目标优化：点击+互动+关注+时长，用MMoE或PLE结构序列建模：DIN/Transformer捕捉短期兴趣，长期兴趣用记忆网络冷启动策略新用户：基于相似人群（Lookalike）+ 热门兜底新内容：内容理解模型（图文多模态）预打标签，快速匹配潜在人群四、模型更新策略模块更新频率机制实时兴趣向量分钟级 Flink流式处理用户行为，增量更新Embedding 模型参数小时级/天级在线学习或日全量训练，…

#小红书#用户兴趣建模#用户兴趣模型

面试题·检索· 字节

RAG 为什么需要 Re-ranking?

匹配正文：…算成本低（可预计算doc向量）高（需实时推理）精度粗粒度语义匹配细粒度相关性判断交叉编码器将query+doc拼接输入Transformer，通过注意力机制捕捉token级交互，能识别"苹果（公司）vs 苹果（水果）"这类双塔难以区分的细微语义差异。实际场景的优势与权衡优势场景：知识库存在大量相似文档（如法律条款、产品手册） query表述模糊，需要深度理解意图对答案准确性要求极高（医疗、金融）关键权衡：候选集大小：通常取Top-K=20~100做重排…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

RAG 重排序怎么选?

匹配正文：…Top-N的相关性。主流重排序方法方法原理适用场景交叉编码器（Cross-Encoder） Query+Doc拼接输入，Transformer输出相关性分数精度要求高、延迟可接受 ColBERT 延迟交互，token级相似度计算，兼顾效率和精度中等延迟、长文档场景多路融合向量检索 + BM25 + 稀疏向量（如Splade）结果融合数据分布复杂、单一通道不足 LLM-based重排用GPT-4/Claude等直接打分或生成排序理由极高精度需求、成本不敏…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

两阶段检索 vs 直接重排?

匹配正文：…用复杂交互计算最终相关性重排序模型（如BERT-based Cross-Encoder）需要query和document拼接后过Transformer，计算复杂度O(n)，无法承受直接扫描百万级文档的延迟和成本。架构优缺点优点效率可控：召回阶段毫秒级响应，重排阶段只处理小候选集精度可扩展：重排序能捕捉细粒度语义交互（如query词与doc的精确匹配）灵活解耦：可独立优化召回策略（换embedding模型）或重排策略（换reranker）缺点误差累积：召回漏掉的…

#字节#两阶段检索#RAG 重排序

面试题·检索· 字节

召回模型怎么搭建?

匹配正文：…。关键环节设计 1. 特征工程塔核心特征设计要点 User塔用户ID、画像标签、历史行为序列行为序列用Pooling或Transformer压缩，避免长序列直接输入 Item塔物品ID、类目、标签、文本/视觉内容内容特征需预训练（如BERT、CLIP），保持与User塔维度一致关键权衡：ID特征记忆性强但泛化差，需配合属性特征缓解长尾问题。 2. 模型选型基础版：MLP双塔，结构简单、推理快进阶版：User侧加Transformer建模行为序列，Item…

#Tiktok#负采样与向量索引#召回模型搭建

面试题·检索· 小米

Embedding 向量维度选型

匹配正文：…效率、存储成本）提及实际选型考量（MTEB榜单、领域适配）主流Embedding架构对比模型核心架构关键改进 BERT Transformer Encoder 预训练MLM+NSP，输出token级表示 Sentence-BERT 共享骨干的Siamese/Triplet编码方式通过句对分类、回归或triplet等目标学习可比较的句向量，具体损失依训练方案 BERT为何不适合直接做语义检索 BERT的[CLS]向量未经显式句子相似度训练，语义区分度弱 BERT也能…

#小米#向量检索#Embedding 向量维度选型

面试题·模型架构· 小红书

主流图像生成模型有哪些?

匹配口述回答：…一样按序预测下一个token，属于自回归文生图路线。Muse同样使用离散图像token，但它是masked generative Transformer：从被mask的位置出发并行预测，再迭代细化。因此不能因为两者都处理token，就把Muse归为自回归模型。后续还要看diffusion和flow。Imagen等扩散模型从噪声逐步恢复图像，条件控制成熟，但通常需要多次网络评估。Flow matching或rectified flow学习随时间变化的速度场，通过ODE类求解把…

#扩散模型#自回归模型#图像生成

面试题·模型架构· 高德

参数规模怎么影响大模型?

匹配口述回答：…定的挑战越明显，需要分片并行、混合精度和更谨慎的初始化与学习率。不过我不会说大模型的损失面必然更平、梯度噪声必然更大，也不会声称 Transformer 天生会找到平坦极小值，这些都不是通用定理。泛化要看多组证据：训练和验证损失、留出任务、校准、分布外表现、近重复记忆以及评测污染。监督学习里的 double descent 是一些设定下观察到的经验现象，不能直接当成所有语言模型随参数扩大都会出现的标准曲线。选型时我更关注 compute-optimal scaling。固…

#缩放定律(Scaling Laws)#过参数化#双下降现象

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配追问：为什么RMSNorm不减去均值，这种设计对Transformer的残差连接有什么影响 RMSNorm与Pre-Norm/Post-Norm的选择关系，LLaMA为什么用Pre-RMSNorm 如果要在自己的模型中从LN切换到RMSNorm，需要注意哪些训练超参数的调整场景切入假设现在要在同一 Transformer 上比较 LayerNorm 与 RMSNorm。你会怎样控制初始化、学习率、精度和 kernel，判断计算收益与训练稳定性差异？层层追问两种公式分别统计什…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 字节

自回归生成用 token id 还是概率分布?

匹配口述回答：…路径，最终会得到一个离散token id。生成第i加一步时，模型通常把刚选出的id查embedding，连同此前上下文继续前向。Transformer服务会把这条路径已有token的K和V缓存起来，只计算新增位置。这里的离散选择和模型训练目标一致：语言模型是在离散token序列上学习next-token概率，所以下一步接收一个实际token最符合训练分布。训练阶段常用teacher forcing，当前位置看到的前缀来自真实数据；推理阶段看到的是模型自己此前选出的toke…

#自回归生成#softmax采样#梯度传播

面试题·模型训练· 美团

GLoRA 比传统 LoRA 强在哪?

匹配追问：…oRA等改进版LoRA相比各有什么优劣？在实际落地中，GLoRA的额外分组开销对训练速度和显存的影响如何？场景切入假设不同 Transformer 层需要不同类型的轻量适配，而普通 LoRA 只提供固定低秩更新。Generalized LoRA 会怎样统一多类可重参数化分支，并为各层搜索合适结构？层层追问标准 LoRA 的更新形式是什么？……GLoRA 的 generalized prompt module 包含哪些适配候选？……layer-wise structu…

#PEFT#LoRA#低秩适配

面试题·模型架构· 百度

VQ-VAE 损失与码本更新

匹配追问：…collapse问题是什么，如何解决 VQ-VAE与VQ-GAN的主要区别是什么为什么DALL-E选择用VQ-VAE而不是直接用Transformer生成图像像素场景切入假设一个 VQ-VAE 训练后只使用少量码本向量，出现大量 dead codes。请说明重建损失、codebook loss、commitment loss 分别更新什么，并设计梯度式或 EMA 码本更新与监控。层层追问重建损失的梯度怎样通过量化层传回 encoder？……codebook loss…

#VQ-VAE#向量量化#离散表示学习

面试题·模型训练· 百度

DDPM 为什么不先加噪再端到端去噪?

匹配口述回答：…闭式形式。训练时随机采一个 t 和 epsilon，就能直接算出 x_t，然后把 x_t、t 输入同一个时间条件 U-Net 或 Transformer，预测 epsilon、x_0、v 或反向分布参数。所以一次训练样本通常只经过一次模型调用，反向传播穿过的是这个模型内部的神经层，而不是整个采样链。也不能把它说成“梯度路径只有一层”，因为一次 U-Net 本身可能很深。正确的区分是：神经网络层数、扩散时间步和推理时调用网络的次数，是三个不同概念。为什么还要把反向生成分成很…

#扩散模型#DDPM#训练策略

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配追问：…效果变差？如果要在自己的模型中从LayerNorm切换到RMSNorm，需要注意哪些训练技巧？除了RMSNorm，还有哪些针对Transformer的归一化改进（如Pre-LN、Post-LN、Sandwich-LN）？场景切入假设你在做一个千亿参数的对话模型，线上推理延迟很敏感。你会怎么选归一化层？LayerNorm和RMSNorm，哪个对推理提速更明显？层层追问大模型里归一化层你常用哪些？……LayerNorm和RMSNorm公式上有什么关键区别？……那在训练…

#LayerNorm#RMSNorm#归一化技术

面试题·检索· 字节

RAG 中 Re-ranking 怎么用?

匹配口述回答：…。典型的 [[Cross-Encoder]] 模型，比如 BERT-reranker，需要把 query 和 doc 拼接起来过 Transformer，计算量很大，不可能对上百万文档逐一打分。所以向量检索和重排是互补的，一个管效率，一个管精度。真正落地，一定是两者结合，而不是二选一。举个例子，电商客服场景，用户问“我买的东西降价了，能退差价吗？”。向量检索先从知识库里召回一批相关文档，可能包括“价格保护政策”、“退款流程”、“优惠券使用规则”等等。但这里面有些文档可能只是…

#字节#重排与优化#RAG Re-ranking

长序列怎么压缩与摘要?

架构与训练怎么提升多轮一致性?

KV Cache 是什么?为什么能加速推理?

多模态 RAG 架构设计

RAG 中表格图片怎么处理?

推荐不准的分层诊断

RAG 模型分类有哪些?

生成式与判别式推荐选型

用户兴趣模型：数据与特征取舍

RAG 为什么需要 Re-ranking?

RAG 重排序怎么选?

两阶段检索 vs 直接重排?

召回模型怎么搭建?

Embedding 向量维度选型

主流图像生成模型有哪些?

参数规模怎么影响大模型?

RMSNorm vs LayerNorm：数值稳定性怎么比?

自回归生成用 token id 还是概率分布?

GLoRA 比传统 LoRA 强在哪?

VQ-VAE 损失与码本更新

DDPM 为什么不先加噪再端到端去噪?

RMSNorm推理效率更高吗?

RAG 中 Re-ranking 怎么用?