匹配正文：答案要点区分BERT骨干、Cross-Encoder配对打分与SBERT独立句向量训练；“双塔”描述编码方式，不必是两套独立权重解释CLS token与Mean Pooling的优劣说明向量维度的影响（表达能力vs计算效率、存储成本）提及实际选型考量（MTEB榜单、领域适配）主流Embedding架构对比模型核心架构关键改进 BERT Transformer Encoder 预训练MLM+NSP，输出token级表示 Sentence-BERT 共享骨干的Si…

#小米#向量检索#Embedding 向量维度选型

面试题·检索· 百度

向量召回实现方式有哪些?

匹配正文：答案要点能列举至少3种主流向量检索算法（如HNSW、IVF、LSH、PQ等）能对比不同方法在召回率、延迟、内存占用上的权衡能说明建索引和查询的复杂度差异能结合场景说明选型依据（如实时性要求、数据规模、精度要求）向量检索的核心是近似最近邻（ANN）搜索，常用实现方式可分为以下几类： 1. 基于图的方法：HNSW 原理：构建多层导航图，高层稀疏快速定位，底层稠密精确搜索特点：召回率高（>95%）、查询快（毫秒级），但内存占用大、建索引慢适用：中等规模（千万级）、对延…

#百度#向量检索#向量召回方法

面试题·检索· 百度

向量召回原理与实现?

匹配正文：答案要点向量嵌入将文本/数据映射到语义空间相似度计算常用余弦相似度或内积 ANN索引（HNSW、IVF）解决高维向量检索效率问题大规模系统采用分片、量化、缓存等工程优化 RAG中需平衡召回率与延迟向量召回核心流程 1. 向量嵌入（Embedding）用预训练模型（BERT、Sentence-BERT、OpenAI Embedding等）将文本编码为稠密向量关键：语义相似的文本在向量空间中距离相近维度通常 256-1536 维，需权衡表达能力与存储成本 2. 相似…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#向量召回#向量召回原理

面试题·检索· 字节

向量检索加速：有哪些陷阱

匹配正文：答案要点向量索引选型与优化（HNSW、IVF等）多路召回与融合排序 Embedding模型优化与量化缓存策略与预计算硬件加速与分布式部署检索模块性能优化的核心策略一、索引层优化向量索引选型：以Flat作精确对照，把HNSW、IVF与量化组合列为候选；规模之外还要看维度、内存预算、过滤/更新、质量门槛和实测延迟，不能只凭百万/亿级决定。参数调优：HNSW检查M、构建efConstruction与查询efSearch；IVF扫描nlist/nprobe并核查训练样…

#字节#检索性能优化#向量检索性能优化

面试题·检索· 百度

向量检索 4 种范式怎么选?

匹配正文：…时空复杂度权衡能结合实际场景（如RAG中的百万/十亿级检索）给出选型建议了解工业界的优化手段（如乘积量化+图索引的混合方案）向量相似度检索的核心矛盾是精确性与效率的权衡。高维空间下精确最近邻复杂度O(n)，必须依赖近似最近邻（ANN）算法。四大范式如下：一、基于树结构：空间划分思想代表算法：KD-Tree、Ball Tree、Annoy（随机投影树）核心思想：递归划分空间，查询时剪枝遍历局限：高维下"维度灾难"，效果急剧下降（>20维基本失效）现状：纯树结构已…

#百度#ANN索引#向量检索方法

面试题·检索· 字节

RAG检索质量差：Embedding与Rerank调优

匹配正文：…方案说明方案适用场景和 trade-off 体现工程落地经验问题诊断：先定位失效环节召回问题：相关文档没进候选池 → 需优化向量表示或扩大检索范围精确问题：噪声文档混入 → 需过滤或重排序排序问题：相关文档得分低 → 需重排序模型或特征工程核心应对策略 1. 查询侧优化（Query Rewriting）意图澄清：用LLM扩展同义词、补全省略的主语伪文档生成：HyDE 用模型生成假设答案再检索查询分解：复杂问题拆成子查询分别检索 2. 检索侧增强混合检索：向…

#字节#检索故障诊断#检索质量优化

面试题·检索· 安克科技

RAG向量匹配原理与ANN算法取舍

匹配正文：答案要点余弦相似度的数学原理及为何适用于高维向量 HNSW和IVF的核心机制与适用场景建索引时参数调优的关键维度（ef_construction/M/nlist/nprobe）精度与效率的权衡策略（分层检索、量化压缩、动态阈值）一、相似度计算方法余弦相似度是RAG中最常用的度量：公式：cos(θ) = (A·B) / (||A|| × ||B||) 核心优势：对向量长度不敏感，只关注方向一致性，适合语义相似性判断工程实践：向量通常已归一化，此时点积等价于余弦相似…

#安克科技#HNSW与IVF#RAG 向量匹配

面试题·检索· 安克科技

RAG 向量匹配怎么高效实现?

匹配正文：精确检索与 ANN 查询和文档向量采用与模型训练一致的归一化与距离度量。Flat 搜索给出精确基线，但计算随向量数量线性增长；大规模场景通常使用近似最近邻索引。 HNSW：多层导航图，查询延迟低、召回高，代价是图结构内存与构建成本；主要通过 M、efConstruction 和查询 ef 调节。 IVF：先聚类分桶，查询时探测部分桶；nlist 与 nprobe 控制候选范围。 PQ/IVF-PQ：对向量子空间量化以减少存储和带宽，但会引入距离误差。混合架构：热冷分层、稀疏…

#安克科技#ANN性能权衡#RAG 向量匹配

面试题·检索· 美团

Embedding 相似性检索怎么工作?

匹配正文：答案要点 embedding将文本映射到语义空间相似性通过距离度量（余弦/欧氏）计算 ANN算法加速大规模检索倒排索引或图索引优化查询效率 RAG中用于召回相关文档核心原理 Embedding语义映射文本通过预训练模型（如BGE、M3E、OpenAI的text-embedding）编码为固定维度的稠密向量语义相近的文本在向量空间中距离更近，这是检索有效性的基础相似性度量余弦相似度：最常用，关注方向一致性，对向量长度不敏感欧氏距离：关注绝对距离，适合归一化后的向…

#美团#Embedding检索#Embedding 相似性检索

面试题·检索· 百度

向量检索基本原理是什么?

匹配正文：核心原理向量检索把文档和查询编码到同一表示空间，再按照与模型训练方式匹配的距离或相似度寻找近邻。效果不仅取决于索引，还取决于语料、分块、embedding 版本和距离度量是否一致。 1. 向量化文档块与查询通常使用同一 embedding 模型及同一预处理版本编码。领域、语言和查询长度会影响表示质量，应在目标查询集上验证，而不是用“语义接近”作主观判断。模型升级时要记录向量版本；不同模型产生的向量通常不能直接放在同一索引中比较。 2. 索引构建 Flat 做精确搜索，…

#百度#向量索引#向量检索原理

项目实战·Agent

Memory & Transformer 基础

匹配正文：Transformer 基础(分词 / Embedding / MHA·GQA·MLA / MoE)+ 大模型 Memory 模块本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。补齐大模型底层硬功夫:Transformer 四大基础 + Agent 长程记忆面试被问「讲讲 GQA 和 MHA 的区别」「MoE 怎么路由」「Memory 模块怎么设计」时卡壳，往往不是不努力，而是底层基础没系统补过。这个项目把 Tra…

#项目实战#Memory & Transformer 基础

系统教程·RAG

RAG 面试题大全与知识体系

匹配正文：…有书面答案和口语版讲法。配套教程 RAG 智能问答系统：11 章从原理到评测知识模块 RAG 基础与整体架构文档处理与分块向量检索与召回重排与检索优化知识图谱增强常见问题 RAG 面试一般会考哪些问题？围绕你简历上的 RAG 项目逐层追问：为什么这样分块、召回率怎么测、混合检索和重排为什么要加、幻觉怎么归因。背概念挡不住追问，最好把一个完整 RAG 系统亲手做一遍。没做过 RAG 项目，直接背面试题有用吗？用处有限。面试官继续追问时会检查实现、实验与职责。…

#专题学习#RAG 面试题大全与知识体系

面试题·RAG

Chunk 为什么要带标题、页码和前后片段 ID？

匹配正文：…到底是多少？上一段是不是刚好写了适用对象？这份文档是不是已经被新版本替换？当前用户又是否有权查看？如果 Chunk 里只有正文和向量，这些问题都无法可靠回答。于是，面试官会继续问： RAG 的 Chunk 除了正文，还应该保存哪些 metadata？这些字段分别解决什么问题？常见回答是列出一串字段：doc_id、page、title、created_at、prev_id、next_id。字段名背得再多，也不等于设计合理。真正需要回答的是：哪个字段参与搜索前过滤，哪个字…

#RAG#切分与索引#RAG Metadata

面试题·RAG

RAG 知识库如何动态更新？重复上传怎么做到不重复、不漏写？

匹配正文：先看两个教学场景。第一个场景，管理员把同一份制度文档连续上传了两次。系统也老老实实解析两次、切分两次、计算两次 Embedding，最后往向量库写进两套几乎完全相同的 Chunk。用户提问时，前几条候选看起来都相关，实际上只是同一段内容重复出现。真正能补充答案的其他证据，反而被挤到后面。第二个场景，管理员只改了文档中的一个段落。系统为了避免重复，看到文件名相同就直接跳过，结果新版内容根本没有入库。这两个问题方向相反。第一个是重复写，第二个是漏更新。只说一句“加个去重…

#RAG#切分与索引#RAG 增量入库

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：为什么不能只取并集 BM25 和向量检索适合放在同一条在线召回链路中，因为两路检索擅长的问题不同。 BM25 更重视字面命中。查询里出现制度名称、专有名词、编号、缩写或某个精确短语时，它能把包含这些词的文档拉回来。向量检索更重视语义接近。用户使用口语、同义表达或较长的问题描述时，即使文档没有出现完全相同的词，也可能被召回。两路结果取并集，可以扩大候选覆盖，却还没有回答“谁应该排在前面”。如果直接按 BM25 列表在前、向量列表在后，排序偏向第一路；如果轮流抽一条，两个检索器…

#RAG#检索与重排#RRF

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…不知道“这个”指什么就无法检索。第二句包含两种可能出现在文档里的表达，系统需要覆盖不同措辞。第三句只有一个抽象概念，信息太少，向量很容易飘到一堆相近主题。这三类问题都可能被笼统地归入“Query 优化”，但适合的处理方法并不一样。如果不分类型，每个问题都先交给大模型改写，不仅多一次调用，还可能把原本清楚的编号、否定和限制条件改错。重写、扩写和 HyDE 分别解决什么？ Query 重写追求的是“把问题说完整”。用户问“这个怎么申请”，系统要结合有限的对话历史，把它…

#RAG#检索与重排#RAG Query 重写

面试题·模型架构· 百度

VQ-VAE 原理与完整结构

匹配正文：… 把输入 x 映射为连续 latent 网格 z_e(x)。对每个位置，在 codebook E={e_1,…,e_K} 中找最近向量，得到离散索引 k 和 z_q(x)=e_k；Decoder 再从 z_q(x) 重建输入。离散索引可交给自回归或其他先验模型学习。最近邻选择不可导，原始 VQ-VAE 用 straight-through estimator，把重建损失对 z_q 的梯度近似传给 encoder。原始目标包含：重建损失，训练 encoder/decoder…

#VQ-VAE#向量量化#离散表示学习

面试题·推理优化· 字节

FAISS 怎么实现高效 ANN 搜索?

匹配正文：FAISS 解决什么问题 FAISS 提供高维向量的相似度搜索与聚类实现，既支持 Flat 精确搜索，也支持多种近似最近邻索引。Flat 会计算查询与全部向量的距离，结果精确且可作为评测基线；当数据规模、维度或 QPS 超出预算时，再用 ANN 在召回率、延迟与内存之间取舍，不能笼统说精确搜索一定不可行。 IVF：减少候选比较 IVF 用聚类中心把向量分配到倒排列表。查询先找近邻中心，再只扫描 nprobe 个列表中的候选。增大 nprobe 往往提高召回但增加计算；实际复杂…

#向量检索#近似最近邻搜索#量化压缩

面试题·多模态· 得物

多模态异构数据怎么统一存储?

匹配正文：…目录或关系库。特征层为每种encoder记录model ID、版本、维度、归一化和生成时间。Whisper音频表示、CLIP图文embedding与BERT文本embedding并不天然处于同一空间，不能直接用余弦距离混排。若要共享空间，需要配对数据、对比目标或可训练projector/adapter。合理做法是冻结基座encoder并训练projector，而不是把projector也冻结后声称正在对齐。索引层有两种路线：训练出共同空间后建立统一向量索引；或按模态维护独…

#多模态融合#特征对齐#向量数据库

面试题·模型架构· 百度

VQ-VAE 与传统 VAE 有何不同?

匹配正文：…oder、离散codebook和decoder组成。Encoder输出连续特征 z_e(x)；对每个空间或时间位置，选择最近的码本向量： k*=argmin_k ||z_e(x)-e_k||², z_q(x)=e_{k*} Decoder从量化后的 z_q 重建输入。离散索引序列可再由PixelCNN、Transformer等先验模型学习，从而采样新索引并解码。损失与梯度原始形式包含重建损失、codebook loss ||sg[z_e]-e||² 和commitment…

#VQ-VAE#离散表示学习#变分自编码器

面试题·推理优化· 美团

VecEnv 怎么加速强化学习训练?

匹配题目：在强化学习训练中，是否曾使用过VecEnv（向量化环境）来加速环境交互？请说明其工作原理、优势以及在实际项目中如何配置和使用VecEnv以提升训练效率。

#VecEnv#环境并行化#Stable-Baselines3

面试题·模型架构· 百度

VQ-VAE 损失与码本更新

匹配正文：VQ-VAE 的结构 Encoder 将输入 x 映射为连续 latent 网格 z_e(x)。向量量化层对每个 latent 位置寻找最近的 codebook 向量 e_k，得到离散索引 k 和量化表示 z_q(x)。 Decoder 从 z_q(x) 重建输入。训练时用 straight-through estimator，让重建损失的梯度近似传回 encoder。损失与码本更新原始 VQ-VAE 常写为：重建损失 + codebook loss + commitm…

#VQ-VAE#向量量化#离散表示学习

面试题·Agent· 字节

海量历史记录怎么索引优化？

匹配正文：…）最近N轮对话，存Redis/Memory，毫秒级访问原始文本，不做压缩，保证上下文连贯情节记忆（温数据）历史会话片段，存向量数据库（Milvus/Pinecone）按时间窗口分片，配合HNSW索引 + IVF量化元数据过滤：时间范围、主题标签、情感标记语义记忆（冷数据）压缩后的知识图谱/用户画像，存图数据库或宽表定期摘要生成，淘汰低价值细节检索优化手段手段实现混合索引向量相似度 + 倒排索引（关键词）+ 时间索引，三路召回后精排分层检索先粗筛…

#字节#蚂蚁#Agent

面试题·Agent· 字节

Agent 长期记忆存储结构

匹配正文：… Cache或滑动窗口，毫秒级访问短期记忆：当前会话的完整记录，Redis/内存，支持快速CRUD 长期记忆：跨会话的海量历史，向量数据库+图数据库混合，持久化存储混合存储方案长期记忆 = 向量存储(语义检索) + 关系数据库(结构化过滤) + 对象存储(原始对话) 检索效率优化索引层面 HNSW/IVF-PQ：亿级向量毫秒级ANN检索，内存-磁盘分层分区策略：按用户+时间窗口分片，避免全量扫描量化压缩：FP32→INT8/二进制，降低内存占用10x 召回策略：多…

#字节#蚂蚁#向量检索