匹配正文：…作为评测基线；当数据规模、维度或 QPS 超出预算时，再用 ANN 在召回率、延迟与内存之间取舍，不能笼统说精确搜索一定不可行。 IVF：减少候选比较 IVF 用聚类中心把向量分配到倒排列表。查询先找近邻中心，再只扫描 nprobe 个列表中的候选。增大 nprobe 往往提高召回但增加计算；实际复杂度受列表平衡、训练数据、向量分布和实现影响，不是固定的 O(logN)。 PQ：压缩向量并近似算距 PQ 把向量切成多个子空间，每个子空间用码本编码。数据库只保存短码，查询时通过…

#向量检索#近似最近邻搜索#量化压缩

面试题·文档处理· 字节

文本块如何生成向量并构建可维护索引？

匹配正文：…方式，不能保证避免灾难性遗忘。 3. 以精确搜索建立真值先用 Flat 或其他精确实现为固定查询计算近邻真值，再比较 HNSW、IVF、SQ/PQ 等候选的 Recall@K、延迟、内存和构建成本。 Flat 精确但扫描量随数据增长； HNSW 以图结构换取近似搜索效率，并增加图内存； IVF 通过粗聚类只扫描部分倒排单元，IVF-Flat 仍保存完整向量； SQ/PQ 压缩向量并引入距离误差，可与 IVF 或 HNSW 组合。 IVF_HNSW 常表示用 HNSW 搜粗中…

#RAG#文本向量化#Embedding

面试题·文档处理· 百度

RAG ANN 索引优化

匹配正文：…@K、P50/P95 延迟、QPS、内存、构建时间与更新成本。常见策略索引选择：HNSW 通常以较高内存换取低延迟和较高召回；IVF 通过聚类缩小扫描范围；PQ/OPQ 压缩向量以节省存储和带宽。选择取决于数据规模、更新模式、内存和目标硬件。参数调优：HNSW 的 M、efConstruction、efSearch，IVF 的 nlist、nprobe，以及 PQ 码长共同决定构建成本、延迟与召回。应扫参绘制 Pareto 曲线，而非使用固定比例。两阶段检索：ANN …

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#文档处理#RAG ANN 索引优化

面试题·检索· 百度

向量召回有哪些实现方式，如何选型？

匹配正文：…数如 M、efConstruction、efSearch 共同影响构建时间、内存、召回和延迟，应在目标数据与并发下画曲线。 3. IVF：先选倒排单元再扫描 IVF 先训练粗量化器，把向量分配到倒排单元；查询时选择若干单元并扫描其中候选。nlist、nprobe、训练样本和数据分布影响速度与召回。IVF-Flat 仍保存完整向量，并不因为叫 IVF 就天然省内存；它主要通过少扫描单元减少查询计算。粗量化器可以使用 Flat，也可以用 HNSW 加速中心选择。所谓 IVF-H…

#向量检索#Faiss#Flat

面试题·检索· 安克科技

RAG向量匹配原理与ANN算法取舍

匹配正文：答案要点余弦相似度的数学原理及为何适用于高维向量 HNSW和IVF的核心机制与适用场景建索引时参数调优的关键维度（ef_construction/M/nlist/nprobe）精度与效率的权衡策略（分层检索、量化压缩、动态阈值）一、相似度计算方法余弦相似度是RAG中最常用的度量：公式：cos(θ) = (A·B) / (||A|| × ||B||) 核心优势：对向量长度不敏感，只关注方向一致性，适合语义相似性判断工程实践：向量通常已归一化，此时点积等价于余弦相似…

#安克科技#HNSW与IVF#RAG 向量匹配

项目实战·RAG

第 2 章:RAG 整体架构

匹配正文：…pproximate Nearest Neighbor),避免逐条精确计算。它用可接受的召回损失换查询加速,常见实现有 HNSW、IVF;具体提升幅度受数据规模、硬件、索引和参数影响,要与精确检索在同一数据与负载下实测。面试里被问"向量检索为什么快",可以答到"ANN 缩小候选搜索范围,再用召回与延迟共同验收"。落到技术栈选型时,可以把 Milvus 向量检索 + Elasticsearch/BM25 关键词检索 + FastAPI 编排当成一套候选方案。组件名字并不构成结…

#RAG#检索#项目实战

项目实战·RAG

第 4 章:Embedding 选型与向量化

匹配正文：…署成本和目标数据评估来筛选 Embedding 模型,并正确理解向量维度 ✓ 理解向量库 + ANN 索引,讲清 HNSW vs IVF 的区别和"近似"二字的含义 ✓ 学会用失败样本定位领域召回问题,并判断是否需要 Embedding 微调本章按三段式组织,不同基础的读者各取所需: 段落给谁看内容占比 🚀 Part 1 · 主线实战零基础,想先跑起来概念白话 + 玩具向量化代码 ~50% 🎯 Part 2 · 面试深度想讲透、备战面试模型选型 + 向量库…

#RAG#检索#项目实战

求职指南·求职

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：… 文档解析与数据管道 ETL、消息队列、批处理、增量更新向量数据库选型与调优存储与索引选型经验可迁移,但 HNSW 是图索引、IVF 是倒排文件分区,不能直接套用 B+ 树机制缓存设计向量检索结果缓存、语义缓存、Prompt 命中复用推理延迟与成本优化性能调优、连接池、批量化、异步降级可观测性 / 线上质量监控评估指标埋点、离线评测集、线上 badcase 采样与回归 Agent 工作流编排状态机、任务调度、重试与幂等、DAG 编排工具 / 函数调用集成 …

#求职#职业转型

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：… 检索优化里常见的 ANN 索引、分区、过滤、批量查询和并发连接，解决的问题并不相同。 ANN 索引用近似搜索换取速度。HNSW、IVF 等索引都有搜索宽度和构建参数，调得更激进通常会影响召回。因此索引优化必须和固定评测集绑定。每次改变参数，都要检查正确证据是否仍进入前 K 条。查询快了但 Recall@K 下降，首字改善可能换来错误答案。过滤是在搜索前缩小有效范围。如果问题只允许查询某个知识库、某些文档或当前有效版本，先过滤再搜索既是权限要求，也可能减少候选范围。过滤…

#RAG#评测与上线#RAG 首字响应

面试题·Agent· 字节

海量历史记录怎么索引优化？

匹配正文：…下文连贯情节记忆（温数据）历史会话片段，存向量数据库（Milvus/Pinecone）按时间窗口分片，配合HNSW索引 + IVF量化元数据过滤：时间范围、主题标签、情感标记语义记忆（冷数据）压缩后的知识图谱/用户画像，存图数据库或宽表定期摘要生成，淘汰低价值细节检索优化手段手段实现混合索引向量相似度 + 倒排索引（关键词）+ 时间索引，三路召回后精排分层检索先粗筛（量化向量/聚类中心），再精排（原始向量）记忆摘要长会话→LLM提取关键事件，存…

#字节#蚂蚁#Agent

面试题·Agent· 字节

Agent 长期记忆存储结构

匹配正文：…案长期记忆 = 向量存储(语义检索) + 关系数据库(结构化过滤) + 对象存储(原始对话) 检索效率优化索引层面 HNSW/IVF-PQ：亿级向量毫秒级ANN检索，内存-磁盘分层分区策略：按用户+时间窗口分片，避免全量扫描量化压缩：FP32→INT8/二进制，降低内存占用10x 召回策略：多路召回向量语义召回：query embedding → Top-K相似记忆关键词召回：BM25覆盖精确匹配场景图遍历召回：基于实体关系扩展相关记忆相关性排序优化特征融合…

#字节#蚂蚁#向量检索

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配正文：…降延迟四、向量存储与索引优化存储选型：小规模（<100万）：FAISS Flat（精确搜索，无训练）中等规模：FAISS IVF（倒排文件，平衡速度与精度）大规模（>1亿）：Milvus/Pinecone + HNSW（图索引，高召回低延迟）索引优化实践：量化压缩：PQ（乘积量化）降存储，IVF-PQ平衡精度与内存多阶段检索：可用BM25/稠密向量召回，再用Cross-Encoder或ColBERT等方案重排；ColBERT是token多向量late inte…

#字节#文档处理#RAG 数据处理流程

面试题·文档处理· 字节

RAG 数据处理与索引流程?

匹配正文：…度填充质量验证：抽样人工评估语义相似度，监控离群点 5. 向量存储与索引构建索引结构： HNSW：高召回、内存型，适合百万级 IVF+PQ：亿级规模、磁盘友好元数据设计：必须包含doc_id、chunk_index、source、timestamp，支持过滤查询性能影响：索引参数（efConstruction/M）直接决定召回率vs查询延迟的权衡系统级优化建议增量更新：避免全量重建，设计版本化索引切换机制多路召回：向量+关键词+结构化数据融合，索引层预构建倒排表…

#字节#文档处理#向量检索

面试题·文档处理· 字节

Chunk 向量化与索引怎么选?

匹配正文：…上的证据完整率、召回与成本决定嵌入模型编码：将文本映射为稠密向量（通常768或1024维）索引构建：选择ANN算法（HNSW、IVF-PQ等）建立可高效检索的数据结构二、常用嵌入模型对比模型特点适用场景 OpenAI text-embedding-3 语义质量高，API易用，按token计费快速验证、中小规模、预算充足 BGE/M3E（开源）中文优化好，可本地部署，成本可控大规模生产、隐私敏感场景 E5/GTE 长文本支持好，学术benchmark领先长文…

#字节#向量检索#Chunk 向量化

面试题·文档处理· 字节

Embedding+向量库怎么做语义匹配?

匹配正文：…料对比学习多语言场景需确认模型跨语言对齐能力 3. 向量数据库核心配置参数作用典型设置索引类型 HNSW（高召回）vs IVF（快建索引） HNSW，ef_construction=200 距离度量余弦相似度 / 内积 / L2 余弦相似度最常用 Top-K 召回数量 10-50，结合Rerank用 4. 协同工作机制 Embedding模型负责语义空间映射：将文本转为稠密向量，保证语义相近文本在向量空间邻近向量数据库负责高效最近邻搜索：通过近似最近邻（ANN）…

#字节#文档处理#向量检索

面试题·文档处理· 字节

RAG 文本分块与向量索引流程

匹配正文：…O(logN) 或 >95% 召回；以实际数据和参数为准。Faiss HNSW 还不支持直接删除向量，需要版本/墓碑与重建策略； IVF/PQ 组合：nlist、训练样本、nprobe、编码字节和可选重排共同决定速度、压缩和召回，不能固定宣称压缩 10–20 倍；自建或托管服务：依据容量、过滤能力、更新一致性、备份恢复、租户隔离、运维人力和总成本选择，不能仅用百万/千万/十亿向量划线。元数据过滤和 ACL 要在服务端检索路径执行；生成后再删除无权限证据已经太晚。检索、重…

#字节#文档处理#向量检索

面试题·文档处理· 字节

Embedding 模型选型 vs 落地流程?

匹配正文：…imestamp": "2024-01-15" } } 索引与入库小数据量：Flat（精确搜索）大规模：HNSW（高召回）或 IVF（内存友好）混合检索：稠密向量 + 稀疏向量（如BGE-M3的unified embedding）生产注意：建立版本管理机制，模型更新时需全量重刷向量。学习建议建议系统学习该知识点

#字节#Embedding 模型选型#RAG 向量化流程

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配正文：…Milvus（大规模）、Qdrant（易用）、Elasticsearch（混合检索方便）索引构建：HNSW（图索引，召回率高）、IVF-PQ（内存友好），根据数据规模和延迟要求选择 4. 检索优化混合检索：向量相似度 + 关键词匹配（BM25），用RRF融合排序查询改写：扩展同义词、纠错，提升召回重排序（Rerank）：用Cross-Encoder精排Top-K结果学习建议建议系统学习该知识点

#美团#RAG 知识库搭建#文档预处理

面试题·文档处理· 美团

RAG知识库构建流程详解

匹配正文：…召回取舍，但构建慢、内存开销较高；M、efConstruction、efSearch 必须按数据和硬件调节。 IVFFlat / IVF-PQ：训练样本、nlist、nprobe 和编码决定构建、内存、速度与召回，不能简单写成“上亿数据就选 IVF”。 pgvector、Milvus、托管服务或 Faiss：依据过滤、事务与更新一致性、备份、租户隔离、容量、硬件和运维能力选。不存在 pgvector < 100M 这类通用分界线。过滤语义要看实现。以 pgvector 为例…

#美团#RAG 知识库构建#文档预处理

面试题·文档处理· 安克科技

RAG向量化：分块与Embedding

匹配正文：…义分块、递归分块等）及边界处理向量归一化的作用与L2归一化实现余弦相似度的数学原理与计算优化 ANN近似最近邻算法（HNSW、IVF等）的应用场景一、嵌入模型选型场景推荐方案特点通用中文 BGE-large-zh、M3E-base 开源、可私有化部署多语言 E5-multilingual、OpenAI text-embedding-3 跨语言检索能力强垂直领域领域微调（如法律、医疗）用领域数据微调通用模型关键考量：维度（通常768/1024/1536）…

#安克科技#RAG 向量化#Embedding 模型

面试题·文档处理· 安克科技

RAG 文档如何存储、向量化和更新？

匹配正文：…、tokenizer、前缀、截断、归一化和距离。公开榜单用于筛候选，业务 Recall 与长尾切片决定结果。 Flat、HNSW、IVF 和量化索引没有按十万/百万/千万划分的通用门槛。先以精确搜索建立真值，再根据质量、P95/P99、吞吐、内存、过滤、更新和恢复实测。HNSW 不是默认答案，IVF 也不天然比 Flat 省存储。 5. 发布与一致性批量大小由模型、设备、请求限制和内存压测决定，不写死 500。每批使用幂等写入并保存失败清单，不能部分失败后把任务标成完成。新…

#RAG#文档存储#解析

面试题·评估· 高德

高并发 Agent 延迟卡在哪?

匹配正文：…的候选过滤，再用稠密检索补充语义召回；过滤规则必须通过召回回归，避免提前丢失正确文档。 HNSW 通过搜索宽度在延迟与召回间取舍；IVF 通过桶数和探测数取舍；PQ 可减少向量存储与带宽，但会引入量化误差。热点 query、embedding 和结果可以按语料与模型版本缓存；更新后必须正确失效。检索服务独立扩缩容，并记录 Recall@K、P95/P99、缓存命中和资源使用。生成阶段 continuous batching 提高 GPU 利用率，但要按长度或截止时间调度…

#高德#Agent#Agent 系统延迟优化

面试题·评估· 美团

RAG 缓解幻觉的机制

匹配正文：…dding模型领域适配（如用BGE、GTE替换通用模型）向量数据库 Milvus/Pinecone，需考虑索引类型（HNSW/IVF）与分片策略重排序（Rerank）交叉编码器精排，解决向量相似≠语义相关的问题上下文压缩长文档截断、摘要提取，适配模型上下文窗口查询改写 HyDE（假设文档嵌入）、Query Expansion提升召回率核心优势 vs 典型局限优势可解释性：答案可溯源到具体文档片段时效性：知识库更新无需重新训练模型领域适配：低成本接入垂直…

#美团#事实锚定#RAG 缓解幻觉的机制

面试题·评估· 京东

RAG向量数据库选型关键指标

匹配正文：选型核心维度 1. 性能与索引类型 HNSW：图索引，召回率高、查询快（1-10ms），但内存占用大，适合百万-千万级稠密向量 IVF+PQ：倒排+乘积量化，内存省、支持十亿级，查询稍慢（10-50ms），适合大规模稀疏访问 DiskANN：内存+SSD混合，平衡成本与性能，十亿级首选 2. 可扩展性水平扩展能力：是否支持分片（sharding）和动态扩缩容写入吞吐：批量导入速度、实时更新延迟（部分库写放大严重） 3. 延迟与成本权衡场景推荐方案在线QPS>1万、延…

#京东#评估与监控#向量数据库选型