搜索大模型内容

RAG 文本分块与向量索引流程

匹配正文：…/段落边界切分递归分块长文档层次化结构先按章节，再按段落滑动窗口需要上下文连贯比较无重叠、短重叠和较长重叠关键细节：chunk size 必须低于实际嵌入模型的输入限制，并在同一评测集比较；过小可能造成语义碎片化，过大可能稀释关键信息。二、嵌入模型选择选型维度：通用场景：sentence-transformers/all-MiniLM-L6-v2（轻量，384维）中文场景：BAAI/bge-large-zh、智谱Embedding-2 领域适配：领域数据…

#字节#文档处理#向量检索

面试题·文档处理· 蔚来

RAG分块策略：粒度、重叠与写入

匹配正文：…候选方案，在同一评测集上回放作用：缓解答案跨越切分边界时的信息丢失代价：重复索引会放大存储、召回冗余和重排成本实现：记录每个chunk在原文中的起止位置与父级结构，便于合并、去重和溯源向量化写入流程原始文档 → 清洗（去噪/格式标准化）→ 结构化解析（提取标题/表格/代码块） ↓ 产生多组分块候选 → 在固定问题集上评测 → 生成chunk元数据（来源、位置、类型） ↓ Embedding模型编码 → 按实际显存、限流和失败重试能力确定批量大小 → 写入向量库 ↓ …

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#蔚来#文档处理#RAG文本分块

面试题·评估· 美团

RAG 工作原理与局限怎么分析?

匹配正文：答案要点 RAG(检索增强生成)= 给大模型外挂一个可实时更新的知识库:先检索、再基于检索材料生成核心流程:文档解析 → 分块(Chunk)→ 向量化(Embedding)→ 入向量库;查询时检索 → 重排 → 拼入 prompt 生成优势:知识可实时更新、答案可溯源、幻觉显著降低、不需要重训模型局限:效果强依赖检索质量(切分不当/纯向量检索对 ID 类文本失效),链路长、延迟与成本上升与微调的边界:微调学「格式与风格」,RAG 注「事实与时效」,生产中常两者结合工…

#美团#评估与监控#RAG 工作原理

面试题·模型微调· 字节

RAG 检索与生成流程详解

匹配正文：…理PDF/Word/网页等多格式，提取结构化文本文本分块：按语义或固定长度切分，通常256-512 tokens，保留段落边界向量化：用Embedding模型（如BGE、M3E）将chunk转为向量索引存储：存入向量数据库（Milvus、Faiss、Elasticsearch）在线阶段：检索生成 Query理解：必要时进行Query改写、扩展、意图识别向量检索：用ANN算法快速召回Top-K相关chunk 精排优化：Cross-Encoder重排序，过滤低质量内容 …

#字节#检索生成流程#RAG 实现

面试题·模型微调· 商汤科技

RAG 基本工作流程是什么?

匹配正文：…给大模型，解决知识截止和幻觉两大痛点，无需重新训练模型。三阶段工作流程 1. 索引阶段（离线）文档切分：按语义/固定长度分块（chunk）向量化：用 Embedding 模型（如 BGE、M3E）转为稠密向量存储：写入向量数据库（Milvus、FAISS、Elasticsearch） 2. 检索阶段（在线）用户查询同样向量化相似度搜索（余弦相似度/IP），召回 Top-K 相关片段 3. 生成阶段（在线）将检索结果 + 原始查询拼接为 Prompt 大模型基于"…

#商汤科技#RAG 工作流#RAG 工作流程

面试题·知识图谱· 美团

GraphRAG 架构原理与优势

匹配正文：核心思想 GraphRAG的本质是用"结构化语义网络"替代"扁平向量空间"。传统RAG把文档切成chunk后直接向量化，丢失了实体间的显式关系；GraphRAG则通过LLM抽取实体-关系-属性，构建知识图谱，并在此基础上发现"社区"(紧密关联的实体簇)，形成实体→关系→社区的三层索引结构。架构设计（微软开源方案）阶段关键操作输出索引阶段文本分块→LLM抽取实体/关系→生成社区摘要知识图谱 + 社区层级摘要查询阶段路由判断(Local/Global)→子图检索…

#美团#知识图谱#GraphRAG 架构

RAG 工作原理与核心组件

匹配正文：…方向：查询改写、重排序、多路召回 RAG核心架构：索引-检索-生成三阶段 1. 索引阶段（离线）文档切分：按语义/固定长度分块，chunk size通常256-512 token 向量化：用Embedding模型（如BGE、M3E、OpenAI text-embedding）将文本转为稠密向量索引构建：存入向量数据库（Milvus、Faiss、Pinecone），采用HNSW或IVF-PQ等近似最近邻算法加速检索 2. 检索阶段（在线）查询向量化：用户问题同样经Embe…

#百度#RAG核心组件#RAG 工作原理

RAG 工作流程与关键技术组件

匹配正文：…多格式，提取结构化文本文本分块（Chunking）：按语义或固定长度切分，通常512-1024 tokens，需保证语义完整性向量化（Embedding）：用BGE、M3E等模型将chunk编码为稠密向量索引存储：写入Milvus/Pinecone/Elasticsearch等向量数据库，可结合稀疏索引（BM25）做混合检索在线检索生成阶段查询理解：用户query可能需改写/扩展（HyDE、Query2Doc）向量检索：Top-K相似度召回，常用ANN算法（HNS…

#百度#RAG技术架构#RAG 工作流程

面试题·检索· 字节

RAG 架构：检索到生成全链路

匹配正文：… 步骤功能关键设计文档解析处理PDF/Word/网页等多格式保留结构信息（标题层级、表格位置）文本分块将长文档切分为chunk 策略：固定长度/语义分块/递归分块；chunk size通常256-512 tokens 向量化 Embedding模型编码为稠密向量选用领域适配的模型（如BGE、M3E）；考虑稀疏向量（BM25）做混合索引存储写入向量数据库 Milvus/Pinecone/Elasticsearch；构建HNSW索引加速ANN检索三、在线检索…

#字节#RAG组件设计#RAG 系统架构

面试题·检索· 字节

RAG 系统实现：组件与流程

匹配正文：答案要点清晰描述RAG的两大核心阶段（检索+生成）及数据流向说明索引构建的关键步骤（文档切分、向量化、存储）列举至少2种检索策略（如混合检索、重排序）及适用场景提及RAG的典型优化方向（查询改写、上下文压缩、多路召回）能指出实现中的常见陷阱（如切分粒度、语义漂移） RAG核心架构：两阶段流水线索引阶段（离线）文档处理：按语义/固定长度切分chunk，控制256-512 tokens，保留上下文重叠向量化：用Embedding模型（如BGE、M3E、OpenAI…

#字节#RAG系统实现#RAG 实现

RAG 检索器与生成器如何协同？

匹配正文：答案要点清晰描述RAG三阶段流程（索引-检索-生成）说明检索器核心组件（向量化、相似度计算、Top-K召回）解释生成器如何利用检索结果（上下文拼接、注意力机制）提及关键优化点（重排序、查询改写、多路召回）能对比Naive RAG与Advanced RAG的差异 RAG核心架构：两阶段流水线第一阶段：离线索引构建文档切分：按语义/固定长度分块，控制chunk大小（通常256-512 tokens） Embedding编码：用BGE、M3E等模型将文本转为稠密向量 …

#美团#RAG架构#RAG 系统架构

面试题·检索· 字节

RAG 技术实现怎么落地?

匹配正文：…G = 检索模块 + 生成模块，用外部知识弥补大模型参数知识的局限。 1. 索引阶段（离线）文档切分：按语义/固定长度分块，控制chunk大小（通常256-512 tokens）向量化：用Embedding模型（如BGE、text-embedding-3）编码为稠密向量存储：写入向量数据库（Milvus、Faiss、Pinecone），可叠加倒排索引做混合检索 2. 检索阶段（在线） Query改写：扩展、澄清用户问题，提升召回率相似度计算：余弦相似度/IP距离，To…

#字节#RAG应用场景#RAG 技术实现

#美团#Embedding检索#Embedding 相似性检索

Embedding 相似性检索怎么工作?

匹配正文：…块 → Embedding模型 → 向量 → 构建索引（HNSW/IVF-PQ）→ 存入向量库在线阶段：相似检索查询文本 → 向量化 → ANN搜索Top-K → 返回相似文档 ANN加速算法 HNSW：图索引，查询快、精度高，内存占用大，适合百万级 IVF-PQ：倒排+乘积量化，内存省、亿级规模，精度略降实际选型看数据规模和延迟要求 RAG中的关键作用作为召回环节，解决"找什么"的问题。检索质量直接决定生成上限，常见优化：query改写、混合检索（向量+关键词）、重…

向量检索基本原理是什么?

匹配口述回答：…间本身没把语义学好，再好的索引也只是更快地找错东西。这个点在 RAG 项目里特别常见。向量检索本质是语义匹配，用向量代替关键词向量化：用Embedding模型把文本转成向量索引构建：用ANN索引加速，重点讲HNSW 相似度计算：余弦与点积，归一化后等价完整链路与精度-速度权衡，给出可延伸点约4分钟向量检索效果差时，不要只调 HNSW 参数，要先检查 Embedding 质量和 chunk 质量。如何评估 Embedding 模型、如何做离线检索集、如何判断召回问…

#百度#向量索引#向量检索原理

RAG 向量索引构建流程详解

匹配题目：请详细说明在检索增强生成（RAG）系统中，从原始文档输入到向量索引构建的完整数据处理流程，包括文档清洗、文本分块、嵌入模型选择与向量化、向量存储及索引优化等关键步骤，并解释各环节的设计考量与常见实践。

#字节#文档处理#RAG 数据处理流程

RAG 数据处理与索引流程?

匹配正文：…与索引构建索引结构： HNSW：高召回、内存型，适合百万级 IVF+PQ：亿级规模、磁盘友好元数据设计：必须包含doc_id、chunk_index、source、timestamp，支持过滤查询性能影响：索引参数（efConstruction/M）直接决定召回率vs查询延迟的权衡系统级优化建议增量更新：避免全量重建，设计版本化索引切换机制多路召回：向量+关键词+结构化数据融合，索引层预构建倒排表监控闭环：记录"检索未命中→人工补充"的bad case，回流优化…

#字节#文档处理#向量检索

面试题·文档处理· 美团

RAG知识库构建流程详解

匹配口述回答：…分块]]特别重要。清洗的时候要小心，页眉页脚、页码这些噪声必须去掉，但别把关键信息也误删了。说白了，预处理的目标是让后续分块和[[向量化]]拿到干净的输入。接下来是文本分块，这是RAG里最关键的工程决策之一。固定长度切分与重叠窗口可以作为候选，但不能直接当成默认答案。我会比较多组 chunk size，以及无重叠、短重叠和较长重叠，在同一评测集验证边界召回、答案质量、索引体积和延迟。但固定长度对结构化文档比如合同或者论文就不够用了，这时候得用结构感知分块，按章节、条款边界来…

#美团#RAG 知识库构建#文档预处理

专业领域文档怎么清洗?

匹配口述回答：…展开，同形异义词根据上下文消歧。另外，结构化抽取也很关键，比如技术手册按章节、论文按IMRaD结构识别边界，这直接决定了后续 [[Chunk]] 的语义完整性。然后是分块策略，这块我倾向动态分块而非固定 token 数。固定切分容易把逻辑上完整的段落拦腰切断，导致检索时召回一堆碎片。我一般会结合语义边界，比如用 BERT 做分割点检测，或者直接利用文档原有的标题层级。对于表格，我通常整表保留，并附加表头元数据，因为单独切一行会丢失上下文。重叠窗口不能默认必加；我会把无重叠、…

#字节#RAG 文档清洗#文档预处理

面试题·评估· 淘天

RAG 怎么减少幻觉?

匹配正文：RAG的核心架构 RAG = 检索模块 + 生成模块的协同：检索：将查询向量化，从外部知识库召回Top-K相关文档增强：将检索结果与原始查询拼接，构建增强上下文生成：LLM基于增强上下文生成回答，实现"开卷考试" 三大核心价值的实现机制 1. 减少幻觉（Hallucination Reduction）问题根源 RAG解法参数化知识边界模糊，模型"自信编造" 检索提供显式证据，约束生成空间训练数据截止，知识过时接入实时/私有知识库，动态更新关键：生成时能看到"参…

#淘天#事实准确性#RAG 减少幻觉

面试题·知识图谱· 字节

RAG 技术原理和实现流程

匹配正文：…现流程 1. 离线知识库构建文档解析：PDF/Word/网页 → 文本块（Chunking，控制256-512 tokens）向量化：Embedding模型（如BGE、M3E）将文本转为稠密向量索引存储：写入向量数据库（Milvus/Pinecone/Elasticsearch） 2. 在线检索 Query向量化：用户问题同样编码为向量相似度搜索：ANN近似最近邻算法（HNSW、IVF），召回Top-K相关文档 3. 增强生成上下文组装：Prompt = 系统指令 …

#字节#检索生成流程#RAG 技术原理

RAG 完整工作流程怎么跑?

匹配正文：RAG完整工作流程 1. 查询理解与改写查询扩展：识别用户意图，必要时进行query改写（如多跳问题分解）向量化：将query编码为dense/sparse向量，用于相似度检索 2. 检索召回（多路并行）方式特点适用场景 Dense Retrieval 语义匹配，泛化性强同义改写、概念理解 Sparse Retrieval (BM25) 关键词精确匹配实体、专有名词混合检索两者加权融合通用场景召回Top-K（通常50-200），追求高召回率，允许一定噪声…

#美团#RAG全链路#RAG 工作流程

RAG 文档处理与检索策略怎么搭？

匹配口述回答：…档进来，得先解析，PDF、Word、网页这些格式不一样，表格和图片还得[[OCR]]。接下来是清洗，去噪、脱敏。最关键的其实是[[Chunk]]分块，怎么切直接决定检索质量。固定按512个字符切，简单但容易把语义切碎。我倾向用语义边界检测，按段落或标题层级来切，同时加一点[[滑动窗口]]重叠，保证上下文连贯。分完块之后做[[Embedding]]，把文本转成向量，存到[[Vector Database]]里，比如Milvus或者[[Faiss]]。在线检索的时候，光靠向量检…

#百度#RAG检索策略#RAG 系统架构