搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG Chunk」找到 134 条内容
按专题浏览 →匹配正文:…与索引构建 索引结构: HNSW:高召回、内存型,适合百万级 IVF+PQ:亿级规模、磁盘友好 元数据设计:必须包含doc_id、chunk_index、source、timestamp,支持过滤查询 性能影响:索引参数(efConstruction/M)直接决定召回率vs查询延迟的权衡 系统级优化建议 增量更新:避免全量重建,设计版本化索引切换机制 多路召回:向量+关键词+结构化数据融合,索引层预构建倒排表 监控闭环:记录"检索未命中→人工补充"的bad case,回流优化…
匹配正文:…/段落边界切分 递归分块 长文档层次化结构 先按章节,再按段落 滑动窗口 需要上下文连贯 比较无重叠、短重叠和较长重叠 关键细节:chunk size 必须低于实际嵌入模型的输入限制,并在同一评测集比较;过小可能造成语义碎片化,过大可能稀释关键信息。 二、嵌入模型选择 选型维度: 通用场景:sentence-transformers/all-MiniLM-L6-v2(轻量,384维) 中文场景:BAAI/bge-large-zh、智谱Embedding-2 领域适配:领域数据…
匹配口述回答:这道题我觉得本质上不是在问流程,而是在问你怎么在检索质量、存储成本和响应延迟之间做取舍。搭建[[RAG]]知识库,我一般会按预处理、[[分块]]、[[向量化]]、索引构建、检索优化这几个环节来走,但每个环节都有很多坑,我重点说几个。 先说文档预处理。这一步核心是格式解析和清洗。比如PDF,如果是文本型的,用PyPDF2或者python-docx直接提取就够;但如果是扫描件,那就必须走[[OCR]],我会用PaddleOCR或者EasyOCR。这里有个坑,OCR识别率不是100…
学习内容与项目面试,在同一条路上。