搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 实现」找到 347 条内容
按专题浏览 →匹配口述回答:这道题其实问的是,在[[RAG]]系统里,怎么把文档切成小块,既能保证检索的时候命中率高,又不让大模型拿到碎片信息瞎编。说白了就是精度和完整性的一个取舍。 先说最直接的方法,固定长度[[分块]]。按token或者字符数一刀切,实现简单,上线快。但问题很明显,可能一句话被拦腰切断,语义就断了。所以它适合ToC场景,比如商品搜索,用户只想要个价格或参数,上下文不完整问题不大。 反过来,语义分块是用[[Embedding]]相似度检测主题边界,块内语义完整。但计算成本高,而且依赖e…
匹配正文:…和较长窗口作为候选方案,在同一评测集上回放 作用:缓解答案跨越切分边界时的信息丢失 代价:重复索引会放大存储、召回冗余和重排成本 实现:记录每个chunk在原文中的起止位置与父级结构,便于合并、去重和溯源 向量化写入流程 原始文档 → 清洗(去噪/格式标准化)→ 结构化解析(提取标题/表格/代码块) ↓ 产生多组分块候选 → 在固定问题集上评测 → 生成chunk元数据(来源、位置、类型) ↓ Embedding模型编码 → 按实际显存、限流和失败重试能力确定批量大小 → 写…
匹配口述回答:…务场景来选。 先说三种核心策略,各有各的适用边界。固定长度分块最简单,按token数或者字符数一刀切,具体长度作为候选变量。优点是实现快、[[Embedding]]均匀、批量处理效率高。但缺点是它不管语义边界,可能一句话被拦腰切断,关键信息就丢了。所以它适合那种内容结构统一、长度一致的文档,比如日志或者固定格式的报告。递归分块就聪明一些,它先按段落切,段落太长再按句子切,句子还长才用固定长度兜底。这样尽量保住语义单元完整,但代价是块大小不均匀,短块信息密度低。语义分块更高级,…
学习内容与项目面试,在同一条路上。