搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「评测集」找到 109 条内容
按专题浏览 →匹配正文:… 长文档 计算开销大 结构感知(按段落/标题) 技术文档/论文 依赖解析质量 重叠策略:把零重叠、短窗口和较长窗口作为候选,用同一评测集验证是否真的改善跨边界证据召回 性能影响:块过小→检索碎片化;块过大→Embedding稀释、召回噪声 4. Embedding生成 模型选择:通用场景用BGE/M3E,垂直领域需微调(如法律/医疗) 批处理优化:GPU并行、动态长度填充 质量验证:抽样人工评估语义相似度,监控离群点 5. 向量存储与索引构建 索引结构: HNSW:高召回、内…
匹配正文:…量化流程 核心步骤 Chunk策略:先按语义段落和结构边界切分,再把多组固定长度与重叠窗口作为候选;由模型输入限制、文档结构和同一评测集上的证据完整率、召回与成本决定 嵌入模型编码:将文本映射为稠密向量(通常768或1024维) 索引构建:选择ANN算法(HNSW、IVF-PQ等)建立可高效检索的数据结构 二、常用嵌入模型对比 模型 特点 适用场景 OpenAI text-embedding-3 语义质量高,API易用,按token计费 快速验证、中小规模、预算充足 BGE/…
匹配正文:…度、递归切分与语义分块作为候选,按段落或句子保留边界 块大小权衡:太小丢失上下文,太大引入噪声 将无重叠、短重叠和较长重叠放进同一评测集,比较边界召回与冗余成本 2. Embedding模型选择 通用场景:BGE、GTE、E5系列 垂直领域建议微调,使用领域语料对比学习 多语言场景需确认模型跨语言对齐能力 3. 向量数据库核心配置 参数 作用 典型设置 索引类型 HNSW(高召回)vs IVF(快建索引) HNSW,ef_construction=200 距离度量 余弦相似度…
按学习路线查看教程、项目和面试题。