搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Embedding 模型选择」找到 35 条内容
按专题浏览 →匹配题目:请详细说明在检索增强生成(RAG)系统中,从原始文档输入到向量索引构建的完整数据处理流程,包括文档清洗、文本分块、嵌入模型选择与向量化、向量存储及索引优化等关键步骤,并解释各环节的设计考量与常见实践。
匹配正文:…次化结构 先按章节,再按段落 滑动窗口 需要上下文连贯 比较无重叠、短重叠和较长重叠 关键细节:chunk size 必须低于实际嵌入模型的输入限制,并在同一评测集比较;过小可能造成语义碎片化,过大可能稀释关键信息。 二、嵌入模型选择 选型维度: 通用场景:sentence-transformers/all-MiniLM-L6-v2(轻量,384维) 中文场景:BAAI/bge-large-zh、智谱Embedding-2 领域适配:领域数据继续预训练或对比学习微调 优化技巧…
匹配正文:…界召回和成本 清洗降噪:去页眉页脚、统一编码、过滤低信息密度内容 元数据绑定:保留标题层级、来源URL、时间戳,用于过滤和重排序 嵌入模型选择 选型三要素: 维度 考量 语言 中英混合选bge-m3、gte-large;纯英文选text-embedding-3-large 上下文 长文档需≥8K上下文,否则先做摘要 领域 垂直领域用微调模型(如医学用PubMedBERT) 调用方式:优先用私有化部署(Xinference/TEI),API兜底 向量生成与优化 批量编码:bat…
学习内容与项目面试,在同一条路上。