搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「向量化」找到 116 条内容
按专题浏览 →匹配正文:…ery Rewriting) 核心问题:用户原始query短、歧义、与文档表述不一致 技术 做法 HyDE 用LLM生成伪答案,再向量化检索 Query2Doc 生成伪文档扩展query Step-back 抽象出高层概念再检索 子查询分解 复杂query拆成多个子问题 历史上下文补全 多轮对话中补全指代消解 四、进阶优化 重排序(Rerank):Cross-encoder精排,如ColBERT、BGE-Reranker 迭代检索:根据中间结果动态调整query(IRCOT)…
匹配正文:…化必须实测,不保证<1%。 缓存策略:热点Query embedding缓存、结果缓存;预计算高频文档向量 批处理推理:Query向量化时合并请求,提升GPU利用率 四、工程架构优化 分片与分布式:按业务/时间分片,多副本负载均衡 硬件加速:GPU索引(Faiss-GPU)、专用向量数据库(Milvus/Zilliz) 流控与降级:超时熔断、降级为关键词检索兜底 关键权衡:精度vs延迟vs成本,需根据业务场景(C端延迟敏感/B端精度优先)动态调整。 参考资料 Faiss官方索…
匹配正文:…参数知识的局限。 1. 索引阶段(离线) 文档切分:按语义/固定长度分块,控制chunk大小(通常256-512 tokens) 向量化:用Embedding模型(如BGE、text-embedding-3)编码为稠密向量 存储:写入向量数据库(Milvus、Faiss、Pinecone),可叠加倒排索引做混合检索 2. 检索阶段(在线) Query改写:扩展、澄清用户问题,提升召回率 相似度计算:余弦相似度/IP距离,Top-K召回 重排序(Rerank):用Cross-E…
学习内容与项目面试,在同一条路上。