页面加载中…
搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Chunk 向量化」找到 50 条内容
按专题浏览 →匹配正文:…条链路要可评估、可追踪和可回滚。 1. 离线准备 解析并清洗文档,保留来源、版本、权限和时间等元数据。 按结构或候选分块策略生成 chunk,并维护到原文的映射。 用固定版本的 embedding 模型编码,建立向量、关键词或混合索引。 用标注查询集验证证据 Recall@K、重复率、过滤正确性和索引更新。 2. 在线检索 对用户问题做规范化、权限过滤和查询改写,再进行向量、BM25 或多路召回。候选可以通过 RRF、规则或 Cross-Encoder 重排。ANN 检索是近…
匹配口述回答:…核心就是给 LLM 配一个可检索的外部知识库,而不是靠它自己的参数硬记。 我先说完整流程,分三个阶段。索引阶段,离线把文档切成块,chunk 大小我一般控制在 256 到 512 tokens,太短缺上下文,太长噪声多。然后拿 [[Embedding]] 模型转成向量,同时把时间戳、来源、类别这些元数据也存下来。最后写入 [[Vector Database]],比如 Milvus 或者 ES,建 [[HNSW]] 索引。这一步有个坑:[[分块]]策略要跟下游任务对齐。如果是客…
学习内容与项目面试,在同一条路上。