搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 延迟」找到 334 条内容
按专题浏览 →匹配口述回答:…便审计和调试。但和微调比,RAG 不是万能的。微调适合让模型学会特定风格或复杂推理模式,比如把公司内部术语的表达方式固化下来;而 RAG 适合高频更新、需要引用外部事实的场景,比如客服的退款政策、电商的满减规则。真正落地往往是 RAG 加微调一起上,RAG 负责事实,微调负责表达。 不过 RAG 也有前提和风险。知识库本身的质量决定天花板,如果文档本身有错、过期、或者切分不合理,检索结果就会带偏模型。另外,检索延迟和精度要平衡,Top-K 取太多会让 Prompt 过长,影响…
匹配口述回答:…索是把用户的问题也转成向量,去库里找最像的那几段;生成是把这些段落塞进提示词,让模型基于它们回答。这里有个关键认知,检索质量决定了RAG的上限,生成质量决定了下限,所以我会把大部分精力放在检索上。 具体说下索引。文档切分不是随便按字数切,我会按语义段落,块大小与重叠窗口都作为候选变量,再用同一评测集比较边界证据完整率、召回、延迟和索引成本。向量库选型上,如果数据量上亿,我会用Milvus,它分布式做得成熟;如果是几百万级别的轻量场景,Qdrant更轻便,部署成本低。[[Emb…
这道题问的是[[RAG]]检索不准怎么办,在我看来,本质是两件事没对齐:一是信息源怎么拆和怎么标,二是匹配逻辑怎么调。拆得不对,后面怎么改都难。我从数据构建、检索优化和后处理三个角度讲一下我的做法。 先说数据构建。文档切分很多人直接按固定字数截断,但这对语义是破坏性的。我一般会按语义边界来切,比如标题、段落,还会加一个重叠窗口,保证上下文连贯。举个例子,处理客服退款政策文档时,我会把“退款条件”和“退款流程”作为两个独立块,但每块末尾带上下一块的标题,这样检索时不会漏掉跨块信…
学习内容与项目面试,在同一条路上。