页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「RAG 延迟」找到 334 条内容
按专题浏览 →匹配口述回答：…改写成本：用户 query 经常很短或者有歧义，比如“怎么退”，需要先让模型扩写成“退货流程是什么”，但这会多一次 LLM 调用，延迟和成本都要考虑。 其实 [[Naive RAG]] 和 Advanced [[RAG]] 的核心区别不在于索引，而在于检索策略。比如 [[Self-RAG]] 让模型自己判断是否需要检索、检索结果是否够用，不够就迭代检索多次。这个方向我觉得比单纯优化 Embedding 模型更有价值，因为它解决了“什么时候该查、查几次”这个根本问题。 所以整体…
匹配口述回答：…向量检索解决“找得快”，LLM解决“找得准”，两者互补。 还有个延伸点：如果业务对实时性要求很高，比如金融实时风控，LLM重排序的延迟可能成为瓶颈。这时候我会考虑用[[Cross-Encoder]]做轻量级重排，或者干脆把重排序和生成合并，用[[Self-RAG]]让模型自己决定要不要搜外部知识。 总的来说，我不会把RAG看成简单的“搜+读”，而是看作一个资源分配问题。向量检索做第一轮过滤，LLM做最终决策，中间用重排序或者生成来弥合相似度和相关性的鸿沟。 定位：RAG为什么…
匹配口述回答：这道题其实是在问，当大模型的知识储备不够用或者太旧的时候，我们怎么给它外挂一个知识库。说白了，[[RAG]] 的检索模块就是那个从外部知识库里捞相关信息的管道。 先看输入输出。输入是用户的 query，但注意，这个 query 可能会被改写或扩展，比如拆成子问题、加上历史上下文。输出呢，是 top-K 个文档片段，每个片段带着 doc_id、文本和相似度分数。这个分数很关键，后面生成模块会用。 检索本身分两大流派。先说[[稀疏检索]]，典型的就是 [[BM25]] 或者 [[…
学习内容与项目面试，在同一条路上。