搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「延迟」找到 588 条内容
按专题浏览 →匹配口述回答:…向量检索解决“找得快”,LLM解决“找得准”,两者互补。 还有个延伸点:如果业务对实时性要求很高,比如金融实时风控,LLM重排序的延迟可能成为瓶颈。这时候我会考虑用[[Cross-Encoder]]做轻量级重排,或者干脆把重排序和生成合并,用[[Self-RAG]]让模型自己决定要不要搜外部知识。 总的来说,我不会把RAG看成简单的“搜+读”,而是看作一个资源分配问题。向量检索做第一轮过滤,LLM做最终决策,中间用重排序或者生成来弥合相似度和相关性的鸿沟。 定位:RAG为什么…
匹配口述回答:…Faiss]]、Milvus 这些。索引结构我重点说两个:[[HNSW]] 和 [[IVF-PQ]]。HNSW 是图索引,检索快,延迟低,但吃内存,适合几百万级别的场景。IVF-PQ 呢,先用 [[IVF]] 做粗聚类缩小范围,再用 [[Product Quantization]] 压缩向量,对磁盘更友好,但召回率会掉一点。上线前我会做压力测试,看延迟和召回率的 trade-off。如果 QPS 要求高,我会倾向 HNSW;如果数据量上亿又不想堆内存,那就 IVF-PQ。 现…
匹配口述回答:…识库频繁更新,或者查询高度依赖精确匹配,我会搭配关键词或者甚至用微调模型。上线前我会特别关注召回率指标,比如Recall@K,还有延迟,确保在用户容忍范围内。如果效果不行,优先查分块策略和Embedding模型是否匹配领域,而不是盲目调参数。 本质定位:端到端语义匹配 流程拆解:离线分块+向量化,在线检索+重排 落地优化:混合检索、领域微调、效率取舍 风险与边界:分块策略、模型失配、上线校验 约4分钟 分块策略(滑动窗口+重叠)对召回质量的影响,以及存储和计算的权衡 面试官可…
按学习路线查看教程、项目和面试题。