搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「LLM 区别」找到 204 条内容
按专题浏览 →匹配口述回答:…就没辙了。所以我会把它当兜底策略,保证延迟可控,再往上叠其他方法。 然后是语义重写,这个就用上模型了。比如用户说「那个红色的」,用LLM或者T5这种模型改写,变成「红色连衣裙」,或者「苹果」这个词,根据上下文判定是手机还是水果。这个方法的优势是能处理口语化和不完整的Query,劣势是延迟高、成本高。所以我不会所有流量都走语义重写,而是只对长尾Query或者对话场景做重写,或者用个小模型先过滤一遍。 再一个就是对话历史融合,这个在[[RAG]]系统里特别重要。用户多轮对话里经常…
匹配口述回答:…-off,再加上后面还要做[[重排]],耗时很容易飙到几百毫秒。另一个是[[Agent]]的多轮调用,每次[[ReAct]]循环里LLM想一步、调一个工具,串行下来用户感知的延迟会累积。还有一个是生成阶段,上下文一长,[[KV Cache]]的计算量就上来了,首token延迟明显变高。 正确率这边,常见问题有三类。先说检索不准,用户的query和文档的表述往往有语义gap,比如用户问“退款多久到账”,文档里写的是“资金返回周期”,向量相似度高但语义不直接匹配。接着说上下文噪声…
匹配口述回答:这道题问[[RAG]]的架构和流程,其实本质是问你怎么把外部知识可靠地注入到大模型生成里,同时控制[[幻觉]]和成本。我理解RAG的核心就三个环节:先把知识切成块并[[向量化]]存起来,然后根据用户问题把相关的块捞回来,最后让模型基于这些块来回答。但真正落地的时候,每个环节都有很多坑要踩。 先说索引模块。[[分块]]这一步很多人随便按固定长度切,但实际业务里,比如客服退款场景,用户问的是“我退货了但没收到退款”,相关文档可能是一整段流程说明,如果切碎了,模型只拿到半截,答案就…
学习内容与项目面试,在同一条路上。