搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Embedding检索」找到 476 条内容
按专题浏览 →匹配口述回答:…十个甚至上百个时,比如抖音电商场景,全量工具描述塞进prompt就不现实了,token太长,LLM也容易选错。这时候就需要引入工具检索机制,先根据用户问题检索出最相关的几个工具,再让LLM选。这个检索怎么做,是关键词匹配还是向量相似度,或者混合,就值得深入讨论了。 所以整体上,我更倾向把工具集设计看作一个持续迭代的过程,从粒度、schema、错误处理到扩展性,每一环都要根据实际业务场景和数据反馈来调整,没有银弹。 一句话定位:工具集设计本质是LLM与外部世界的接口规范 核心原…
匹配口述回答:这道题问的其实是,[[RAG]]系统里数据从原始文档变成能被检索的向量块,中间这个管道怎么设计才能保证质量,避免垃圾进垃圾出。我一般把数据清洗和文本[[切块]]放在一起考虑,因为这两步是连着的,清洗不好切块也跟着出问题。 先说数据清洗,核心就三件事。先说格式标准化,比如PDF转文本的时候,表格、标题这些结构标记要尽量保留,不然切块后语义就断了。再看噪声去除,像页眉页脚、页码、重复内容,还有低质量[[OCR]]出来的乱码,这些要过滤掉。还要看质量过滤,太短的片段,比如少于50个…
匹配口述回答:…只靠微调,你每改一次政策就得重训一次,根本不现实。 但RAG落地也有不少坑。前提是你的知识库质量得高。如果文档[[分块]]不合理,检索出来的片段牛头不对马嘴,模型再聪明也没用。常见失败场景是,用户问一个很具体的问题,比如“订单号12345的状态”,但你分块时把整个订单详情页当成一个大块,检索出来一堆无关信息,模型就糊涂了。所以我会特别关注Chunk策略,比如用语义切分而不是固定字数,或者用[[Parent Document]]保留上下文层级。另外,检索本身也不能只靠向量相似度…
按学习路线查看教程、项目和面试题。