搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Embedding Rerank」找到 298 条内容
按专题浏览 →匹配口述回答:…取决于你切出来的块是不是既独立又完整。 先说最直接的固定长度分块,按多少 token 或者字符数硬切。这个方案好处是简单、快,[[Embedding]] 批量处理效率高,而且能精确控制上下文长度。但它有个硬伤,就是边界可能把一句话或者一个逻辑单元从中间切断。举个例子,如果一篇文档在讲「深度学习的优化方法」,其中一句刚好被拦腰截断,那检索时返回的片段可能就变成了「深度学习的优化」,意思就偏了。所以它只适合文档结构松散、对语义完整性要求不高的通用场景,比如新闻聚合或者日志检索。如…
匹配口述回答:… token,语义完整但噪声多,适合摘要或分析。具体用多大,得看下游任务和[[Embedding]]模型的最大长度。比如text-embedding-ada-002虽然支持8191 token,但有效信息往往在前512,切太大反而浪费。 实际工程里,我通常不会只用一种策略。比如处理企业SOP文档,我会先用结构化分块按章节切,再对每个章节用语义分块按段落切,这样既保留了文档结构,又保证了段落语义完整。检索时粗排用大块保召回,精排用小块保精准,配合[[Rerank]]效果更好。 …
匹配口述回答:…会导致检索结果碎片化,生成阶段拼起来容易 [[Hallucination]]。块太大又会让检索结果模糊,召回一堆不相关的。我会根据Embedding输入限制、文档结构、查询类型和LLM上下文预算提出多组块大小候选,再以评测结果选择。上线我会特别关注块大小的分布,如果发现很多块长度差异过大,比如有的20 tokens有的500 tokens,那就要调整递归的层级参数。 其实还有一个方向值得深挖,就是分块策略怎么和 [[Rerank]] 配合。比如语义分块切出来的块,有时边界还是…
学习内容与项目面试,在同一条路上。