动态增量更新怎么防检索偏差?

这道题其实问的是，当知识库不断往里加新文档的时候，怎么保证检索质量不掉。核心矛盾在于，增量更新会破坏一个隐含的假设，就是查询和文档的[[embedding]]应该来自同一个分布。一旦这个假设不成立，检索偏差就来了。

具体来说，成因主要有几个。一个是模型版本漂移，比如你之前用旧版模型编码了十万篇文档，后来模型升级了，新文档用新版编码，两个向量空间根本不对齐，检索时近邻搜索就会乱。再一个是时间衰减，领域知识在变，同一个词含义可能不同了。还有就是索引碎片化，局部更新导致向量空间密度不均，搜索时出现断层。

那怎么缓解呢？常见的策略有几种，但各有适用边界。先说版本隔离，就是新旧文档分索引存，检索时多路召回再[[重排序]]融合。这个适合模型升级或者大规模更新，因为代价高，但效果稳。另一种是渐进式重嵌入，设定一个阈值，比如更新量超过30%就触发全量重计算，期间双索引并行。这个适合高频小批量更新，实时性好。还有分布对齐约束，就是增量文档用旧模型编码后，再经过一个线性变换映射到新空间，适合必须混存且资源受限的场景。

举个例子，企业知识库经常更新政策文档，比如退款规则变了。如果不做处理，用户查“退款”可能搜到旧政策。实际落地时，我一般不会只用一种策略，而是组合。比如先用版本隔离，把新政策单独建索引，同时后台用渐进式重嵌入，等新文档积累到一定量再全量重算。这样既保证了实时召回新政策，又避免了频繁重算。

这里有个坑，就是版本隔离虽然好，但前提是重排序模型要够强，如果Rerank模型不行，多路召回的结果可能反而更差。另外，渐进式重嵌入的阈值设多少很关键，设太小频繁触发全量计算，设太大新旧分布差异过大。我上线时会特别关注embedding空间中心偏移距离和查询-文档余弦分布的KL散度，一旦偏离超过阈值就告警。

所以我的倾向是，对于大部分业务场景，版本隔离加渐进式重嵌入是更稳妥的选择。版本隔离保证短期准确性，渐进式重嵌入保证长期一致性。同时我会保留最近N个版本的索引快照，支持分钟级回滚，万一新文档有问题能快速切回去。

其实还有一个方向值得深挖，就是当文档更新频率极高的时候，比如实时流式更新，上述策略可能都不够快。这时候可以考虑用双缓冲影子索引，写入时直接追加到活跃索引，后台异步重建另一个索引，原子切换。但这里面有个一致性挑战，就是切换期间正在进行的查询怎么处理，这个可以再展开讨论。

这个可延伸点会引向面试官追问：双缓冲索引的原子切换具体怎么实现，以及如何处理切换期间的查询一致性。