长序列行为数据怎么处理?

这个问题本质上是在问，当用户历史行为太长，比如几千次点击浏览，我们怎么从海量噪音里捞出真正有用的信号来驱动生成式推荐。我的核心思路就是分层记忆加动态压缩。说白了，不同时间跨度的行为，信息密度不一样，得分开处理。

具体说一下。短期行为，比如最近一两天的，实时性要求高，对当前意图影响也直接，我一般直接用 [[滑动窗口]]，保留最近N条，比如50条或者100条，再早的直接丢掉。这个简单高效，但长期兴趣就靠它不行。长期的话，我会用两种手段配合。一种是 分层摘要，定期用轻量模型，比如T5-small，把用户过去一个月的浏览历史压缩成兴趣标签，比如'美妆穿搭''数码评测'，而不是存原始item ID。另一种是向量检索，把所有历史行为[[embedding]]化，存到 [[HNSW]] 索引里，等需要的时候，用当前query去检索最相关的Top-10。这其实有点像 [[RAG]] 的思路，只不过检索的是用户自己的历史。

这里有个边界划分，你得想清楚：短期行为适合用滑动窗口保实时性，长期行为适合用摘要加向量检索保容量和灵活性。但真正落地，往往是两者混着来。举个例子，在小红书这种场景，用户刷了三个月，浏览记录几万条。我会这样搭：热记忆保留最近一天的所有行为，全量放进prompt；冷记忆把更早的历史按周做摘要，同时向量化存起来，按需检索。这样既保证了实时反馈，又不丢失长期偏好。

但这里有个坑，就是摘要的质量。如果你压缩得太狠，比如把一个月的浏览缩成三个标签，可能会丢掉细粒度的兴趣变化。所以前提是你的摘要模型得足够好，而且要做在线评估，比如定期用摘要回放历史行为，看召回率有没有掉。另外，实时性也是个挑战，新发布的笔记得在几分钟内进入用户记忆。我会给冷记忆建一个增量更新通道，新行为先进热记忆，再异步写入向量索引。还有一个常被忽略的点是负信号，比如曝光但没点击的记录，它们其实很重要，能反映用户不喜欢什么。我会在采样时给负样本一定权重，不能全丢了。

说到这个，我最近在思考一个问题：当用户行为包含[[多模态]]内容，比如图文和视频混在一起，怎么把它们映射到统一的embedding空间里？直接用 [[CLIP]] 可能不够精细，但专门训一个多模态行为模型成本又太高。这块我还在看，感觉是线上效果的一个瓶颈。

所以整体上，我更倾向一个混合架构，短期靠滑动窗口保障实时性，长期靠向量检索加摘要控制成本和容量。它不是一个固定的方案，而是根据业务场景动态调整各个模块的比例。比如电商场景，短期行为权重可以更大；内容平台，长期兴趣摘要可能更重要。核心就是分而治之，别想着用一个方法搞定所有。