均匀采样vs关键帧如何影响模型？

视频切帧的目标，是在有限视觉token和计算预算内保留与任务相关的时序证据。均匀采样覆盖全局时间轴，适合事件分布较均匀的概览；随机或分段随机采样在训练中增加多样性；固定间隔便于流式处理；场景切换、运动强度或事件检测可以把预算集中在变化区域。

关键帧并不天然优于均匀采样。场景切换适合镜头级摘要，却可能漏掉同一镜头内的短动作；按运动强度采样会偏爱快速变化，也可能忽略静态文字和细微状态。业务先验可以参与采样，例如已知事件大多出现在某阶段，但必须明确它只对对应产品和数据成立。

选择方案要看任务时间尺度。视频分类可能需要全局覆盖，动作定位需要更密的局部片段，OCR与操作步骤要保留清晰帧和顺序，长视频问答还要支持根据问题二次检索。不能给视觉token与文本token固定比例，也不能把某个帧数当通用配置。

帧越多并不保证时序越准。新增帧会提高编码、prefill和显存成本，也可能引入冗余，让模型更难定位关键证据。若模型没有合适的时间位置编码或训练数据覆盖，简单堆帧甚至可能降低效果。分辨率、帧数、压缩质量和采样位置需要联合考虑。

工程上我会建立相同视频集合，对不同帧预算和采样策略测目标任务指标、关键事件遗漏率、端到端延迟、显存与吞吐。还要按视频长度、镜头数、运动速度和文字密度分桶，避免平均分掩盖某类失败。训练和推理采样分布也不能差得过大。

如果固定预算下仍会漏掉短事件，可以使用粗到细流程：低成本全局扫描，基于问题、场景或运动候选选择局部片段，再用高分辨率编码。是否采用要和单阶段基线比较。最终选的是质量延迟曲线上的合适点，而不是依赖前三秒或固定帧数的经验口号。

图解

放大查看图解 ↗