面试题 · 多模态大模型
你更倾向于从事多模态大模型还是纯文本大模型的研究或开发？请说明你的兴趣来源和技术考量。
这是一道职业取向题，没有“多模态一定更先进”或“纯文本已经没有空间”的标准答案。我的选择应由三类证据决定：目标岗位真实处理什么输入与输出，我过去在哪类任务上投入最多，以及我能否用一个项目证明自己理解数据、模型和评测，而不只是会调用现成接口。
如果目标是短视频理解、直播内容治理、商品图文检索或视频问答，我会倾向多模态；如果目标是代码、搜索、Agent、文档处理或语言推理，纯文本模型仍可能是更直接的主线。具体岗位边界要以公开职位说明和面试信息为准，不能把一家公司的内部数据规模、训练计划或技术路线当成已知事实。
| 维度 | 纯文本模型 | 多模态模型 |
|---|---|---|
| 输入与证据 | 文本、代码、结构化数据和工具结果 | 还要处理图像、音频、视频、空间与时间证据 |
| 主要难点 | 数据质量、推理与工具使用、长上下文、事实支持和服务成本 |
按学习路线查看教程、项目和面试题。
| 在上述问题之外增加感知、细粒度 grounding、模态冲突、采样与视觉 token 成本 |
| 常见架构 | Decoder-only、检索或工具增强 | Dual encoder、projector/Q-Former、cross-attention 或统一 token 等多种路线 |
| 评测 | 任务正确率、证据支持、工具执行、安全、延迟和成本 | 还要分开测 OCR、空间关系、计数、时序、区域/帧证据和缺失模态 |
多模态不要求所有特征天然处于同一空间。CLIP 的双塔对比学习建立可比较的全局图文表示；Flamingo 用 cross-attention 读取视觉 memory；LLaVA 类模型可用 projector 把视觉特征接入语言模型。不同结构的信息带宽、训练范围与成本不同，不能用“对齐”一个词概括全部问题。
纯文本能力也不是只剩边际优化。模型质量仍会受数据、训练目标、推理时计算、检索与工具、评测和系统实现影响；是否出现收益递减必须绑定具体模型、数据和计算预算。多模态同样不会因为输入更丰富就自动获得推理能力，视觉信息还可能带来噪声、提示注入、隐私和许可风险。
我会先说明自己的真实倾向，再给一项已完成证据。例如选择多模态时，可以做一个视频问答原型：保留均匀采样基线，对比镜头感知采样，要求答案返回帧时间戳，并报告关键事件召回、事实支持率、视觉 token、P95 延迟和失败样本。选择纯文本时，也应给出同样可复现的 RAG、Agent 或代码任务评测。
最后给出学习缺口：多模态方向需要补视觉编码、视频时序、数据许可与成本评测；纯文本方向需要继续补训练、检索、工具权限和可靠性。职业选择的说服力来自岗位匹配、项目证据和清楚的取舍，不来自把某条路线描述成终局。
场景切入
假设你在两个岗位方向中选择：一个聚焦纯文本模型，另一个聚焦图文视频多模态模型。你会怎样结合自己的真实兴趣、能力证据、技术成熟度和落地空间做决定？
层层追问
你真实投入最多的是文本还是多模态？……两条路线各自的主要技术挑战是什么？……哪些能力可以迁移，哪些需要补齐？……你会用什么项目验证自己的选择？
直球技术
说明你对多模态大模型与纯文本大模型方向的倾向，并从兴趣来源、技术判断、能力匹配和学习计划给出证据。
这道题没有“多模态一定更先进”的标准答案。我会先看岗位真实处理什么输入和输出，再看自己的项目证据。如果岗位围绕短视频理解、直播治理、商品图文检索或视频问答，我会倾向多模态；如果任务主要是代码、搜索、Agent、文档处理或语言推理，纯文本模型可能是更直接的主线。最终还要以公开职位说明和面试信息为准，不能替公司断言内部数据规模、训练计划或技术路线。
技术上，两条路线共享很多基础：Transformer、数据治理、训练与推理优化、检索工具、安全和评测。多模态在这些问题之外，还要解决图像或视频感知、区域与词语的细粒度 grounding、时间顺序、模态冲突和视觉 token 成本。纯文本系统则更集中在语言与代码任务、长上下文、事实支持、工具执行和服务成本。这些都仍有大量工程和研究空间，不能简单说纯文本的 Scaling Law 已经走到尽头。
我也不会把多模态对齐理解成所有特征必须先进入完全相同的空间。CLIP 用双塔和对比学习得到可比较的全局图文表示；Flamingo 让语言模型通过 cross-attention 读取视觉 memory；LLaVA 类系统可用 projector 接入视觉特征。它们的信息流、可训练参数和成本不同。多一种模态也不会自动带来推理能力，反而会增加采样遗漏、噪声、隐私和提示注入风险。
面试里我会用一项真实项目证明选择。例如做视频问答，我会保留均匀采样基线，再比较镜头感知采样；答案必须返回支持它的帧时间戳，同时报告关键事件召回、事实支持率、视觉 token、P95 延迟和失败样本。这样能证明我理解的是完整链路，而不只是把视觉编码器接到模型接口。
最后我会诚实说明缺口。选择多模态，需要继续补视觉编码、视频时序、数据许可和成本评测；选择纯文本，也要补训练、检索、工具权限和可靠性。我的倾向可以明确，但理由应来自岗位匹配、个人投入和可复现证据，不能靠“AGI 终局”或“另一条路线没有前途”来支撑。