匹配正文：改进方向应拆成四层 1. 融合架构统一/早期融合：把不同模态表示映射到同一 token 序列并联合建模，Chameleon 是有公开论文的例子；优点是跨模态交互充分，代价是序列长、训练昂贵。中间融合：视觉编码器加 projector、cross-attention 或 Q-Former，再连接语言模型。LLaVA-1.5 使用视觉编码器与 MLP projector；其预训练对齐阶段主要训练 projector，后续指令微调并非始终只训练这部分。晚期/工具融合：各模态模…

#模态融合#跨模态对齐#训练效率

面试题·项目与经历· 字节

大模型 vs 搜推小样本特征怎么融合?

匹配正文：分层融合而非让LLM替代整条搜推链保留结构化基线：类别、计数、价格、交叉特征和行为序列继续由GBDT、Wide&Deep、DCN或序列推荐模型处理；高维稀疏特征先做embedding、哈希或受控交叉。离线语义编码：用预训练语言模型编码query、商品、内容和用户文本，离线写入向量索引；双塔负责大规模召回，硬负样本和蒸馏提升领域适配。候选后重排：传统或双塔召回先缩小候选集，再让cross-encoder或LLM对小候选集重排、解释或抽取特征。通常不应先用昂贵LLM粗排全库…

#特征工程#迁移学习#多模态融合

面试题·Agent· vivo

全局规划+局部避障怎么融合?

匹配正文：核心思路：分层互补架构这种融合本质是时间尺度与信息特性的分层解耦，解决单一规划器无法同时满足"全局最优"与"实时避障"的矛盾。一、功能互补性分析维度全局路径规划局部避障信息来源先验地图（静态、完整、低频更新）实时传感器（动态、局部、高频流式）优化目标全局最优（最短/最快/能耗最低）局部可行（安全、实时响应）计算频率 1-10 Hz（重规划触发） 50-200 Hz（控制闭环）失效模式地图过时、动态障碍未建模局部最优陷阱、全局目标丢失互补逻辑：全…

第 1 / 11 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#vivo#Agent#全局路径规划

面试题·RAG· OPPO

搜索评分如何融合点击与停留?

匹配正文：整体框架采用 Learning to Rank 范式，将评分函数设计为两阶段：先分别建模相关性、用户满意度，再融合为最终分数。核心特征与建模特征类型具体指标建模方式相关性 BM25、语义相似度、标题/摘要匹配度独立子模型输出 S_{rel} \in [0,1] 点击率历史CTR、位置去偏后的CTR 用IPS或EM方法消除位置偏置用户满意度停留时长、跳出率、二次点击停留时长用对数变换：\log(1+dwell\_time) 归一化方法 Min-Max：适用…

#OPPO#评分函数归一化#Scoring Function 设计

面试题·检索· AIlab

RAG 流程：检索、融合、生成

匹配标题与标签：RAG 流程：检索、融合、生成检索增强生成各环节详解:检索、融合、生成检索 AIlab RAG工作流 RAG 技术流程检索增强生成实现 RAG 关键环节 AIlab

#AIlab#RAG工作流#RAG 技术流程

面试题·推理优化

Flash Attention 原理怎么理解?

匹配正文：…笼统写成 O(N²) 到 O(N)。训练与推理价值训练和 prefill 会处理多 token 的完整注意力，通常更容易受益于融合与少写 HBM。逐 token decode 已使用 KV Cache，shape、batch、GQA/MQA、量化和 kernel 启动都会影响收益。不能设定“序列超过某长度必加速”的通用门槛；应在目标 GPU、dtype、head dimension、mask、序列长度和 batch 上测吞吐、延迟、峰值显存及数值误差，并准备不支持 sha…

#Flash Attention#内存优化#注意力机制

项目实战·RAG

第 5 章:检索召回,混合检索(BM25 + 向量)

匹配正文：📊 学习时长:50-65 分钟 🎯 完成后能力:能亲手写出 BM25,讲清为什么要"向量 + 关键词"混合检索,以及分数怎么融合 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用纯 Python 实现关键词检索的标准算法 BM25,并看清它的强项和硬伤 ✓ 看懂关键词检索与向量检索各自解决什么问题,并用评估决定是否需要双路召回 ✓ 理解 BM25 相比 TF-IDF 强在哪(词频饱和、文档长度归一) ✓ 学会…

#RAG#检索#项目实战

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…向量检索适合用户换了一种说法的情况，例如用“如何推销保险产品”去找“保险销售技巧”。两路会先各找一批原文段落，再合并并重新排序。融合负责把两路结果放进同一份候选清单，重排负责再次比较问题与候选，把更能回答问题的内容放到前面。搜索前还要限定知识库、文档和可用状态，避免在错误资料中查找。验证时，我会固定同一批问题和正确原文，分别测试只用 BM25、只用向量、两者合并、合并后再重排，比较正确原文是否出现、排得是否靠前，以及无关和重复内容是否减少。这样可以看出变化来自哪一路，也能…

#RAG#检索与重排#RAG 混合检索

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…路；如果轮流抽一条，两个检索器贡献看似相同，却没有处理同一文档同时被两路命中的情况；如果直接把原始分数相加，又会遇到量纲不一致。融合的任务，是把多路候选整理成一张可供后续重排或生成使用的统一列表。它首先服务于“正确证据能否进入有限候选集”，其次才是列表内部顺序。加权求和到底在算什么最直观的融合公式是： final_score(d) = w_sparse × sparse_score(d) + w_dense × dense_score(d) 其中 sparse_scor…

#RAG#检索与重排#RRF

面试题·多模态· 小红书

多模态大模型面临哪些挑战?

匹配正文：…态冲突是另一类风险。图像、字幕和用户文字不一致时，模型可能偏向更强的文本先验。需要专门构造冲突样本，测模型是否指出差异，而不是强行融合。医学、身份和内容审核等高风险场景还要做权限控制、隐私处理和人工确认。系统侧也有成本约束。分辨率、帧数和视觉token增加会抬高prefill与显存，并不保证质量线性提升。我的验收会同时报告grounding、OCR、时序、事实支持率、拒答、延迟和成本。只有具体失败类型减少，才能说明数据、模型或工具方案真正有效。

#模态对齐#数据构建#推理一致性

面试题·多模态· 小红书

多模态大模型有哪些技术挑战?

匹配标题与标签：…大模型有哪些技术挑战? 模态对齐、数据构建、推理一致性与泛化能力分析多模态多模态对齐跨模态表示学习数据工程幻觉问题模态融合 2026真题多模态大模型挑战模态对齐多模态数据构建推理一致性多模态泛化多模态大模型小红书

#多模态对齐#跨模态表示学习#数据工程

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配标题与标签：…y Optimization 的算法定位、论文结论与适用边界 RLHF与对齐 GSPO 策略优化离线强化学习监督学习与强化学习融合策略正则化 2026真题 GSPO 与 PPO GRPO 区别 Group Sequence Policy Optimization GSPO vs GRPO 大模型强化学习强化学习与RLHF 美团

#GSPO#策略优化#离线强化学习

面试题·多模态· 快手

均匀采样vs关键帧如何影响模型？

匹配标题与标签：…如何影响模型？均匀采样 vs 关键帧提取，多模态任务中帧采样方法的影响多模态视频理解帧采样策略时序建模计算效率多模态融合 2026真题视频切帧策略帧采样方法多模态模型关键帧提取均匀采样多模态大模型快手

#视频理解#帧采样策略#时序建模

面试题·多模态· 得物

多模态异构数据怎么统一存储?

匹配正文：…独立索引，分别召回后做late fusion。独立索引分数没有天然共同标尺，需要分数校准、rank-based fusion或学习融合器，再交给reranker。调用层根据query模态、任务和权限选择encoder、索引与原始片段，并返回可追踪证据。版本升级要双写或重建索引，避免新旧embedding混用。

#多模态融合#特征对齐#向量数据库

面试题·多模态· 得物

多模态大模型怎么理解？

匹配正文：…r整理视觉特征，再由语言模型中的gated cross-attention读取，视觉和文本可保留不同表示空间。统一token/早融合：不同模态转为token后进入共同Transformer，但仍需位置、模态和对齐设计。 Qwen-VL论文描述分阶段的视觉语言预训练、多任务训练与监督指令微调，不能把监督指令数据直接称为人类偏好对齐。对GPT-4o等闭源系统只能引用官方披露能力，不能推断其从零端到端训练或内部连接方式。应用包括检索、问答、OCR、文档理解、视觉定位和Agent…

#多模态融合#视觉语言模型#对比学习

面试题·多模态· 得物

多模态大模型网络结构怎么搭?

匹配标题与标签：…-2/LLaVA为例,详解视觉编码器、Q-Former与LLM协作多模态视觉编码器投影层/连接器多模态对齐指令微调模态融合 2026真题多模态大模型结构 BLIP-2 Q-Former LLaVA 多模态大模型得物

#视觉编码器#投影层/连接器#多模态对齐

面试题·Agent· 高德

ReAct 框架核心优势在哪?

匹配标题与标签：ReAct 框架核心优势在哪? 对比纯提示工程,ReAct 如何融合推理与行动解决复杂任务 Agent 高德 Agent ReAct 框架 ReAct vs 提示工程 Agent 推理与交互高德

#高德#Agent#ReAct 框架

面试题·评估· 淘天

现代RAG架构有哪些改进?

匹配正文：核心差异：从"拼接"到"深度融合" 传统RAG是线性流水线：检索 → 拼接上下文 → 生成，三者独立优化。现代RAG的核心改进在于打破这种隔离，实现检索与生成的双向交互。架构层面的关键演进维度传统RAG 现代RAG 交互方式单向一次迭代/多轮交互检索决策固定策略自适应路由（何时检、检多少）优化目标分段优化端到端联合训练三类深度融合机制 1. 迭代式检索（Iterative Retrieval）生成过程中动态发现知识缺口，触发补充检索代表：IRCoT…

#淘天#评估与监控#RAG架构改进

面试题·评估· 字节

RAG 上下文不准确，如何用数据定位？

匹配正文：先冻结一个可回放请求保存查询、身份/租户、可见范围、原文与知识快照、解析/切分/嵌入/索引版本、各路候选、过滤原因、融合与重排结果、最终上下文和答案。没有相同条件，两次结果差异不能归因。涉及客户数据时先最小化和脱敏。沿上下文形成链逐层查原文：支持结论的资料是否存在、有效、未冲突且当前用户有权查看；解析与切分：标题、表格、页码、否定句、时间与父子关系是否保留；索引一致性：新增、更新、删除和权限变化是否已传播，各索引/缓存是否同版本；候选资格：服务端过滤是否漏掉正确资…

#RAG#上下文诊断#数据质量

面试题·知识图谱· 淘天

伪多模态与原生多模态差在哪?

匹配正文：… 联合向量 → 检索 → 多模态LLM生成本质：端到端的跨模态对齐，保留原始模态信息三维度对比维度伪多模态真多模态信息融合模态转换有信息损失（caption瓶颈）原始特征直接对齐，保留细粒度视觉信息模型架构解耦设计：视觉编码器+文本RAG+LLM三阶段统一架构：多模态encoder + 多模态LLM（如LLaVA、Qwen-VL）性能表现依赖caption质量，复杂图表/视频场景效果差；但工程成熟、成本低检索精度高，支持"以图搜文""以文搜图"；但…

#淘天#知识图谱#伪多模态RAG

面试题·知识图谱· 百度

GraphRAG 高质量召回的三项核心依赖

匹配正文：…度节点引爆结果。Local、Global 或其他路由只是候选策略，是否自动选择要由分类错误和端到端质量验证。 3. 图与原文证据的融合及评测图候选必须带回支撑它的文本片段。可使用规则、RRF、重排或分阶段查询融合图与文本，但方法和权重由标注查询集确定。全局报告回答宏观问题时也要保留可下钻证据；局部路径回答细节时要检查每条边。验收不只看 Recall@K，还要看 Precision@K、实体链接 top-k、关系方向/时间正确性、路径精确率、答案事实支持、无答案拒绝、ACL…

#百度#知识图谱#GraphRAG 精准召回

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：…码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+Transformer）检索策略早期融合：图文拼接后统一编码晚期融合：分别检索后加权融合 4. 适用场景文档智能：发票、合同、研报（ColPali优势）电商搜索：商品图+详情页联合检索医疗影像：影像+报告跨模态查询 5. 选型建议场景推荐方案追求效果上限端到端多模态Embedding 快速落地伪多模态+CLIP+重排序成本敏感视觉Caption+文本RAG 学习…

#淘天#多模态#多模态 RAG 架构设计

面试题·RAG· 淘天

RAG vs 传统检索生成怎么选?

匹配正文：一、架构设计差异维度传统"先检索后生成" RAG 流程关系流水线式分离：检索→拼接→生成，各模块独立优化端到端融合：检索作为可微分模块嵌入生成流程训练方式检索器固定或独立训练，生成模型无法反馈优化检索联合训练，生成loss可回传优化检索编码器知识存储检索结果作为硬提示（hard prompt）拼接检索向量通过注意力机制软融合（soft fusion）核心区别：RAG将检索从"前置预处理"转变为"模型内部运算"，典型如Dense Passage Retri…

#淘天#RAG信息融合#RAG与传统检索生成对比

面试题·RAG· 快手

LLM怎么融入推荐系统？意图理解与生成

匹配正文：…M编码item文本，替代或补充传统ID embedding，缓解冷启动用户侧：聚合用户历史行为的文本描述，生成动态用户画像向量融合方式：LLM特征与ID特征双塔并行，后期拼接或门控融合关键挑战：LLM特征维度高、推理慢，需蒸馏到轻量模型或离线预计算。二、用户意图理解：从匹配到推理传统推荐是"相关度匹配"，LLM可实现"意图推理"：场景传统方法 LLM增强搜索推荐关键词匹配语义改写、需求扩展（"平价手机"→"2000元档骁龙机型"）会话推荐序列建模多轮…

#快手#LLM推荐系统#LLM 推荐系统