匹配正文：…保留到观察期结束。同时搜索两版索引只适合作为明确设计的过渡方案：每个查询必须由对应版本编码，跨空间原始分数需要按版本校准或按名次融合。旧向量到新空间的映射或向后兼容训练可降低重算压力，但效果取决于配对数据和任务，不能假设一定有损或一定可替代重编码。迁移策略应按数据量、变更速率、算力和停机预算决定，而不是固定数量级阈值。验收应比较 Recall@K、NDCG/MRR、无结果率、P95 延迟和索引新鲜度。图解 Embedding升级后向量对齐方案图解

#抖音#向量检索#Embedding 升级

面试题·检索· 快手

LLM怎么融入推荐系统？序列建模与排序

匹配正文：…、推理成本爆炸摘要压缩 LLM先压缩历史为兴趣标签信息损失、压缩策略设计分层架构传统模型做短期，LLM做长期兴趣多源信息融合复杂快手场景：视频消费序列极长（数百上千），需结合SIM-style采样 + LLM语义理解 3. 召回/排序：生成式 vs 判别式生成式召回（如TIGER、P5）： LLM直接生成候选物品ID或描述优势：打通多任务、冷启动友好劣势：ID词典巨大时生成困难、推理慢判别式排序（更实用）： LLM作为特征交叉器，输出CTR预估分数典型：…

#快手#LLM推荐架构#LLM 推荐系统

面试题·检索· 字节

RAG 向量检索怎么高效召回?

匹配正文：…）、DiskANN（内存受限）参数调优：ef_search（搜索深度）、M（图连通度）与延迟的trade-off 3. 多路召回融合向量召回（语义相似） + 稀疏检索（BM25，关键词匹配） + 倒排索引（结构化过滤） → 线性加权或Learned Sparse Retrieval（如SPLADE）融合关键影响因素层级核心因素典型问题表示层 Embedding质量领域术语理解差、长文本截断、多语言对齐索引层分块策略块过大（粒度粗）、块过小（上下文断裂）、…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#字节#向量数据库召回#RAG 向量检索

面试题·检索· 字节

Embedding + 向量数据库怎么搭?

匹配正文：…制深度）可选：重排序（Cross-Encoder精排）提升精度四、生产优化要点混合检索：向量相似度 + BM25关键词召回，融合排序（RRF算法）量化压缩：裸向量每维FP32/FP16/INT8为4/2/1字节，总索引另计元数据与结构；INT8需校准，目标Recall/MRR与长尾质量变化要实测，不承诺固定<2%。增量更新：避免全量重建索引，使用HNSW的动态插入特性学习建议建议系统学习该知识点参考资料 Faiss官方内积、余弦与L2关系 DPR原论文的成对查…

#字节#Embedding向量检索#Embedding 向量数据库

面试题·检索· 小红书

中文知识库检索选型

匹配正文：…商搜索） BM25为主语义理解优先（问答、客服）稠密检索+微调通用场景 Hybrid：BM25召回+稠密向量重排，或两路召回融合小红书UGC场景的特殊性：内容口语化、多模态（图文），稠密向量建议用对比学习微调，负样本采"难负例"（同batch其他样本+BM25高分离散样本）。学习建议建议先掌握信息检索基础，再深入学习稠密与稀疏检索模型原理及典型实现。

#小红书#稀疏与稠密检索#中文知识库检索选型

面试题·检索· 百度

向量召回原理与实现?

匹配正文：…量压缩4-32倍，降低内存和IO 缓存策略：热点查询结果缓存，高频向量常驻内存混合检索：向量召回 + BM25关键词召回，RRF融合排序 RAG场景关键点召回率优先：宁可多召不能漏召，靠后续重排序精排延迟敏感：通常P99控制在100-200ms内动态更新：增量索引更新避免全量重建

#百度#向量召回#向量召回原理

面试题·检索· 字节

向量检索加速：有哪些陷阱

匹配正文：答案要点向量索引选型与优化（HNSW、IVF等）多路召回与融合排序 Embedding模型优化与量化缓存策略与预计算硬件加速与分布式部署检索模块性能优化的核心策略一、索引层优化向量索引选型：以Flat作精确对照，把HNSW、IVF与量化组合列为候选；规模之外还要看维度、内存预算、过滤/更新、质量门槛和实测延迟，不能只凭百万/亿级决定。参数调优：HNSW检查M、构建efConstruction与查询efSearch；IVF扫描nlist/nprobe并核查训练样…

#字节#检索性能优化#向量检索性能优化

面试题·检索· 字节

RAG检索质量差：Embedding与Rerank调优

匹配正文：…成：HyDE 用模型生成假设答案再检索查询分解：复杂问题拆成子查询分别检索 2. 检索侧增强混合检索：向量+关键词 BM25 融合，互补长尾和精确匹配多路召回：不同 embedding 模型、不同切分粒度并行召回粗排→精排：先用轻量模型快速筛选，再用 Cross-Encoder 精排 3. 文档侧处理动态上下文压缩：用 LLM 提取关键片段，去除冗余元信息过滤：按时间、来源等标签预过滤索引优化：调整 chunk 大小和重叠策略，关键信息不截断 4. 重排序与过滤…

#字节#检索故障诊断#检索质量优化

面试题·检索· 安克科技

RAG 知识库怎么存?

匹配正文：…/关键词索引，用于混合检索分层索引：热点数据内存HNSW + 冷数据磁盘索引生产实践：90%场景用向量+关键词混合检索（RRF融合），纯向量检索在专有名词、ID查询上效果差。

#安克科技#向量数据库选型#RAG 知识库存储

面试题·检索· 安克科技

RAG 向量匹配怎么高效实现?

匹配正文：…robe 控制候选范围。 PQ/IVF-PQ：对向量子空间量化以减少存储和带宽，但会引入距离误差。混合架构：热冷分层、稀疏与稠密融合、过滤后检索都必须在目标数据上验证，不能用固定规模规则代替基准测试。更新与一致性索引记录 embedding 模型、维度、归一化、语料和权限版本。新增可进入 delta 索引，查询合并 base 与 delta；删除使用 tombstone 并按策略重建。新旧 embedding 不能直接混搜，切换要双读、回放和原子发布。假设实验从 F…

#安克科技#ANN性能权衡#RAG 向量匹配

面试题·模型训练· 网易

SFT 置信度下降影响

匹配口述回答：…准确率曲线，冻结温度和阈值后再到独立测试集验收。【验证补充】还应检查类别概率是否被后处理改写，例如业务先验校正、阈值映射或多模型融合。校准集必须与最终测试集分开，避免反复调温度后把测试集也变成训练信号。先区分置信度、准确率与校准核对数据先验和标签类型检查损失、正则与优化配置排除推理和 softmax 实现问题按诊断结果选择校准或重训 30秒速答 + 90秒主答 + 完整展开概率变平可能是校准改善，也可能是能力退化，只有准确率与概率指标联合评测才能区分。可继续追…

#模型校准#标签平滑#温度缩放

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配追问：…RT-LLM 与 TGI？层层追问模型、硬件、上下文和并发不固定时能直接排名吗？……PagedAttention、连续批处理和融合 kernel 分别解决什么？……模型/量化支持矩阵与维护状态怎样进入决策？直球技术请在同模型、同硬件、同长度分布和同质量门槛下，对比 vLLM、TensorRT-LLM、TGI 的 TTFT、TPOT、吞吐、尾延迟、内存与模型支持，并给出选型流程。

#vLLM#TensorRT-LLM#推理引擎

面试题·模型架构· 海尔

LayerNorm 如何控制激活尺度?

匹配口述回答：…视觉、音频和文本的尺度可能不同，常见做法是在各自编码器或投影层使用独立的 LN、RMSNorm、可学习 scale 或门控，然后做融合。是否共享归一化，要看模态对齐、梯度平衡和下游质量的消融。结论是：LayerNorm 提供尺度控制和更好的优化条件，但它没有 IID 假设，也不是解决所有梯度问题的万能开关。还要区分梯度范数本身和有效参数更新。Adam 会按一阶、二阶矩缩放梯度，同样的 raw gradient 在不同层不代表同样更新幅度。因此诊断时把 update-to-w…

#Layer Normalization#梯度稳定#训练收敛

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配追问：…还是尝试其他PEFT方法？在实际业务中，你如何快速判断是LoRA本身的问题还是基础模型能力瓶颈？你遇到过LoRA模块与原始模型融合后出现性能下降的情况吗，如何解决？场景切入假设你在做一个电商客服的意图分类任务，用LoRA微调一个7B模型，训完后发现准确率只比基座高了2个点，你第一反应会去查哪些地方？层层追问 LoRA微调后效果不好，一般怎么排查？……先看训练损失？……如果损失降不下去呢？……那假如损失正常但评测差，可能是什么原因？直球架构请从数据、超参数、架构适…

#LoRA#参数高效微调#故障排查

面试题·RLHF与对齐· 美团

Agent 工具调用奖励设计

匹配口述回答：…奖励模型结合使用，手工规则兜底，奖励模型处理模糊地带。面试官可能会追问RLHF中奖励模型的过优化问题，或者手工规则与学来奖励如何融合、冲突时怎么仲裁。

#奖励函数设计#强化学习#Agent训练

面试题·多模态· 快手

固定间隔vs关键帧怎么选？

匹配口述回答：…文字或细微操作反而可能很重要，因此不能只按运动量决定价值。学习式重要性采样让模型预测哪些帧或片段对摘要、分类或问答最有用。它可以融合视觉、字幕和音频，但需要与目标任务匹配的训练信号，并可能把训练数据偏见带入选择。任务感知采样更进一步，根据用户问题、目标对象、ASR文本或检索query先找相关片段，再在局部增加帧数，适合长视频问答，但前置检索漏召回后，后面的多模态模型无法补救。实际系统常做分层组合。先低频均匀扫描保证全局覆盖，再检测镜头或候选事件，对候选区域加密采样；同时保…

#视频理解#时序采样#关键帧提取

面试题·多模态· 百度

MoE 专家网络怎么动态路由?

匹配口述回答：…要监控每个专家的激活比例、路由熵和分噪声桶损失，并在确实需要时加负载均衡约束。多模态条件也可以参与路由，例如文本条件向量或跨模态融合后的共享特征。不过我要强调，不能直接把CLIP向量范数叫作语义复杂度，也不能据此断言复杂语义一定要调用更多低噪专家。这类内容特征只能作为候选设计，必须通过消融来回答：加入之后，在相同计算预算下，质量有没有提高，专家利用是不是更合理。专家结构上，我会从共享大部分backbone、只拆部分block开始，避免参数量直接翻倍。所谓高噪阶段偏全局结构…

#扩散模型#MoE#噪声调度

面试题·模型架构· 美团

Transformer 架构核心组件原理

匹配口述回答：…k和cross-attention mask也要按各自语义组合，不能用一个“掩码”笼统带过。工程实现还需考虑KV cache、算子融合和并行切分。输出层通常把decoder隐藏状态投影到词表logit，输入embedding与输出权重可以共享，但并非所有实现都必须共享。训练还要用目标padding mask排除无效loss。讲整体架构时把表示层、堆叠块和任务头分开，才能避免把某个现代模型的具体选择误当成Transformer定义。从原始encoder-decoder总图开…

#Transformer#自注意力机制#位置编码

面试题·模型架构· 字节

Multi-Head Attention 维度变化

匹配口述回答：…每个头的维度Dh等于D除以H，所以初始化时必须检查D能被H整除。Q、K、V可以用三个线性层，也可以像代码里一样用一个输出三倍维度的融合线性层；两者在数学上等价，融合只是常见工程实现。做完投影后，我把结果从B、L、三倍D reshape成B、L、3、H、Dh，再调整轴得到Q、K、V各自的B、H、L、Dh。接着计算Q乘K转置，分数形状是B、H、L、L，再除以根号Dh。这个缩放不是为了改变表达能力，而是控制点积的方差，避免维度较大时softmax输入幅值过大、梯度过早饱和。如果…

#多头注意力#Transformer#注意力机制

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配追问：…布偏移问题具体指什么？有哪些缓解方案？ GRPO在DeepSeek-R1中的具体应用和效果？如果让你设计一个新的对齐算法，会考虑融合三者的哪些特性？场景切入假设同一任务既有离线偏好对，也能为在线生成结果计算标量奖励。请分别设计 PPO、GRPO 与 DPO 的训练输入和更新流程，并比较资源与风险。层层追问 PPO 的策略、价值函数与奖励怎样配合？……GRPO 怎样去掉独立 critic？……DPO 如何利用 reference policy 和偏好对？……它们在 ro…

#RLHF#PPO#DPO

面试题·项目与经历· 美团

面试反问环节怎么准备?

匹配口述回答：…史做上下文检索，同时Agent能根据当前状态调用不同的工具或API。我觉得真正落地的难点在于怎么把[[ReAct]]框架和检索结果融合，让模型既能依赖知识库的事实，又能自主规划下一步动作。举个例子，比如用户问“我上周的退款怎么还没到”，系统需要先通过[[Self-RAG]]判断是否需要检索订单信息，然后调用客服工单API，最后生成回复。这里面每个环节的置信度都要有兜底机制，不然容易放大[[Hallucination]]。再一个，大模型在智能客服或推荐解释场景里，最大的技术瓶…

#面试技巧#职业规划#团队文化

面试题·Agent· 百度

Agent模块协作机制与失败场景

匹配口述回答：…。整体分层循环架构感知模块做结构化输入规划模块用ReAct循环记忆模块分三层并设重要性评分行动模块的工具调用与异常处理融合RAG作为工具之一约4分钟生产级 Agent 是受控自治，LLM 负责规划建议，但状态机、权限和工具系统负责执行边界。记忆、RAG 和实时工具结果冲突时怎么裁决，写操作如何防止越权和误执行。

#百度#Agent#Agent 系统架构

面试题·Agent· 小红书

新用户冷启动推荐如何设计？

匹配追问：…Agent来控制推荐策略？直球架构请系统阐述生成式推荐系统对新用户的冷启动策略，从模型架构、内容生成、探索-利用平衡、辅助信息融合以及RAG或Agent结合这几个方面，给出设计方案。

#推荐系统#冷启动#探索利用

面试题·Agent· 高德

Agent记忆分层与RAG检索

匹配口述回答：…率下降，可引入图结构显式存储实体关系来提升关联记忆的召回。面试官可能会追问图结构的具体实现方式，比如如何构建图谱、如何与向量检索融合，以及维护图的一致性成本。

#高德#Agent#向量检索