匹配正文：… → 按语义切块（医疗按就诊流程切，法律按争议焦点切）领域Embedding微调用领域语料（PubMed/裁判文书）继续预训练BERT，或基于LLM构造对比学习数据关键：术语对齐，如"心肌梗死"和"MI"需映射到同一向量 2. 检索策略：多路召回+精排召回通道适用场景实现稠密向量语义相关、同义表达微调后的Embedding+Faiss/Milvus 稀疏向量（BM25）精确匹配、专有名词 Elasticsearch 知识图谱实体关系、推理查询实体链接+…

#字节#医疗法律 RAG 合规追溯#医疗和法律 RAG 怎么做安全合规与证据追溯

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配正文：…异构数据，让大模型能基于多源证据进行推理和生成。关键差异对比阶段传统文本RAG 多模态RAG 检索文本Embedding（BERT/Sentence-BERT）→ 相似度匹配跨模态统一嵌入（如CLIP视觉-语言对齐）→ 任意模态query检索任意模态doc 生成纯文本上下文输入LLM 多模态编码器（如ViT+LLM连接器）将图像/视频转为token序列，与文本拼接输入核心变化：检索侧打破模态壁垒，生成侧让LLM"看懂"多模态内容。主要技术挑战异构数据处理：图…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#快手#多模态#多模态 RAG

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：…）；图表类需解析为结构化数据版面分析 LayoutLM、YOLO等检测文档结构，建立阅读顺序 2. 向量化策略分离编码：文本走BERT/Embedding模型，图片走Vision Encoder，各自建索引，检索时做 late fusion 联合编码：用多模态模型（如CLIP、Qwen-VL）生成统一向量，单索引检索混合方案：表格存结构化文本+截图双向量，问答类图片存OCR文本+视觉向量 3. 检索与生成检索阶段：Query可能需模态扩展（文本Query→检索相关图片…

#小鹏#多模态#RAG 表格处理

面试题·多模态· 哔哩哔哩

RAG意图识别原理与检索协同

匹配正文：…中，它能减少无关检索并执行路由策略。实现方式规则与结构化信号：关键词、实体、会话状态、产品入口，延迟低且可解释；监督分类器：BERT 等编码器输出意图与置信度，适合稳定且有标注的类别体系； LLM 结构化路由：用 schema 约束输出 intent、index、filters、need_retrieval，适合开放表达，但要验证格式、成本和提示注入风险；混合路由：高置信规则或分类器直达，低置信样本交给 LLM 或安全兜底。阈值应从校准曲线和误路由代价确定。多标签、…

#b站#意图识别与检索路由#RAG 意图识别

面试题·检索· 字节

医疗法律 RAG 架构关键环节

匹配正文：… 二、检索器设计（多路召回+精排）召回层向量检索：领域微调Embedding（如医疗用PubMedBERT，法律用Legal-BERT）关键词检索：BM25 + 领域同义词扩展（UMLS/法律术语库）图谱检索：Neo4j存储"疾病-症状-药品"或"法条-案例-解释"关系精排层交叉编码器（Cross-encoder）做相关性打分引入时效性衰减因子：score_final = score_semantic × λ^(当前日期-发布日期) 三、生成器优化领域适配基…

#字节#领域RAG架构#专业领域 RAG

面试题·检索· 字节

RAG 中 Re-ranking 怎么用?

匹配正文：…回率，用ANN快速过滤第二阶段：追求准确率，用重排模型精细打分常用重排模型类型代表模型特点 Cross-Encoder BERT-reranker、monoT5 query和doc拼接输入，注意力层充分交互，效果最好但慢 Late Interaction ColBERT、ColBERTv2 保留token级向量，延迟交互，效率与效果平衡轻量重排 MiniLM、蒸馏版边缘部署， latency敏感场景实际落地要点截断策略：重排输入不宜过长，通常对doc做滑动窗…

#字节#重排与优化#RAG Re-ranking

面试题·检索· 字节

RAG 为什么需要 Rerank?

匹配正文：…/医疗领域的相关性定义）易于集成多特征（时效性、权威性、用户偏好）典型方案 Cross-Encoder：精度最高，计算开销大（BERT类模型） ColBERT：Late Interaction平衡效率与效果 LLM-as-Reranker：直接用大模型判断相关性（成本更高，用于关键场景）

#字节#Rerank模型#RAG Rerank

面试题·检索· 字节

两阶段检索 vs 直接重排?

匹配正文：…排序（Rerank）百~千级候选重型、精准（如Cross-Encoder）精细排序，用复杂交互计算最终相关性重排序模型（如BERT-based Cross-Encoder）需要query和document拼接后过Transformer，计算复杂度O(n)，无法承受直接扫描百万级文档的延迟和成本。架构优缺点优点效率可控：召回阶段毫秒级响应，重排阶段只处理小候选集精度可扩展：重排序能捕捉细粒度语义交互（如query词与doc的精确匹配）灵活解耦：可独立优化召回策…

#字节#两阶段检索#RAG 重排序

面试题·检索· 虾皮

RAG 流程优化：检索与重排陷阱

匹配正文：…个核心环节，每个环节的优化策略如下： 1. 文档预处理与分块核心问题：分块粒度决定语义完整性和检索精度优化策略：语义分块：用BERT等模型识别主题边界，而非固定长度层次结构：保留文档层级（标题-段落-句子），支持多粒度检索元数据增强：添加时间、来源、类别等标签用于过滤 2. Embedding与向量化核心问题：领域适配和表征质量优化策略：领域微调：用对比学习在业务数据上微调Embedding模型多向量表征：一个文档生成多个向量（摘要、关键词、详细内容）稀疏…

#虾皮#RAG全链路优化#RAG 流程优化

面试题·检索· 字节

领域 RAG 架构如何控幻觉?

匹配正文：…按条款边界切分，避免"第X条"跨块断裂二、检索优化混合检索方式实现适用场景稠密向量领域微调Embedding（如法律BERT）语义相似、概念匹配稀疏向量 BM25 + 法条编号精确匹配条款号、关键词命中知识图谱实体链接（当事人-案由-法条关联）复杂关系推理查询侧优化意图识别：区分"法条查询"/"类案参考"/"流程咨询" 查询扩展：用LLM生成同义表述（如"工伤认定"→"职业病鉴定"）重排序交叉编码器精排（如法律领域微调的ColBERT）时效…

#字节#专业领域RAG#领域 RAG 架构

面试题·检索· 字节

Embedding 怎么实现语义召回?

匹配正文：…型训练方式。学习建议建议先掌握向量嵌入和余弦相似度的基本概念，再结合RAG架构理解检索流程，通过动手实践使用Sentence-BERT等模型进行文本编码和相似度计算来加深理解。参考资料 Faiss官方度量与归一化 Faiss官方索引、增量与存储 Sentence Transformers官方向量量化 IRCoT原论文:多步推理与迭代检索

#字节#向量语义召回#Embedding 语义召回

面试题·检索· 美团

混合检索为什么优于单一检索?

匹配正文：…query最明显，长尾query仍需稀疏兜底。学习建议建议先掌握向量空间模型与词袋模型基础，再学习BM25和Sentence-BERT等典型算法，通过动手实现简单检索系统加深理解。

#美团#稀疏稠密检索#混合检索策略

面试题·检索· 小红书

BM25 vs 向量检索 vs 混合检索怎么选?

匹配正文：…i)+k1*(1-b+b*dl/avgdl)) 本质是精确关键词匹配，对高频词有惩罚，对文档长度做归一化向量检索（稠密检索）用BERT等编码器将查询和文档映射到同一语义空间通过余弦相似度或点积计算语义相关性能捕捉同义词、上下位词等语义关系，如"苹果手机"≈"iPhone" 混合检索并行执行BM25和向量检索，结果融合（常用RRF倒数排序融合或加权求和） RRF公式：score = Σ 1/(k + rank_i)，k通常取60，对排名敏感而非绝对分数关键维度对比 …

#小红书#检索方法对比#BM25 向量检索混合检索

面试题·检索· 字节

召回模型怎么搭建?

匹配正文：…oling或Transformer压缩，避免长序列直接输入 Item塔物品ID、类目、标签、文本/视觉内容内容特征需预训练（如BERT、CLIP），保持与User塔维度一致关键权衡：ID特征记忆性强但泛化差，需配合属性特征缓解长尾问题。 2. 模型选型基础版：MLP双塔，结构简单、推理快进阶版：User侧加Transformer建模行为序列，Item侧保持轻量（物料更新频繁，需快速推理）损失函数：Sampled Softmax或Cosine + Margin Lo…

#Tiktok#负采样与向量索引#召回模型搭建

面试题·检索· 美团

稀疏稠密与混合检索

匹配正文：…相关性优势：精确匹配能力强、可解释性好、无需训练、对关键词敏感稠密检索（Dense Retrieval）原理：通过编码器（如BERT、双塔模型）将文本压缩为低维稠密向量。维度通常 256-1024，向量稠密相似度度量：余弦相似度或点积，衡量语义空间中的距离优势：语义泛化能力强，能处理同义词、改写、跨语言等语义匹配为何采用混合检索？场景稀疏检索稠密检索专业术语/ID/人名 ✅ 精准 ❌ 可能失配语义改写/口语化查询 ❌ 字面不匹配 ✅ 语义捕获长尾低频…

#美团#稀疏稠密检索#稀疏稠密与混合检索

面试题·检索· 美团

Embedding 相似性检索原理与索引构建

匹配正文：…中的最近邻搜索，把"找相似文本"转化为"找相近向量"。三个关键环节 1. 向量化（Representation）用预训练模型（BERT、Sentence-BERT、OpenAI API等）将文本编码为稠密向量关键特性：语义相近的文本在向量空间中距离近（"king - man + woman ≈ queen"）维度通常 384/768/1536 维，需根据业务精度和性能权衡 2. 索引构建（Indexing）暴力搜索O(N)不可接受，需近似最近邻（ANN）索引：算法…

#美团#Embedding相似性检索#Embedding 相似性检索

面试题·检索· 百度

向量召回原理与实现?

匹配正文：…采用分片、量化、缓存等工程优化 RAG中需平衡召回率与延迟向量召回核心流程 1. 向量嵌入（Embedding）用预训练模型（BERT、Sentence-BERT、OpenAI Embedding等）将文本编码为稠密向量关键：语义相似的文本在向量空间中距离相近维度通常 256-1536 维，需权衡表达能力与存储成本 2. 相似度计算余弦相似度：衡量向量夹角，归一化后等价于内积欧氏距离：适合语义空间均匀分布的场景实际系统常做向量归一化，将相似度搜索转为最近邻搜索 …

#百度#向量召回#向量召回原理

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配口述回答：…种整数位宽、Apple Silicon、x86、CUDA、HIP、Vulkan 等后端，也列出了 Mistral、Mixtral、BERT、Qwen、Gemma 等大量架构。它适合本地、CPU、混合卸载或资源受限环境，但不意味着所有模型和服务器负载都比 GPU 专用引擎快。基准必须统一。先固定完全相同的模型权重或可对齐的量化权重、提示与输出长度、batch 策略、并发、硬件功耗限制和质量阈值。接着测冷启动、TTFT、TPOT、每秒 token、P50/P95/P99、峰值显…

#vLLM#TensorRT-LLM#推理引擎

面试题·模型架构· 海尔

Encoder vs Decoder 功能区别?

匹配口述回答：…轴比较：信息可见范围、是否存在cross-attention、输出接口以及训练和推理的并行方式。这样既能解释机器翻译，也能准确区分BERT、T5和GPT类模型。服务实现还会影响接口。Encoder-decoder可以复用不变的源侧memory，并缓存目标侧K/V；decoder-only则把条件与输出放在同一因果上下文。输入输出长度比例不同，会改变缓存、批处理和延迟，因此结构选择还要结合真实工作负载。 Encoder同样需要padding mask，必要时还会有任务mask…

#Seq2Seq#Encoder-Decoder#Transformer

面试题·模型架构· 海尔

Encoder vs Decoder 核心区别?

匹配追问：为什么现在大模型多为Decoder-only架构？Encoder-only（如BERT）和Decoder-only（如GPT）各适合什么场景？Transformer中编码器和解码器的注意力机制有何具体差异？场景切入假设你要做一个翻译系统，比如把英文邮件自动翻译成中文。你会怎么设计编码器和解码器的结构？它们各自负责什么，有什么区别？层层追问你理解序列到序列模型吗？……编码器和解码器在机器翻译里分别做什么？……那它们的注意力机制有什么不同？为什么解码器要用因果掩码？直球…

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·推理优化· 阿里

PyTorch 计算图怎么支持自动微分?

匹配追问：…传播？静态计算图（如TensorFlow 1.x/JAX）在分布式训练和大模型场景下有哪些天然优势？场景切入假设你在训练一个BERT分类模型，正向传播算loss，反向传播算梯度。能跟我讲讲PyTorch底层是怎么知道每个参数该更新多少的吗？层层追问你用过PyTorch训练模型吧，反向传播的梯度是怎么自动算出来的？……那它内部是怎么记录运算步骤的？……如果我想自己定义一个有特殊梯度的操作，怎么扩展它？直球架构请解释PyTorch的计算图机制，包括autograd如…

#自动微分#计算图#动态图

面试题·评估· 字节

判别式转生成式哪种方法更优?

匹配追问：在分类任务上，为什么有时候BERT+分类头反而比生成式方法更稳定？如果让你设计一个通用框架来统一处理这两种范式，你会怎么设计？实际业务中，你如何判断某个任务是否值得从判别式迁移到生成式？场景切入假设你在做一个智能客服，需要把订单查询、退换货分类这些判别式任务都转成生成式。比如情感分析，你直接用prompt写模板，还是微调个指令模型？你觉得哪种做法在多数任务上更靠谱？层层追问你一般怎么把分类或抽取这类判别任务转成生成式？……那不同方法性能差别大吗？……有没有哪种方法…

#判别式转生成式#Prompt工程#指令微调

面试题·模型训练· 百度

LoRA 低秩分解的数学原理是什么?

匹配追问：…RA模块如何合并或切换？实际部署中怎么处理？场景切入假设你做一个电商客服的意图分类模型，老板说只能加一小点参数微调，不能动整个BERT。你怎么在只训练几千个参数的情况下，让模型快速适应新的退款场景？层层追问你平时怎么微调大模型的？……如果直接把增量权重ΔW拆成两个小矩阵，你觉得理论上讲得通吗？……那这两个矩阵的维度怎么设计，才能保证训练开始时模型输出不变？直球架构请从数学原理和结构设计上解释LoRA，说明它怎么通过低秩分解减少参数量，以及相比全量微调在显存、存储、…

#LoRA#参数高效微调#低秩分解