匹配正文：…idden state h_i。线性层把 h_i 映射为每个标签的 emission logits/scores，不是彼此独立且已归一化的 P(y_i|x)。线性链 CRF 再引入标签转移分数 A_{y_{i-1},y_i}。一条标签序列的总分为 emission 分数之和加 transition 分数之和： score(x,y)=sum_i emission_i(y_i)+sum_i A[y_{i-1},y_i] 训练最大化正确序列的条件对数似然，分母用 forward …

#BERT#CRF#命名实体识别

面试题·RLHF与对齐· 快手

PPO vs GRPO vs DPO 原理区别?

匹配正文：…的outcome supervision。论文还给出process supervision版本，将各推理步骤的奖励按组均值和标准差归一化，并让token advantage取后续步骤归一化奖励之和。后续实现若改用排名、leave-one-out baseline或不同KL估计，应明确标为变体，不能回写成原始GRPO定义。它降低了价值模型的成本，但组大小、奖励方差、答案重复和零方差组都会影响信号；组内归一化也不会自动修正错误奖励。 DPO来自一个带 KL 正则的奖励最大化目标以…

#RLHF#PPO#DPO

面试题·Agent· 字节

Attention 在 Agent 多轮对话有哪些局限?

匹配正文：…gent多轮对话中，工具调用记录、观察结果、用户偏好等快速填满窗口，触发截断或滑动窗口遗忘 2. 历史信息稀释效应 Softmax归一化使Attention权重随序列长度增加而趋于平均化，早期关键信息（如任务目标、已确认的用户约束）被"淹没" 实验观察：超过20轮后，首轮系统指令的Attention权重常降至1%以下 3. 关键记忆选择性遗忘缺乏显式的"重要性标记"机制，Agent可能遗忘：已调用的工具结果、用户明确纠正过的错误、长期任务中的中间约束导致重复查询、矛盾回复…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#淘天#Agent

面试题·文档处理· 百度

RAG ANN 索引优化

匹配正文：…始向量、cross-encoder 或任务分数精排，以较小在线成本恢复部分精度。表示与分块：选对 embedding、距离函数和归一化方式；文档分块应通过查询集验证边界与重叠。领域微调、多向量表示只有在评测改善时采用。工程维护：分片与副本、冷热分层、批量写入、删除墓碑与周期压缩、索引版本化和原子切换。高选择性过滤要评估 pre-filter 与 post-filter 的召回和延迟差异。量化节省多少内存取决于原始精度、码本和元数据；DiskANN 也不只用于某个固定数量…

#百度#文档处理#RAG ANN 索引优化

面试题·文档处理· 字节

Embedding 模型选型 vs 落地流程?

匹配正文：…叠和较长重叠，验证边界召回与冗余成本特殊处理：代码按函数/类分割，Markdown按标题层级分割向量化批量推理，GPU加速归一化向量（便于余弦相似度计算）元数据关联 { "vector": [...], # 稠密向量 "sparse_vector": {...}, # 可选，BM25权重 "metadata": { "doc_id": "xxx", "chunk_index": 3, "source": "技术规范_v2.pdf", "timestamp": "20…

#字节#Embedding 模型选型#RAG 向量化流程

面试题·文档处理· 安克科技

RAG向量化：分块与Embedding

匹配正文：…入模型的选型原则与主流方案（OpenAI、BGE、M3E等）文本分块的核心策略（固定长度、语义分块、递归分块等）及边界处理向量归一化的作用与L2归一化实现余弦相似度的数学原理与计算优化 ANN近似最近邻算法（HNSW、IVF等）的应用场景一、嵌入模型选型场景推荐方案特点通用中文 BGE-large-zh、M3E-base 开源、可私有化部署多语言 E5-multilingual、OpenAI text-embedding-3 跨语言检索能力强垂直领域领域…

#安克科技#RAG 向量化#Embedding 模型

面试题·文档处理· 安克科技

RAG文本向量化：分块与嵌入陷阱

匹配正文：答案要点分块策略的设计原则与粒度控制 Embedding模型的选型依据（中英双语、领域适配）向量维度与归一化的影响稠密向量与稀疏向量的混合方案实际落地中的质量评估方法完整流程概述 1. 文档预处理与分块策略粒度选择：按语义段落、结构边界、固定长度滑动窗口和句子级别提出候选关键参数：chunk_size与overlap都是候选变量，结合文档结构、模型输入限制和同一评测集上的召回、证据完整率与成本决定边界优化：优先在标点、段落处切割，避免句子中途截断 2. Emb…

#安克科技#RAG 文本向量化#分块策略

面试题·评估· 高德

多工具评分排序机制

匹配正文：…用embedding模型计算工具描述与任务query的余弦相似度历史绩效滑动窗口统计近N次调用的成功率，引入时间衰减成本项归一化后的延迟/费用，作为负向惩罚 2. 模型化打分（进阶）训练轻量级工具路由模型（如LoRA微调的BERT）：输入：任务上下文 + 候选工具元信息输出：各工具的概率分布优势：可捕捉"隐式偏好"，如特定场景下优先选内部API 关键优化策略动态置信度校准新工具采用乐观初始化（给予较高先验分），加速冷启动引入汤普森采样：在探索（试用新工具…

#高德#Agent#智能体工具选择

面试题·模型微调· 字节

RAG Embedding 模型怎么选?

匹配正文：…疗、法律）：检查领域术语的编码质量，必要时用领域数据微调 5. 工程兼容性输出维度：常见768/1024维，需与向量数据库匹配归一化：是否输出单位向量，影响相似度计算方式（cosine vs dot）快速验证方法用业务真实Query-Document对，计算Top-K召回率和MRR，比榜单指标更可靠。

#字节#向量检索#RAG Embedding 选型

面试题·知识图谱· 百度

GraphRAG vs 传统 RAG 优势在哪?

匹配正文：…力单跳，表面关联多跳，因果链条四大机制解析 1. 知识结构化建模将非结构化文本抽取为实体-关系-属性三元组同一实体跨文档归一化，消除指代歧义关系类型显式定义（如"因果关系"vs"相关关系"） 2. 语义关联发现向量检索找"相似"，图遍历找"关联" 支持多跳路径检索：如"李彦宏→百度→文心一言→Agent能力" 关系权重量化关联强度，过滤噪声边 3. 上下文连贯性利用社区检测（如Leiden算法）识别主题簇生成阶段按图拓扑组织上下文：先全局摘要→再局部细节避…

#百度#知识图谱#GraphRAG 优势

面试题·RAG· OPPO

查询文档相关性怎么算?

匹配正文：…级联。一、关键词匹配：经典但有效 BM25 是工业界标配，核心思想：词频饱和度：TF 增长边际递减（用 k1 控制）文档长度归一化：避免长文档占优（用 b 控制） IDF 惩罚常见词 score = Σ IDF(q_i) · [f(q_i,D)·(k1+1)] / [f(q_i,D) + k1·(1-b+b·|D|/avgdl)] 局限：词汇鸿沟、"苹果"歧义无法区分。二、语义匹配：跨越词汇鸿沟稠密向量检索（Dense Retrieval）查询和文档分别编码为向量…

#OPPO#查询文档相关性#语义匹配

面试题·RAG· OPPO

搜索排序中时效性特征量化方法

匹配正文：…。常用量化方法 1. 绝对时效性特征方法公式/说明适用场景时间差 now - publish_time 基础特征，需配合归一化指数衰减 score = e^(-λ·Δt) 新闻、热点，衰减快 Sigmoid衰减 score = 1/(1+e^(k(Δt-t₀))) 有一定保鲜期的内容（如评测）周期性特征提取小时、星期、是否节假日捕捉周期性用户行为 2. 相对时效性（意图感知） Query时效性分类：用模型判断query是否含时效意图（如"最新"、"2024"…

#OPPO#时间衰减#时效性特征设计

面试题·RAG· OPPO

排序模型初始权重怎么设?

匹配正文：…主观性强 2. 统计启发法分析历史点击数据，计算各特征与CTR的相关系数作为初始权重参考对特征做min-max或z-score归一化，消除量纲影响 3. 参数搜索法网格搜索/随机搜索：在验证集上遍历权重组合贝叶斯优化：用高斯过程建模权重-NDCG的关系，高效采样 4. 轻量模型法用少量标注数据训练线性模型或GBDT，输出特征重要性作为权重或训练Pointwise/Pairwise的Learning to Rank模型关键细节问题做法特征冲突引入位置偏置消…

#OPPO#排序初始权重#排序模型权重设定

面试题·检索· 字节

RAG检索质量提升5法

匹配正文：… query drift。 2. 检索中：多路召回与排序 BM25 擅长字面、实体和编号匹配，稠密向量擅长语义近似，可用 RRF、归一化加权或学习排序融合。随后只对有限候选使用 Cross-Encoder 等重排模型。具体候选数由 Recall、nDCG、吞吐和延迟预算决定，不使用固定通用值。 3. 检索后：上下文选择对候选做权限和元数据过滤、去重、证据片段抽取、上下文压缩与排序，保留引用关系。块大小和压缩策略取决于文档结构、查询类型与模型窗口，不能用统一的 256/102…

#字节#重排与优化#RAG 检索质量提升

面试题·检索· 高德

记忆型Agent为何用向量数据库?

匹配正文：…向量高效检索策略两阶段检索架构粗排（向量相似度）：HNSW索引快速召回Top-K（K=50~100）距离度量：余弦相似度（归一化后）或点积阈值过滤：低于0.7的直接丢弃精排（重排序）：交叉编码器（Cross-encoder）：精度高但慢，用于Top-20重排轻量方案：ColBERT late interaction 或学习排序模型关键优化时间衰减：相似度分数 × exp(-λ×时间差)，优先近期记忆实体预过滤：先用关键词/NER匹配缩小候选集，再向量检…

#高德#Agent#向量数据库 Agent

面试题·检索· 网易

BM25+向量+Cross-Encoder 怎么组合?

匹配正文：…重与排名融合 ↓ Cross-Encoder 重排小候选集 ↓ Top-K 三类组件的分工 BM25：利用词项匹配、IDF 和长度归一化，擅长专有名词、编号、短语和必须字面命中的查询；速度取决于索引、语料与部署，不能称为“零延迟”。向量召回：用 embedding 表达语义相似，能补充同义改写和字面不重合的结果，但可能弱化精确实体或数值约束。 Cross-Encoder：联合编码 query-document，通常能刻画更细的交互相关性，但每个候选都要前向计算，只适合重排有…

#网易有道#BM25向量Cross-Encoder#BM25 向量召回 Cross-Encoder

面试题·检索· 美团

混合检索怎么提升 RAG 召回?

匹配正文：…盖，而不是保证每个查询都优于单路。两类检索与分数 Sparse/BM25 基于倒排索引，对查询词的 IDF、文档内词频饱和和长度归一化加权。分数受实现、语料统计和查询长度影响，没有可跨系统直接比较的固定尺度。 Dense/DPR 类双塔分别编码 query 和 document，再用点积、余弦或距离检索。点积同时受方向和模长影响；向量做 L2 归一化后，点积排序与余弦排序等价。模型质量取决于训练域、负样本和文档切分。融合与评估可对两路候选取并集去重后用 RRF 按名次融…

#美团#混合检索#混合检索 Hybrid Retrieval

面试题·检索· 字节

Embedding 怎么实现语义召回?

匹配正文：…T8）、索引分区、缓存热点查询领域适配 Embedding微调、Hard Negative Mining 余弦相似度的选择逻辑归一化后等价于点积，计算高效对向量长度不敏感，适合语义匹配（关注方向而非幅度）替代方案：欧氏距离或内积；内积本身不要求归一化，只有用它模拟余弦时需把query和document两端单位化。度量应匹配模型训练方式。学习建议建议先掌握向量嵌入和余弦相似度的基本概念，再结合RAG架构理解检索流程，通过动手实践使用Sentence-BERT等模型进…

#字节#向量语义召回#Embedding 语义召回

面试题·检索· 美团

混合检索为什么优于单一检索?

匹配正文：…为低维稠密向量，通过向量相似度召回。常用相似度度量：方法公式特点余弦相似度 cos(θ) = A·B/(‖A‖‖B‖) 归一化后只关注方向，适合语义匹配点积 A·B 保留模长信息，训练时更稳定欧氏距离 ‖A-B‖ 对向量尺度敏感，较少直接用特点：语义泛化能力强，支持同义词、跨语言需要大量数据训练，冷启动和分布外query效果差依赖ANN索引（HNSW、IVF）加速，内存占用高适用：开放域问答、对话系统、语义搜索等需要理解意图的场景。美团场景的实际选型…

#美团#稀疏稠密检索#混合检索策略

面试题·检索· 小红书

BM25 vs 向量检索 vs 混合检索怎么选?

匹配正文：…*(k1+1)) / (f(q_i)+k1*(1-b+b*dl/avgdl)) 本质是精确关键词匹配，对高频词有惩罚，对文档长度做归一化向量检索（稠密检索）用BERT等编码器将查询和文档映射到同一语义空间通过余弦相似度或点积计算语义相关性能捕捉同义词、上下位词等语义关系，如"苹果手机"≈"iPhone" 混合检索并行执行BM25和向量检索，结果融合（常用RRF倒数排序融合或加权求和） RRF公式：score = Σ 1/(k + rank_i)，k通常取60，对排名…

#小红书#检索方法对比#BM25 向量检索混合检索

面试题·检索· 美团

混合检索为什么用 Sparse+Dense?

匹配正文：…档中，向量极度稀疏（维度=词表大小）相似度度量：BM25 score（基于TF-IDF的改进版）特点：对高频词降权、对文档长度归一化，检索速度快 Dense检索（稠密检索）原理：将查询和文档编码为低维稠密向量（通常768/1024维），通过向量空间中的距离衡量语义相关性使用双塔模型（如BGE、GTE）分别编码query和doc 相似度度量：余弦相似度或点积（dot product） score = cos_sim(E_query, E_doc) = (E_q · …

#美团#Hybrid Retrieval#混合检索

面试题·检索· 字节

Embedding升级后向量对齐方案

匹配正文：…与旧文档向量直接计算相似度，也不能把两版向量混入同一 ANN 索引。推荐迁移流程版本化：记录 embedding 模型、分词、归一化、维度和距离函数，索引按版本隔离。影子重建：新写入可双写两版，后台按快照批量编码历史文档，并用变更日志补齐迁移期间的增量。双读评估：同一批查询分别访问新旧索引，比较相关性、过滤正确性、延迟和成本，必要时小流量灰度。原子切换与回滚：通过索引别名或路由切换，旧索引保留到观察期结束。同时搜索两版索引只适合作为明确设计的过渡方案：每个查询必须…

#抖音#向量检索#Embedding 升级

面试题·检索· 字节

RAG 向量检索怎么高效召回?

匹配正文：…齐索引层分块策略块过大（粒度粗）、块过小（上下文断裂）、边界截断语义检索层相似度度量内积vs余弦vs欧氏距离的选择，未归一化导致偏差系统层数据分布索引更新延迟、冷热数据分层、租户隔离实践调优要点动态检索：小模型预判所需token数，自适应调整top-k 结果重排：Cross-Encoder精排，或ColBERT轻量级交互反馈闭环：用户点击数据回流，训练领域Embedding 学习建议建议系统学习该知识点

#字节#向量数据库召回#RAG 向量检索

面试题·检索· 字节

Embedding + 向量数据库怎么搭?

匹配正文：…质量保证，也不预设所有业务都按同一优先级排序。二、向量化流程原始文本 → 文本分块（Chunking） → 嵌入编码 → L2归一化 → 写入向量库关键细节：分块策略：按语义段落切分（200-500 tokens），重叠窗口保证上下文连贯编码方式：使用同一兼容模型的正确query/document模式，或经成对训练/蒸馏对齐的双编码器；不能任意用轻量query模型替换重型文档模型，即使维度相同也未必处于同一向量空间。归一化：若用内积索引模拟余弦，需要query和d…

#字节#Embedding向量检索#Embedding 向量数据库