匹配正文：…onal Flow Matching 的 target velocity，应先明确源端点和目标端点。设 x_a 来自源分布（常见选择是噪声），x_b 来自目标数据分布，条件路径为： x_t = (1-t)x_a + t x_b, t∈[0,1] 对 t 求导得到准确目标速度： u_t(x_t | x_a,x_b) = dx_t/dt = x_b - x_a 等价写法是 (x_t-x_a)/t 或 (x_b-x_t)/(1-t)，分别要求分母非零。(x_b-x_t)/t 一般…

#Flow Matching#扩散模型#概率流

面试题·模型训练· 阶跃星辰

LlamaFactory 怎么构造训练数据?

匹配正文：… messages，并用 tags 将 role/content 与 user/assistant/system 对齐。训练前还要选择与基础模型匹配的 chat template，检查角色交替、特殊 token、tool/observation、图片占位与 loss mask。数据能被加载不代表语义正确，应抽样渲染最终 prompt，验证 chosen/rejected 共享同一上下文并防止 train/eval 泄漏。

#LlamaFactory#数据格式#SFT

面试题·模型训练· 美团

无标注数据怎么构建高质量数据集?

匹配正文：…部分无预标的盲标对照，随机化展示方式，并统计不同条件下的错误与修改类型。成本还要把专家复核、返工和工具维护一起计算。主动学习可以选择不确定或高价值样本，但不同策略并不稳定地优于随机抽样。采样时可同时考虑来源、类别和语义多样性，并保留随机基线；每一轮都在固定holdout上检查模型收益，避免只根据主动采样池内的分数得出结论。最终数据需记录来源、标注者匿名ID、指南版本、预标模型版本、仲裁结果和删除流程。质量报告按类别给出错误率估计与置信区间，并审计隐私、公平性和许可证。只有…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#数据工程#数据标注#主动学习

面试题·模型训练· 百度

LoRA 低秩分解的数学原理是什么?

匹配正文：…优化器等设计。回答单卡容量时必须写明是哪一种方案、权重精度、序列长度和激活检查点，不能把QLoRA结果套给普通LoRA。相对全量微调，LoRA的优势是减少可训练状态、便于保存和切换适配器，并在合适任务上保持竞争力；局限是低秩与模块选择可能约束更新。最终验收应同时看任务质量、训练稳定性、吞吐、峰值显存和合并后输出一致性，而不是只看参数数目。

#LoRA#参数高效微调#低秩分解

面试题·模型训练· 美团

SFT 人工标注数据怎么构建?

匹配正文：…试标，收集分歧并迭代指南，再正式生产。两名固定标注者处理名义类别时可使用 Cohen's kappa；多名标注者的名义分类可按设计选择 Fleiss' kappa；标注人数不固定、存在缺失或量表不同可考虑 Krippendorff's alpha。指标选择取决于测量尺度和抽样设计，不能把“3 到 5 人算 Cohen's kappa”笼统处理，也不能把 0.7 当所有任务的统一放行线。质量控制包括资格测试、隐藏金标、重叠标注、专家仲裁、理由与证据留存、标注者漂移监控和版本化…

#数据工程#人工标注#数据质量

面试题·模型训练· 字节

KL散度本质与非对称性怎么用?

匹配正文：…>0 而 Q(x)=0，正向 KL 可为无穷，因此使用前必须说明支持集和数值平滑。 “正向 KL 覆盖多个 mode、反向 KL 选择单个 mode”只是受限近似族和特定分布形状下常见的直觉，不是方向本身的无条件定理。三类典型应用变分推断：VAE 的 ELBO 为 E_q(z|x)[log p(x|z)]-D_KL(q(z|x)||p(z))，也等价于 E_q[log p(x,z)-log q(z|x)]。不能把 joint log 与 prior KL 重复相加。知识…

#KL散度#信息论#变分推断

面试题·模型训练· 美团

GLoRA 比传统 LoRA 强在哪?

匹配正文：…ed LoRA，出自《One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning》，不是 Grouped Low-Rank Adaptation。若题目真正想问“分组 LoRA”或自适应 rank，应改用对应方法和论文，不能借用 GLoRA 名称。从 LoRA 到 GLoRA 标准 LoRA 冻结预训练权重 W_0，用低秩更新 ΔW=BA，前向为 W_0x+BAx，训练参数集中在 A、B。GLoRA 的…

#PEFT#LoRA#低秩适配

面试题·文档处理· 字节

RAG 向量索引构建流程详解

匹配正文：…多语言E5或具体GTE型号等；核对官方语言/长度支持，在目标题集测试，不把系列名或动态榜单位置当领域效果保证。垂直领域：领域数据微调（如法律用ChatLaw-Text2Vec），或用LLM生成合成数据训练多模态需求：ColPali处理文档图片，Jina-Clip处理图文混合部署优化：ONNX/TensorRT加速，量化到FP16/INT8，batch推理降延迟四、向量存储与索引优化存储选型：小规模（<100万）：FAISS Flat（精确搜索，无训练）中等规模：…

#字节#文档处理#RAG 数据处理流程

面试题·文档处理· 字节

RAG 文本分块与向量索引流程

匹配正文：…unk size 必须低于实际嵌入模型的输入限制，并在同一评测集比较；过小可能造成语义碎片化，过大可能稀释关键信息。二、嵌入模型选择选型维度：通用场景：sentence-transformers/all-MiniLM-L6-v2（轻量，384维）中文场景：BAAI/bge-large-zh、智谱Embedding-2 领域适配：领域数据继续预训练或对比学习微调优化技巧：查询端与文档端使用不同prompt（如"为这个句子生成表示："）维度压缩：PCA或模型蒸馏降低…

#字节#文档处理#向量检索

面试题·文档处理· 安克科技

RAG向量化流程：预处理到归一化

匹配正文：…成本清洗降噪：去页眉页脚、统一编码、过滤低信息密度内容元数据绑定：保留标题层级、来源URL、时间戳，用于过滤和重排序嵌入模型选择选型三要素：维度考量语言中英混合选bge-m3、gte-large；纯英文选text-embedding-3-large 上下文长文档需≥8K上下文，否则先做摘要领域垂直领域用微调模型（如医学用PubMedBERT）调用方式：优先用私有化部署（Xinference/TEI），API兜底向量生成与优化批量编码：batch_s…

#安克科技#RAG 向量化流程#Embedding 模型选择

面试题·文档处理· 安克科技

RAG向量化：分块与Embedding

匹配口述回答：…一遍原理，而是按我理解的技术选型和工程落地说一下。先说嵌入模型选型。很多人觉得直接拿个通用模型就行，但真正落地会发现，场景不同，选择差异很大。比如通用中文场景，我会用BGE-large-zh或者M3E，它们开源、能私有化部署，维度一般是768到1024，上下文长度够用。但如果业务是多语言，比如要检索中英文混合的文档，那E5-multilingual或者OpenAI的text-embedding-3更合适，跨语言对齐能力更强。再一个，如果是垂直领域，比如法律合同或者医疗报告，…

#安克科技#RAG 向量化#Embedding 模型

面试题·文档处理· 安克科技

RAG 文档怎么存储和向量化?

匹配正文：…据缺失的bad case通过同一评测集验证后，才引入合适的overlap；代码和表格优先按结构分块。 3. Embedding模型选择选型维度：语言覆盖：中文场景优先m3e/bge-chinese，多语言用e5/multilingual-e5 上下文长度：长文档选支持8192+的模型（如gte-large）领域适配：金融/医疗等垂直领域考虑微调或专用模型关键指标：MTEB榜单参考，但务必用自己的召回率测试验证。 4. 向量索引结构设计原始向量 → 索引构建 → 查询…

#安克科技#评估与监控#RAG 文档向量化

面试题·文档处理· 安克科技

RAG文本向量化：分块与嵌入陷阱

匹配正文：…）向量维度与归一化的影响稠密向量与稀疏向量的混合方案实际落地中的质量评估方法完整流程概述 1. 文档预处理与分块策略粒度选择：按语义段落、结构边界、固定长度滑动窗口和句子级别提出候选关键参数：chunk_size与overlap都是候选变量，结合文档结构、模型输入限制和同一评测集上的召回、证据完整率与成本决定边界优化：优先在标点、段落处切割，避免句子中途截断 2. Embedding模型选型场景推荐模型特点通用中文 BGE-M3、GTE 开源、效果稳定 …

#安克科技#RAG 文本向量化#分块策略

面试题·评估· 高德

多工具评分排序机制

匹配正文：核心决策框架工具选择本质是多目标优化问题，需同时考虑：功能匹配度：工具描述与任务需求的语义相似度执行成本：延迟、调用费用、资源消耗历史表现：成功率、输出质量、用户满意度评分模块实现 1. 分层评分体系最终得分 = α·语义匹配分 + β·历史绩效分 + γ·成本惩罚项维度计算方式语义匹配用embedding模型计算工具描述与任务query的余弦相似度历史绩效滑动窗口统计近N次调用的成功率，引入时间衰减成本项归一化后的延迟/费用，作为负向惩罚 2. …

#高德#Agent#智能体工具选择

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配口述回答：…盖售前、售后、比价这些细分场景，不然模型容易偏。再说模型架构。标准流程是[[SFT]]加偏好对齐。SFT先拿高质量对话数据做监督微调，把基础能力建起来。然后训练一个Reward Model，输入是问题和回答，输出一个分数。损失函数就是经典的Bradley-Terry排序损失。最后用[[PPO]]做强化学习，加上KL散度约束防止模型跑偏。但这里有个选择：PPO训练不稳定，还要维护Reward Model，所以很多场景我会直接用[[DPO]]，省掉Reward Model这一步…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·模型微调· 京东

300-500意图怎么召回?

匹配正文：答案要点层次化意图体系设计（意图聚类+二级路由）多路召回策略（粗排+精排+重排）上下文压缩与动态示例选择 Embedding模型微调与领域适配实时性能与准确率的平衡方案核心思路：三层架构解决"长上下文+多意图"困境一、层次化意图体系（解决300+意图爆炸）一级路由（10-20个意图簇）→ 二级分类器（每簇20-30个意图）聚类策略：基于业务语义+历史query共现，用K-Means/Spectral聚类构建意图树动态路由：先用轻量模型（TinyBERT级）做…

#京东#大规模意图识别#上下文长度限制

面试题·模型微调· 同花顺

Agent 规划能力怎么训练?

匹配正文：…评估体系的重要性（成功率、步骤合理性、效率指标）规划能力的分层理解 Agent的规划能力可分为三个层次：单步规划：根据当前状态选择下一步动作（工具调用）短程多步规划：3-10步的任务分解与执行长程复杂规划：开放式问题求解，需动态调整策略核心训练技术路线 1. SFT阶段：构建高质量规划数据数据类型来源关键要素人工标注轨迹专家演示完整的思考-行动-观察循环合成数据强模型蒸馏使用GPT-4/Claude生成带推理过程的解决方案环境交互数据模拟器/真…

#同花顺#Agent#Agent 规划能力

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配题目：当前大语言模型在工业界应用中的主流技术范式有哪些（如提示工程、上下文学习、微调、RAG、Agent系统等）？请系统性地比较它们的技术原理、适用场景、优缺点及典型应用案例，并分析在实际落地中如何根据业务需求选择合适的技术路径。

#滴滴#模型微调#Agent

面试题·模型微调· 科大讯飞

Prompt 怎么设计和优化?

匹配正文：…置、统计波动和回滚记录？如果同时更换模型、数据和 Prompt，就不能把结果全部归因于 Prompt。追问入口准备解释示例如何选择、上下文污染如何防止、结构化输出是否真正受约束、评测器偏差、提示注入、长上下文成本，以及何时应改用微调或 RAG。

#科大讯飞#阿里#模型微调

面试题·模型微调· 高德

Agent 记忆怎么用向量库?

匹配正文：…bedding模型设计场景策略说明通用对话直接用BGE/M3E等开源模型成本低，基线可用垂直领域（如高德地图）领域微调用历史对话数据做对比学习，强化地点、路线、偏好等语义多任务目标联合训练同时优化检索相关性+对话连贯性+用户满意度预测关键：Agent记忆Embedding需捕捉"意图"而非仅字面，建议加入对话上下文作为输入。 Chunk粒度设计粗粒度（整轮对话）：保留完整上下文，适合检索"某次完整交互" 细粒度（句子/意图单元）：精准定位，适合工具…

#高德#Agent#向量检索

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配追问：场景切入假设你正在做企业客服系统，客户每天咨询的产品政策经常更新，比如促销规则、退换货条款。你是选择定期微调模型，还是用RAG？为什么？层层追问你怎么看大模型的幻觉问题？……常用的缓解方法有哪些？……那RAG和SFT在这上面有什么本质区别？……什么时候你宁愿用RAG而不是花精力做SFT？直球架构请你对比RAG和纯SFT，从知识更新、幻觉控制、训练成本、可解释性四个维度讲一下各自优劣，并给出RAG明显占优的两种具体场景。

#美团#模型微调#RAG vs SFT

面试题·模型微调· 美团

向量检索怎么保准又保真?

匹配正文：答案要点 Embedding模型选型与微调多路召回与混合检索策略重排序（Rerank）机制查询理解与改写检索结果评估与迭代优化 1. Embedding层优化模型选型：根据领域特点选择模型（通用场景用BGE/M3E，垂直领域用微调模型）领域适配：用业务数据对Embedding模型做对比学习微调，缩小语义鸿沟动态更新：商品/内容Embedding随属性变化及时刷新，避免语义漂移 2. 多路召回策略召回方式适用场景向量召回语义相似，理解用户意图关键词/BM…

#美团#向量检索准确性#向量检索相关性

面试题·模型微调· 字节

RAG 工作原理与架构怎么搭?

匹配正文：…案要点 RAG核心流程：索引-检索-生成三阶段向量检索与语义匹配原理关键优化技术（分块策略、重排序、混合检索） RAG vs 微调的选择场景实际落地中的挑战与解决方案一、RAG核心工作原理 RAG = 检索（Retrieval）+ 生成（Generation），解决大模型知识时效性和幻觉问题。三阶段流程：索引阶段：文档切分 → Embedding编码 → 向量数据库入库检索阶段：用户Query向量化 → 相似度搜索 → Top-K召回生成阶段：Query + …

#字节#RAG 系统架构#RAG 工作原理

面试题·模型微调· 百度

RAG 端到端工作流程

匹配正文：…G 知识时效性训练数据截止，无法更新知识库实时更新，无需重训幻觉问题容易编造事实基于检索文档生成，可控可溯源成本全量微调昂贵只需更新知识库，零训练成本可解释性黑盒生成可展示引用来源，便于审计典型变体 Naive RAG：基础检索+生成 Advanced RAG：查询重写、重排序（Rerank）、混合检索（向量+关键词） Modular RAG：引入路由、多跳检索、主动选择等复杂流程

#百度#RAG 端到端工作流程#RAG 从查询到答案怎么工作？完整流程与可靠性边界