匹配正文：…原始区域，误合并往往只能等错误答案出现后再猜哪里出了问题。开发者阻止把同为四列的巡检报价和备件价格错误拼接完整上下文，也有重复成本给每一行都附上完整表头，当然更容易独立阅读，但长表会制造大量重复。这个小实验中，两行一组时共有两块，附带上下文的文本一共214个字符。改成每行一块，共四块，文本变成336个字符；其中上下文部分从合计133个字符增加到255个字符。这些数值只是脚本按固定文本格式统计的字符数量，用来展示拆得更细以后重复怎样增长。实际入库还受文本表示、分组大小和…

#RAG#表格切分#文档解析

面经·项目面试

PDF 的字都识别对了，为什么 RAG 还是把流程讲反了？

匹配正文：…要继续拆时，可以让子块继承必要的标题路径，知道自己来自“设备借用指南”下的“办理步骤”。切分规则仍要控制长度，保留多少上下文也有成本。但这些取舍应发生在正确的结构上。若上游已经串栏，增加重叠窗口只是在复制同一处错位，不能把重复次数当作关系恢复的证据。回归题要能区分“字齐了”和“关系对了” 解析验收如果只检查文本非空、字符数接近原文，这页指南仍然可能通过。它们能发现内容缺失，却无法区分两种排序；本次九块内容完整保留，正好说明了这个差别。要检查阅读顺序，可以为代表性页面人工…

#RAG#PDF解析#阅读顺序

面经·项目面试

装了很多 Skill，要把每份说明都塞进上下文吗？

匹配正文：…确之后，再评估选择行为，出了问题更容易知道应该修哪一层。开发者核对读取记录和实际请求，确认选中正文确实被送入按需披露也有自己的成本把全文放到后续读取，会增加一次工具往返。如果任务很短，技能说明也很短，直接放进当前输入可能更简单。任务需要反复使用同一份说明时，也不必每轮都重新读一遍。但工具返回进入历史后，正文通常会继续随消息一起发送。按需披露控制了最初何时引入它，并不会让已经加入历史的长内容自动消失。计算后续输入成本时，要把工具结果所在的消息也算进去。技能数量变多，目…

← 上一页第 24 / 30 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#Agent#Skills#渐进披露

面经·项目面试

Agent 压缩了上下文，为什么任务还在，条件却丢了？

匹配正文：…路径、消息位置或片段标识，需要核对时再读。一个写着“参考之前讨论”的指针没有定位能力，接手者仍然不知道该找哪里。这会付出一些工程成本：要维护当前状态，处理新的修正，保留原始记录，并在必要时读取更多上下文。换来的好处是，你能够解释每个继续执行的条件来自哪里，而不是只相信摘要读起来足够完整。任务很短、条件很少时，保留原文可能更省事。长任务里也可以优先缩短重复的工具输出，再处理历史讨论。压缩的目的，是让有限上下文留给当前真正有用的信息；不用为了压缩而把已经很短的关键条件再改写一…

#Agent#上下文压缩#记忆管理

面试题·推理优化

Flash Attention 原理怎么理解?

匹配口述回答：…占满时，换 attention kernel 不一定解决整体容量；短序列、小 head 或很小 batch 下，kernel 启动成本也可能抵消收益。反过来，长序列 prefill 若明显受中间矩阵和 HBM 搬运限制，FlashAttention 才更可能直接改善。先用 profiler 看到带宽、算力和显存峰值，再解释收益，会比报一个统一加速倍数可靠得多。还有一个验收点是回退路径。生产环境往往同时存在不同显卡、不同 head dimension 和不同 mask，不能假…

#Flash Attention#内存优化#注意力机制

面试题·模型训练· 百度

DDPM vs Flow Matching: 采样效率与优缺点?

匹配追问：…如DDIM、DPM-Solver与Flow Matching的采样加速思路有何异同场景切入假设现在要为图像生成服务在质量和采样成本之间做取舍，你会如何比较 DDPM 与 Flow Matching，并设计同口径实验决定选型？层层追问 DDPM 学习的对象是什么？……Flow Matching 的速度场目标又是什么？……采样时分别解什么过程？……路径、求解器和函数评估次数怎样影响质量与延迟？直球技术请从训练目标、概率路径、采样方程、求解器与函数评估次数对比 DDPM …

#扩散模型#流匹配#生成模型

面试题·模型架构· 百度

DDPM 闭式采样为何无需展开前向链?

匹配追问：…x_t|x_0) 的闭式采样和时间步期望的 Monte Carlo 估计解释 DDPM 为何常随机采样 t，并说明完整链训练的额外成本与非均匀采样的重加权要求。

#扩散模型#DDPM#训练策略

面试题·模型架构· 美团

Transformer 为何用 Layer Norm?

匹配口述回答：…须用LayerNorm。BatchNorm和其他norm在特定结构里也能用，只是需要明确统计轴、mask、训练推理统计和分布式同步成本。现代大模型还大量使用RMSNorm，说明真正目标是稳定残差尺度并获得可实现的训练动态，而不是拘泥于某一个名字。如果做实验，我会固定模型和初始化，分别观察不同micro-batch、不同序列长度、训练与推理模式下的loss、梯度范数、吞吐和最终质量。这个证据比“BN必须大batch”更完整，也能解释为什么主流工程默认选择LN或RMSNorm。…

#Layer Normalization#Batch Normalization#归一化机制

面试题·模型架构· 海尔

位置编码为什么重要?

匹配口述回答：…位置压回原训练范围，频率缩放方法调整 RoPE 频谱，通常还会配合长上下文继续训练。这些方法可能换来短上下文精度、位置分辨率或训练成本的取舍。验证扩窗不能只做一次 needle 测试。应在多个长度与插入位置上测困惑度、精确检索、顺序理解、多跳证据、代码依赖和真实长文生成，同时检查原长度任务是否回退。实现层还要确认 causal mask、position id、KV Cache 与并行 kernel 都使用相同位置规则。LLaMA 不同代际和长上下文变体有各自训练长度与缩放…

#位置编码#Transformer#自注意力机制

面试题·RLHF与对齐· 美团

长视野任务的信用分配与 Option

匹配追问：分层RL中高层策略的动作空间如何设计，如何平衡抽象粒度？过程奖励模型与结果奖励模型相比，数据标注成本如何解决，有无自动化构建方法？选项机制与HRL的关系是什么，Option的发现与预定义各有什么优劣？场景切入假设现在训练一个需要经过多阶段交互才能完成任务的环境型 Agent，只有终局成败信号。你会怎样缩短探索路径，并把结果合理归因到早期决策？层层追问平坦策略为什么难学？……分层策略的高层目标与低层动作怎样衔接？……Option 包含哪些组成？……过程奖励来自人工标…

#分层强化学习#选项机制#过程奖励建模

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配口述回答：…务质量。若RMSNorm带来可重复的吞吐收益且质量不退，我会用它；如果迁移已有LayerNorm模型，则还要考虑权重兼容和重新训练成本。这样回答既解释了主流选择，也保留了实现和任务边界。分布式场景还要看张量并行的切分方式。如果隐藏维被切到多卡，统计量可能需要跨分片归约；若每卡持有完整归一化维，则不需要。这个通信差异来自并行布局，不是RMSNorm或LayerNorm名称本身。实现时我会检查算子是否融合、统计是否用FP32累积，并对不同序列长度和隐藏维分别基准测试。用公式说…

#LayerNorm#RMSNorm#归一化方法

面试题·模型架构· OPPO

CNN/RNN/Transformer 怎么选?

匹配口述回答：…mer用注意力建模全局交互按数据、上下文、硬件与延迟实测选型约2分钟架构选择取决于归纳偏置、序列形态、部署硬件和可验证的质量成本指标。可继续讨论流式推理、长上下文复杂度和混合架构的基准设计。

#CNN#RNN#Transformer

面试题·模型架构· OPPO

逻辑回归原理怎么理解?

匹配口述回答：…置乘x加b，再把z送进sigmoid，输出零到一之间的概率。概率大于某个阈值时预测正类，但阈值不一定必须是零点五，要根据误报和漏报成本选择。最容易误解的是线性关系到底在哪里。逻辑回归不是说概率随着特征线性变化，而是说正类概率的对数几率，也就是log p除以一减p，与特征呈线性关系。其他特征不变时，某个特征增加一个单位，对数几率增加对应系数，几率乘以系数指数。至于概率具体增加多少，还取决于当前概率处在sigmoid的哪个位置，因此不能把一个系数解释为概率固定增加几个百分点。 …

#逻辑回归#分类算法#sigmoid函数

面试题·模型架构· 高德

参数规模怎么影响大模型?

匹配追问：…数据质量、吞吐和下游能力，而不是只看模型大小？层层追问参数增大代表什么容量变化？……数据与计算不足时会怎样？……优化和数值稳定成本如何变化？……Double Descent 在这里能否直接当成通用规律？直球技术请分析参数规模对表示容量、训练动态、优化成本、记忆与泛化的影响，并说明为什么必须与数据、token、算力和架构联合做多尺寸对照。

#缩放定律(Scaling Laws)#过参数化#双下降现象

面试题·模型训练· OPPO

二分类交叉熵损失函数怎么推导?

匹配口述回答：…率是0.9，但实际不该退，那损失就是负的log0.1，大概2.3；反过来预测0.1但实际该退，损失也是2.3。但业务上这两种错误的成本可能完全不同，不该退的退了，直接损失钱；该退的没退，只是用户体验差一点。所以实际中我会调正负样本的权重，或者修改损失函数，比如给假阳性更大的惩罚。这里有个前提：业务方必须能给出误判成本的比例，否则调权就是拍脑袋。常见的失败场景是，样本严重不平衡但直接套标准交叉熵，模型会全预测成多数类，准确率虚高但召回率为0。上线我会特别关注坏样本的召回率，而不…

#交叉熵损失#逻辑回归#极大似然估计

面试题·模型训练· OPPO

MSE 损失函数怎么用?

匹配口述回答：…ood；多峰目标则考虑分位数或混合密度。最终选择要用相同时间或实体切分，在验证集同时比较 MSE、MAE、分位数误差和真正的业务成本，并检查残差随输入是否变方差、是否重尾。MSE 不是“回归默认永远正确”，而是在条件均值和平方代价假设合理时的一个清晰目标。数据预处理也会改变结论。若目标做了标准化，训练 MSE 的数值与原始单位不同，部署评估要先反变换；若缺失值被错误填成极端数，它们会因平方项获得巨大权重。先审计目标分布和残差，再谈更换损失。先写 MSE 公式和梯度给出…

#MSE#回归损失#损失函数

面试题·评估· 商汤科技

评测数据集怎么选?

匹配口述回答：…记录。若相同文档、用户或模板跨训练与测试，会造成泄漏；公开 benchmark 还要做预训练污染和近重复检查。选择理由必须和错误成本对应。需要知识覆盖就选多学科集，需要代码可执行性就选测试驱动集，需要真实安全性就加红队与拒答集。一个数据集不能代表全部能力，榜单高分也不能替代目标场景。报告时列出实际运行日期、commit、模型 checkpoint、tokenizer、量化、上下文长度、解码、样本数和置信区间。若只在离线集验证，就明确没有线上结论。这样的答案既能解释为何选择评…

#评测数据集#benchmark选择#评测指标

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配口述回答：…以及优化器是否真的更新。曲线里只记录裁剪后的norm会隐藏原始异常，最好同时记录裁剪前统计和触发比例，但采集本身也要控制通信与日志成本。这能避免监控口径反过来误导判断。解释三类曲线的职责识别loss异常的多种来源相对基线分析梯度把学习率阶段纳入判断用验证与回放确认原因约4分钟为什么gradient norm应相对同配置历史run解释，而不是使用通用绝对阈值。可继续讨论更新范数、loss scaling、scheduler恢复和异常batch回放。

#训练监控#学习率调度#梯度裁剪

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配追问：…技术请比较 LayerNorm 与 RMSNorm 的公式、re-centering/re-scaling、epsilon、实现成本和训练动态，并解释 LLaMA 的选择为何不构成普遍最优证明。

#Layer Normalization#RMS Normalization#归一化技术

面试题·项目与经历· 百度

实习项目被追问哪些技术细节?

匹配口述回答：…能回答，清单本身不能替候选人制造项目。【90秒主答】目标层会问用户是谁、原流程哪里失败、离线指标怎样对应业务，以及约束是延迟、成本还是安全。个人边界会被反复核对，常见问题是“哪段代码是你写的”“哪个决策由你做”“如果没有团队平台能否复现”。回答要区分个人交付、协作内容和团队共同结果。数据层会追来源、许可、时间范围、样本单位、标签生成、标注一致性、去重和切分。面试官常用一个边界样本检查是否真的理解数据，例如同一用户是否跨训练测试，未来行为是否进入特征，hard negat…

#实习项目深挖#技术细节追问#系统设计

面试题·模型架构· 字节

判别式转生成式有哪些方法？

匹配口述回答：…到文本输出；指令微调则用带监督的指令和目标答案更新模型或适配器，让模型学习遵循任务描述。这和只在推理时放几个示例的ICL不同，训练成本、持久性和分布外泛化都不同。第六类是思维链。它把中间推理过程也作为目标或提示，适合数学、符号推理和需要组合步骤的任务。普通情感分类或简单匹配未必需要长推理，强行加入CoT可能增加延迟、暴露无关步骤，甚至降低稳定性。实际选型时，我先建立直接生成或verbalizer基线；不能更新参数时评估ICL；允许轻量训练时比较soft prompt与ad…

#生成式建模#判别式转生成式#Prompt工程

面试题·推理优化· 京东

推理框架硬件支持对比

匹配口述回答：…多模态和硬件矩阵。框架更新很快，结果附 commit 或版本。最终选择可能因负载拆分，但每多一套 runtime 都增加发布与排障成本，只有稳定的性能或硬件收益才能支撑。【验证补充】还要区分核心仓库支持和社区插件支持。模型能加载不代表量化、并行、多模态与结构化输出全部可用，选型表应逐项链接当前兼容矩阵，并为升级准备回退镜像和质量基线。固定模型、硬件、并发和 SLO 比较 vLLM、SGLang 的通用服务能力说明 TensorRT-LLM 的实际转换路线区分 TGI、…

#vLLM#TensorRT-LLM#llama.cpp

面试题·项目与经历· 美团

项目难题怎么定位与解决?

匹配口述回答：…成最小实验，每次只改一个关键变量，沿用同一测试集并补线上小流量灰度。上线条件写成指标阈值，回滚条件包含正确率下降、拒答异常、时延或成本越界。协作部分说明如何让产品确认错误定义、让数据同学复核样本、让平台同学接入追踪，但只描述真实发生过的动作。最终结果使用【真实数值】和【统计窗口】填写，同时保留副作用与未解决项。这样的回答体现的是证据链和推动能力，而不是听起来完整却无法核验的故事。先声明真实背景与个人职责边界把模糊问题改写成可复现现象按数据、检索、排序和生成逐层定位用对…

#问题定位#工程实践#跨团队协作

面试题·推理优化· 字节

FAISS 怎么实现高效 ANN 搜索?

匹配口述回答：…、IVF、PQ、IVFPQ 和 HNSW，统一记录 Recall@K、P50/P95/P99 延迟、吞吐、构建时间、峰值内存和更新成本。IVFPQ 不是所有大规模场景的标配，Flat 也不只属于某个固定数据量。参数和索引类型必须由目标硬件与质量门槛共同决定。带业务过滤条件时还要单独测有效候选是否骤减，因为先检索再过滤可能让结果不足，扩大 nprobe 又会抬高尾延迟。如果 PQ 的子空间相关性造成误差，可以评估 OPQ 旋转、增加码本容量或候选重排，但这些方案同样要通过端到…

#向量检索#近似最近邻搜索#量化压缩