匹配口述回答：…运行时间。单请求 50ms 若没有说明是首 token、单 token 还是完整回复，没有任何可比性。框架选择还应考虑结构化输出、LoRA、多模态、监控、滚动升级和回滚。只有目标负载下的端到端结果，才能决定采用哪个框架。【验证补充】生产验证应覆盖取消请求、超时、长短请求混合、模型热更新和异常输入。某框架在规则长度压测中领先，面对真实长度分布和结构化输出时可能改变排序，所以需要保存完整压测配置与原始延迟分布。先锁定模型、硬件和服务目标按框架官方能力说明定位纠正 Tens…

#vLLM#TensorRT-LLM#推理引擎

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配口述回答：…TFT、TPOT、请求吞吐、token 吞吐、P50/P95/P99、峰值显存、OOM、错误率和长时间稳定性。服务功能还看多租户、LoRA、结构化输出、观测、滚动升级和安全隔离。框架迭代很快，答案应注明文档日期或版本。最终可能采用多框架：通用服务用一个稳定基线，端侧和特定硬件另有实现；但每增加一种框架都会增加测试与运维成本，必须由真实 SLO 和总拥有成本证明。【验证补充】内存估算可以先按参数量和名义位宽得到权重下界，再实测运行时峰值；KV cache 则随层数、隐藏维度、…

#vLLM#TensorRT-LLM#llama.cpp

面试题·推理优化· 京东

推理框架硬件支持对比

匹配口述回答：…度、输出长度和到达分布都要固定，量化后还要做任务质量回归。易用性看模型接入、容器、观测、滚动发布和故障恢复；扩展性看多卡、多节点、LoRA、多模态和硬件矩阵。框架更新很快，结果附 commit 或版本。最终选择可能因负载拆分，但每多一套 runtime 都增加发布与排障成本，只有稳定的性能或硬件收益才能支撑。【验证补充】还要区分核心仓库支持和社区插件支持。模型能加载不代表量化、并行、多模态与结构化输出全部可用，选型表应逐项链接当前兼容矩阵，并为升级准备回退镜像和质量基线。 …

← 上一页第 3 / 3 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#vLLM#TensorRT-LLM#llama.cpp

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配追问：…在下降但验证集指标已经 plateau，你会继续训练吗？为什么大模型训练中梯度norm突然飙升或归零，可能是什么原因，如何处理 LoRA微调和全量微调在收敛判断上有什么差异场景切入假设你正在微调一个电商客服大模型，训练过程中loss一直在降，但上线后用户反馈回答质量很差。你平时怎么判断模型真的收敛了？除了看loss，还会关注哪些信号？层层追问训练大模型时，你怎么知道它训好了？……光看loss曲线够吗？……那梯度方面呢？怎么判断有没有收敛？……如果验证集指标连续几个e…

#模型收敛#损失曲线#早停策略

面试题·多模态· 快手

多模态融合与对齐怎么改进?

匹配口述回答：…er 就解决视频帧间关系”。视频还需要时间位置、帧间注意力、运动特征或明确的时序训练数据。第三层是效率。可以冻结部分编码器、用 LoRA 等参数高效方法、对视觉 token 做 resampling、按内容选择分辨率，或者先对齐再指令微调。数据侧要做去重、配对质量、OCR 与细粒度描述检查。不过“百分之十高质量数据一定胜过百分之百低质量数据”只是口号。正确做法是固定训练 token 和模型，比较不同筛选策略对 grounding、幻觉和长尾任务的影响，再决定删多少数据。第…

#模态融合#跨模态对齐#训练效率

面试题·Agent· 小红书

LLM 输出格式不规范怎么修?

匹配口述回答：…滚。这里有个延伸点：如果模型本身不支持结构化输出约束，比如开源小模型，光靠提示工程和后处理可能不够，那就要考虑微调了。比如用[[LoRA]]在训练数据里加入格式正确的样本，让模型从底层学会输出JSON。但这又涉及数据成本和模型更新频率的问题。所以我的判断是，没有银弹，关键是根据错误容忍度设计降级链路：先解析，失败就重试，再失败就规则兜底，最后人工介入。我更倾向把提示工程和后处理作为标配，硬约束按场景按需引入，这样既灵活又可控。本质是平衡软约束、硬约束和容错提示工程层：…

#小红书#Agent#LLM 输出格式规范

面试题·Agent· 同花顺

Agent 开发技术栈怎么选?

匹配口述回答：…程经验，而不是框架名词表。这道题本质在问技术选型与落地的权衡先说框架选型：LangChain+自研层，为什么这么搭模型训练：LoRA微调工具调用，轻量分类器做意图路由关键方案：改进的ReAct循环、记忆设计、工具注册规范落地踩坑与风险：幻觉确认层、延迟优化、边界条件收尾判断：把Agent看成持续迭代的系统，不是一次性搭建约4分钟工具调用失败后的恢复策略：重试、降级、异步告警，这是线上稳定性的关键。面试官可能会追问：降级的具体策略怎么设计？重试次数怎么定？降级…

#同花顺#Agent#Agent 技术栈

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配口述回答：…果任务简单、数据量小、对效果要求不高，优先考虑这两个。再来说微调和RAG，这两条路是我在实际项目中纠结最多的。微调，尤其是 [[LoRA]] 这种 PEFT，能让模型深度适配你的领域，比如滴滴的司机调度策略，用历史订单数据微调后，模型能学到非常精细的定价逻辑。但微调成本高，数据要清洗标注，算力也要钱，而且模型知识是静态的，政策文档一更新就得重训。RAG 正好补这个短板，它外挂知识库，检索加生成，知识可以实时更新，回答还能溯源。比如智能客服，政策文档三天两头改，用RAG就能保…

#滴滴#模型微调#Agent

面试题·模型微调· 字节

RAG Embedding 模型怎么选?

匹配口述回答：…比如一个医疗诊断系统，'心肌梗死'和'心绞痛'的向量距离如果太近，召回就乱。前提是得有领域数据做验证，不行就微调。微调不贵，用[[LoRA]]在几百条数据上跑几小时，效果提升明显。工程兼容性容易被忽略。输出维度是768还是1024？得和你的[[Vector Database]]匹配，不然存不进去。还有归一化，模型输出是不是单位向量？这决定了相似度计算用cosine还是点积。上线前我会特别关注，否则线上出现维度不匹配的报错就尴尬了。所以整体上，我把选型看成按场景做减法：先…

#字节#向量检索#RAG Embedding 选型

面试题·RAG· 字节

RAG 怎么提升生成准确性?

匹配口述回答：…]]零容忍的场景，优先RAG，比如企业SOP、合规文档、客服知识库。需要改变模型行为风格、或者内化复杂推理模式的任务，更适合 [[LoRA]] 微调，比如把模型调成客服语气。但实际落地常常是两者一起上：微调让模型学会用检索工具，RAG提供最新知识，互不冲突。不过RAG也不是银弹，有个常见失败场景是检索回来的内容冲突或过时，反而把模型带偏。所以我上线前会特别关注 [[Faithfulness]] 评估，看生成内容是忠实于检索结果还是自己脑补，如果忠实度低就得调重排或加 [[S…

#字节#外部知识检索#RAG 原理