完整题目
在大模型项目开发过程中，常见的系统或模型缺陷包括过拟合、推理延迟高、输出不一致等。请列举几类典型缺陷，并阐述相应的解决策略和改进思路。
按缺陷类型定位，不把方法名当万能修复
过拟合或分布外退化应先比较训练集、独立验证集和真实流量切片，排查数据重复、泄漏、标签噪声与域偏移，再选择更强切分、正则、数据增广、早停或更合适的微调范围。
推理延迟高要拆成排队、prefill、逐 token 解码和工具调用。量化、KV Cache、连续批处理、并行与 speculative decoding 的作用不同。投机解码由较小的 draft model 提议若干 token，再由 target model 并行验证；draft 不是“打分模型”，收益取决于接受率、模型大小和硬件。
输出不一致要先确认随机采样参数、提示模板、检索结果与工具响应是否变化。降低温度、结构化约束或确定性解码可提高复现性，但可能牺牲多样性。Self-Consistency 是对多条推理路径做答案聚合，适合部分推理任务，不是事实纠错器。
事实与安全缺陷需要检索、工具、引用核验、规则或分类器、权限隔离和人工升级。事实任务应回到可信证据，不能因为多次采样得到相同答案就判真。
所有改进都要绑定 SLO 与质量门槛，统一测 TTFT、TPOT、吞吐、任务成功率、faithfulness 和失败切片。
继续追问 · 3 个问题
- 你刚才提到的输出不一致，具体是怎么监控和量化的？
- 推理延迟优化中，你尝试过哪些量化方案，精度损失如何权衡？
- 如果业务要求实时性很高（如<100ms），你会怎么设计架构？
换一种问法，检查是否真正理解
场景切入
假设我们做一个客服机器人，刚上线时效果很好，但过几天用户反馈回答开始胡编，或者响应变慢。你一般会从哪些角度排查和修复这种问题？
层层追问
大模型项目上线后，你遇到过哪些坑？……训练时loss很低但线上效果差，这是为什么？……还有推理速度慢、输出不稳定，这些你分别怎么解决？
直球架构
请列举大模型开发中常见的系统或模型缺陷，并针对每一类给出具体的解决策略和改进思路，比如过拟合、推理延迟、输出不一致这些。