完整题目
在大模型训练或推理过程中，若发现模型存在诸如输出不一致、幻觉严重或响应延迟等典型缺陷，请列举并分析可能的解决方法及其原理。
先按缺陷类型定位
输出不一致要区分随机性、格式漂移和语义冲突。固定模型版本、prompt、解码参数和工具结果后再复现；temperature=0可减少采样随机性，但不保证跨硬件或并行实现逐bit一致。Self-Consistency需要随机采样多条推理路径并聚合答案，不能在temperature=0后再声称做有效多样化采样。
幻觉先区分知识缺失、检索失败、证据误读和生成越界。频繁更新的外部知识优先放入RAG或受控数据源，并要求引用与验证。ROME是对模型权重进行定向低秩更新的知识编辑方法，不是编辑单个神经元；知识频繁变化时也不宜用持续权重编辑替代可追溯检索。
延迟先profile prefill、decode、检索、工具和网络阶段，再考虑KV缓存、批处理、量化、蒸馏、speculative decoding或模型路由。每项都在相同质量与硬件下测首token、逐token、吞吐和显存。
修复必须配合离线回归、线上灰度、版本追踪和回滚，避免一个指标改善掩盖另一类退化。
继续追问 · 3 个问题
- 如果幻觉问题在RAG场景下依然严重，你会如何优化检索和生成的协同机制
- 输出不一致在API高并发场景下如何设计缓存策略
- 推理延迟优化中，Prefill和Decode阶段的瓶颈分别是什么
换一种问法，检查是否真正理解
场景切入
假设你在做一个电商客服助手，用户问‘昨天下单的什么时候发货’，模型答了‘已发货’，但实际上订单还在备货中。这种不一致怎么修？你从采样策略到模型训练层面会怎么处理？
层层追问
大模型上线后你一般怎么排查问题？……如果发现回答经常前后矛盾或者胡编乱造，你会从哪些方向去找原因？……那具体到训练和推理阶段，有哪些可落地的修复手段？
直球架构
大模型训练或推理中，输出不一致、幻觉严重、响应延迟高是典型缺陷。请系统性地列出每种缺陷的根因和对应的解决方法，并简要说明原理，比如确定性采样、RAG、投机采样这些。