完整题目
大语言模型在few-shot推理模式下为何能够提升任务表现？其背后机制与模型预训练目标之间有何关联？
本文目录
为什么few-shot可能有效
自回归预训练学习 p(next token | context)。把任务说明和若干输入—输出示例放进上下文后，示例会改变后续token的条件分布，帮助模型识别任务、输出格式、标签映射和相关模式。因此few-shot常能比零样本提供更多任务信息，但不是必然提升；示例质量、顺序、相似度、格式和上下文预算都会影响结果。
机制仍是开放问题
- 任务识别/潜变量推断：从示例推断当前任务或生成过程。
- 隐式学习算法：某些构造与模型中，Transformer前向计算可实现类似回归或梯度下降的更新规则。
- 贝叶斯式推断：将上下文看作观测，对任务假设进行后验更新。
这些是相互竞争或互补的研究解释，不应把“预训练已经学会元学习”或“attention就是在更新参数”写成定论。推理时模型权重不变，变化的是上下文相关激活与输出分布。
与预训练和微调的关系
next-token目标让模型习惯利用前缀中的结构，但ICL能力还依赖模型规模、训练数据中任务序列的结构和训练分布。微调通过梯度把适应写进参数；ICL把示例保留在上下文中，切换快但受长度、顺序和推理成本限制。
错误标签有时仍可能保留格式或标签空间带来的部分收益，但错误映射通常会损害任务表现，不能概括成“标签无需正确”。评测应和zero-shot、正确示例、随机标签及相似度检索示例做对照。
