完整题目
请从模型架构、训练目标、应用场景、输入输出特点等方面系统对比GPT系列与BERT系列大语言模型的主要区别，并说明它们分别适用于哪些任务类型。
核心对比
| 维度 | GPT 类 | BERT 类 |
|---|---|---|
| 架构 | Decoder-only，causal self-attention | Encoder-only，双向 self-attention |
| 预训练目标 | 自回归 next-token prediction | 原始 BERT 使用 masked language modeling，并包含 NSP |
| 输出 | 每个位置的隐藏表示及下一 token 分布，可迭代生成 | 每个 token 的双向上下文表示，通常接任务头 |
| 擅长 | 开放式/条件生成、对话、摘要、翻译、代码、in-context learning | 分类、NER、抽取、语义匹配、检索编码等理解任务 |
GPT 可以把源文本、任务指令与已生成目标放在同一因果序列中，直接执行摘要和翻译，不需要额外 Encoder。Encoder-decoder 是另一种可选架构，不是 GPT 做条件生成的必要条件。
BERT 的双向注意力能同时利用左右上下文，适合产生整段输入的上下文表示，但原始 BERT 不是自回归生成器。它也不是开箱即用的 faithfulness 或事实核验器；只有在 NLI、事实一致性或特定判别数据上训练，并经过域内校准后，BERT 类模型才可承担相应分类环节。
选型看输出形式和成本：需要逐 token 生成与上下文学习时选生成模型；需要低延迟固定标签、向量编码或 token 标注时，encoder-only 往往更经济。两者都可通过微调扩展任务，不能用“GPT 只会生成、BERT 只会分类”作绝对边界。
图解
继续追问 · 3 个问题
- 为什么GPT系列选择Decoder-only架构而不是Encoder-Decoder？
- BERT的[MASK]在下游微调时如何处理？
- 现在流行的LLaMA、ChatGLM等属于哪种范式？与GPT/BERT的关系是什么？
换一种问法，检查是否真正理解
场景切入
假设你要做一个电商智能客服，用户问‘订单发货了没’，你打算用BERT还是GPT来理解这句意图并给出回复？说说你的选型思路。
层层追问
聊一下预训练语言模型……GPT和BERT你觉得核心区别是什么？……那如果任务是情感分类，你会选哪个？……生成式任务呢？
直球架构
从模型架构、训练目标、输入输出特点、应用场景这几个维度，系统对比一下GPT和BERT系列大模型，并分别说明它们适合什么类型的任务。
练习口述回答 · 约4分钟
- 从架构和 attention mask 对比
- 比较 causal LM 与 MLM 目标
- 说明输入输出和典型任务
- 纠正 GPT 条件生成需要 Encoder
- 澄清 BERT 事实核验需要专门训练
我会从架构、训练目标、输出形式和任务四个维度比较。GPT 类模型是 Decoder-only，使用 causal self-attention，每个位置只能看当前 token 之前的内容；BERT 类模型是 Encoder-only，使用双向 self-attention，一个位置可以同时利用左右上下文。这里的 decoder-only 是从 Transformer 组件演化来的单栈结构，不代表它必须搭配一个 Encoder。
训练目标上，GPT 做自回归 next-token prediction，把序列概率分解成历史条件下的下一个 token 概率。这个目标与生成过程一致。原始 BERT 的主要目标是 masked language modeling：随机遮住部分 token，让模型结合左右上下文恢复它们；原论文还使用了 next sentence prediction。后续 BERT 变体可以调整目标，但比较时要注明具体版本。
输出形式决定了典型用途。GPT 每一步输出下一 token 分布，反复调用就能生成长文本，所以适合对话、开放式问答、代码、摘要和翻译，也能把示例放进上下文做 in-context learning。摘要和翻译完全可以把源文本与任务指令放在同一个因果前缀里，再生成目标，不需要额外 Encoder。Encoder-decoder 对明确的 source-target 任务仍是一个有价值的选择，但不是 GPT 能否做这些任务的前提。
BERT 一次输出整段中每个 token 的双向上下文表示，通常在 CLS 或 token 表示上接分类、回归、序列标注或检索头。因此它很适合文本分类、NER、抽取式问答、语义匹配和向量编码，推理可以一次完成，不需要逐 token 解码。原始 BERT 并不是自然的长文本生成器。
另一个常见误区是把普通 BERT 直接称为 faithfulness 检查器。BERT 只是预训练编码器，本身不会自动判断摘要是否被来源支持。只有把 BERT 类模型在 NLI、事实一致性或目标领域的判别数据上训练，定义好 entailment、contradiction 等标签，并在域内验证和校准后，它才可以作为核验流水线的一部分；高风险事实仍要回到证据或规则。
选型时，如果输出是开放文本、需要多轮生成或上下文示例，我会优先生成模型；如果输出是固定标签、span、token tag 或 embedding，且更看重吞吐和低延迟，encoder-only 往往更经济。两类模型都能通过微调扩展边界，所以不能粗暴说 GPT 只会生成、BERT 只会理解。最核心差别还是 attention 可见范围、预训练目标和输出接口。