完整题目
请分享你在准备面试过程中阅读过的近期重要学术论文，并说明其中哪几篇在技术讨论中被频繁引用或深入探讨，及其对你理解大模型发展的启发。
只讲实际读过并能定位原文的论文
可从以下公开材料中选择真实阅读项，不必假装全部精读：
- Llama 2: Open Foundation and Fine-Tuned Chat Models，2023：公开预训练模型与 Llama 2-Chat，详细讨论 SFT、reward model、rejection sampling 和 PPO 等后训练与安全评测。
- The Llama 3 Herd of Models，2024：覆盖 Llama 3 的预训练、后训练、长上下文、多语言、代码、工具和安全。其后训练配方与 Llama 2 不应混写。
- Mistral 7B，2023：公开 GQA 与 sliding-window attention 的设计和评测。
- Mixtral of Experts，2024：每层有 8 个 FFN experts，每个 token 路由到 2 个，论文区分总参数与 active parameters。
- Gemini 1.5 technical report，2024：重点披露多模态、长上下文能力与评测；未公开的训练语料明细、成本和全部架构细节不能补造。
- Claude 3 Model Card Addendum，2024：主要用于理解能力与安全评测、风险与部署说明，不是完整架构或训练数据论文。
回答每篇时分别说“论文明确公开了什么、没有公开什么、如何影响自己的技术判断”。不要给闭源报告补造数据、训练成本、推理价格或未披露结构。
继续追问 · 3 个问题
- 这篇论文的实验设计有什么局限性，你在实际复现时遇到了什么问题
- 如果让你基于这篇工作做改进，你会从哪个方向切入
- 你们团队的技术选型是否参考了这些结论，最终决策依据是什么
换一种问法，检查是否真正理解
场景切入
假设团队拿到一个开源基座模型，准备验证一条后训练路线。你会从自己真实读过的论文中选择哪些作为依据，并怎样区分论文明确披露的结论与未公开细节？
层层追问
最近完整读过哪些论文？……哪一篇与你准备的实验最相关？……论文公开了哪些方法和证据？……哪些结论不能迁移？……你会怎样把阅读转成一个可复现实验？
直球技术
分享近期真实读过的重要论文，说明核心方法、公开证据、局限、被讨论的原因及其对你技术判断的具体启发。
练习口述回答 · 30秒速答 + 90秒主答 + 完整展开
- 只选实际阅读且能定位原文的材料
- 逐篇说明公开贡献
- 区分后训练与模型架构
- 标注闭源报告未公开边界
- 提炼对工程决策的真实启发
【30秒速答】 论文回答不靠堆名字，而要准确说贡献和公开边界。Llama 2 论文详细介绍 SFT、奖励模型、rejection sampling、PPO 与安全；Llama 3 的报告覆盖新的预训练、后训练、长上下文和安全体系，两者流程不能混写。Mistral 7B 讨论 GQA 与 sliding-window attention，Mixtral 是每层 8 个专家、每个 token 选 2 个。Gemini 1.5 和 Claude 3 的公开材料可以谈能力与安全评测，但未公开训练数据、成本和完整架构就不能自行补齐。
【90秒主答】 Llama 2 的价值在于它不仅给出基础模型，也较系统地公开 Llama 2-Chat 的后训练。论文描述了监督微调、奖励模型、rejection sampling 和 PPO 的组合，以及帮助性和安全性的人工评测。阅读时要注意各阶段和不同大小模型的适用细节，不能把一个版本的流程简化成所有模型完全相同。
Llama 3 Herd 报告覆盖 8B、70B 和 405B 等模型的训练与评测，并介绍多语言、代码、推理、工具、安全和长上下文。其后训练章节应按原文单独总结，不能直接复制 Llama 2 的 PPO 叙述。真正有用的启发是如何把数据、训练规模、评测和安全作为系统工程，而不是只记参数量。
【完整展开】 Mistral 7B 论文的可讨论点是 GQA 和 sliding-window attention。前者减少 KV 头以改善推理，后者限制每层直接关注窗口并通过层叠传播信息。Mixtral 在 Mistral 主干上把 FFN 换成 sparse MoE，每层有八个 expert，router 为每个 token 选两个。论文区分总参数和单 token active parameters，这正好说明为什么 MoE 不能只用总参数推断计算成本。
Gemini 1.5 技术报告适合讨论多模态长上下文能力、检索和长视频等评测，也能讨论长上下文“容量”和“有效利用”的区别。但报告没有把全部训练语料、成本、权重和工程实现公开，因此只能引用它明确披露的内容。Claude 3 Model Card Addendum 更偏能力、安全、红队和风险说明，不能把它当作完整架构论文，也不能反推出训练数据。
面试中每篇材料用三个问题收束：原文解决什么问题，证据来自哪张实验或章节，结论能否迁移到目标项目。例如 GQA 是否值得采用，要看 checkpoint 结构与 KV 压力；MoE 是否省钱，要看路由、通信和 active compute；长上下文是否有效，要看目标任务测试。只讲真正读过且能回答原文细节的三到五篇，比列十几篇却补造未公开信息更可信。
【验证补充】引用实验数字时保留模型版本、数据集、提示和对照，不把论文作者的结论写成自己的复现实验。若没有跑过代码，可以明确说理解来自论文阅读，并指出还需验证的工程假设。