完整题目
请分享你在准备面试过程中阅读过的近期重要学术论文,并说明其中哪几篇在技术讨论中被频繁引用或深入探讨,及其对你理解大模型发展的启发。
只讲实际读过并能定位原文的论文
可从以下公开材料中选择真实阅读项,不必假装全部精读:
- Llama 2: Open Foundation and Fine-Tuned Chat Models,2023:公开预训练模型与 Llama 2-Chat,详细讨论 SFT、reward model、rejection sampling 和 PPO 等后训练与安全评测。
- The Llama 3 Herd of Models,2024:覆盖 Llama 3 的预训练、后训练、长上下文、多语言、代码、工具和安全。其后训练配方与 Llama 2 不应混写。
- Mistral 7B,2023:公开 GQA 与 sliding-window attention 的设计和评测。
- Mixtral of Experts,2024:每层有 8 个 FFN experts,每个 token 路由到 2 个,论文区分总参数与 active parameters。
- Gemini 1.5 technical report,2024:重点披露多模态、长上下文能力与评测;未公开的训练语料明细、成本和全部架构细节不能补造。
- Claude 3 Model Card Addendum,2024:主要用于理解能力与安全评测、风险与部署说明,不是完整架构或训练数据论文。
回答每篇时分别说“论文明确公开了什么、没有公开什么、如何影响自己的技术判断”。不要给闭源报告补造数据、训练成本、推理价格或未披露结构。
继续追问 · 3 个问题
- 这篇论文的实验设计有什么局限性,你在实际复现时遇到了什么问题
- 如果让你基于这篇工作做改进,你会从哪个方向切入
- 你们团队的技术选型是否参考了这些结论,最终决策依据是什么
换一种问法,检查是否真正理解
场景切入
假设团队拿到一个开源基座模型,准备验证一条后训练路线。你会从自己真实读过的论文中选择哪些作为依据,并怎样区分论文明确披露的结论与未公开细节?
层层追问
最近完整读过哪些论文?……哪一篇与你准备的实验最相关?……论文公开了哪些方法和证据?……哪些结论不能迁移?……你会怎样把阅读转成一个可复现实验?