页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Prompt 设计」找到 352 条内容
按专题浏览 →匹配正文：…的 off-policy RL，不是所有长序列或 RLHF 的通用解法。 延迟奖励要区分信号来源。典型 RLHF 奖励模型对完整 prompt-response 给一个序列级标量，训练中再叠加逐 token KL，并由 value function、return 或 GAE 把终局信号用于各时间步更新；这不等于奖励模型把偏好自动蒸馏成每步即时正确奖励。若有可验证中间状态，可以设计过程奖励，但需单独标注或校验其因果有效性。 多目标可用归一化加权、约束优化、词典序优先级或 Par…
匹配正文：…标。例如T5把多种NLP任务统一成text-to-text，FLAN研究指令微调的跨任务泛化，UIE探索统一信息抽取。它们证明相关设计在各自实验中有效，但不能拼成GLUE、SuperGLUE或业务场景上的无条件胜负排序。 我会为目标任务建立同一切分和预算，比较判别基线、prompt基线和微调生成方案。指标除了准确率或span-F1，还要看格式有效率、校准、延迟、吞吐、单位成本和失败样本。结构化输出应使用相同后处理规则，避免一方获得额外人工修正。 如果生成方案只在复杂长尾上有优…
匹配追问：…型给了两个不同回答，我们让标注员挑出更好的那个。你会怎么用这些数据训练一个奖励模型？具体说说输入长什么样、标签怎么搞、损失函数怎么设计。 层层追问 RLHF 里奖励模型是怎么训练的？……输入数据是什么形式？……标签怎么来的？……那损失函数用哪个？……训练完怎么用到 PPO 里，奖励信号怎么整合的？ 直球架构 请详细讲一下奖励模型的训练流程：输入数据的形式（比如 prompt 和 response 怎么配对）、人工偏好标签怎么构造（比如 pairwise 还是 k-wise）、…
学习内容与项目面试，在同一条路上。