搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「评测」找到 328 条内容
按专题浏览 →匹配正文:…重、优化器、激活和通信缓冲的dtype与分片方式,再用框架峰值显存校准。对全参、LoRA和QLoRA固定数据、token、训练步和评测集,扫学习率、rank、target modules与量化配置。质量侧看目标任务、通用能力和安全回归;系统侧看训练吞吐、峰值显存、checkpoint大小、加载和多租户成本。若PEFT满足质量门槛且需要多任务适配,它通常更经济;不能只凭参数比例下结论。 还要分清checkpoint大小与训练峰值显存。LoRA文件可能只有几十或几百MB,但前向仍…
匹配正文:…代码工具要用隐藏测试,检索任务要检查引用是否支持结论,带副作用操作要在沙箱或审批下执行。不能只用格式正确或工具调用次数作为成功。 评测时我会在未见任务和真实工具环境中报告最终成功率、恢复率、无效调用、成本、延迟与约束违例,并按失败类型看覆盖。训练数据版本、环境版本和策略版本都要可追溯。比例只是实现参数,真正目标是让数据持续覆盖当前策略最有价值且风险最高的决策边界。
匹配正文:…能证明 SFT 与 RL 必须周期性交替,也不能证明再次 SFT 会自动恢复预训练知识。是否迭代,要由新增失败样本、奖励漂移和独立评测决定。 机制与边界 SFT提供可读、可执行的初始行为,也让后续策略采样落在相对合理的区域。偏好学习再比较多个候选,优化帮助性、安全性或任务成功率。PPO类方法可利用当前策略新采样的回答,但也可能过度优化奖励代理并偏离参考分布。DPO等离线偏好方法不需要训练时 rollout,仍受数据覆盖影响。真实工程可以重采样回答、补偏好标签、重训奖励模型,再…
按学习路线查看教程、项目和面试题。