页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「LLM 评测」找到 218 条内容
按专题浏览 →匹配口述回答：…于早停、选 checkpoint 和调超参数，反复使用后也会产生选择偏差，所以最终结果还要由未参与选择的测试集或未来时间窗口确认。大模型预训练同样会监控 held-out loss，并不是通常没有验证集。Adam 的二阶矩只是梯度平方的移动平均，用来调节步长，不能当作收敛证明。 【90秒主答】 训练收敛回答的是优化过程是否还在显著改善训练目标。可以观察 loss 的平滑趋势、不同 token 区间的变化、梯度范数、update-to-weight ratio、学习率和 NaN…
匹配正文：…不能保证消除。最终应先在单机小规模 profile 峰值显存和 tokens/s，再按通信效率扩展，并预留 checkpoint、评测和故障恢复资源。
匹配正文：…或整段循环，并且不能在合适位置结束。先要把它与任务本身要求的重复区分，例如代码中的变量复用、歌词结构或用户要求逐字引用都不算故障。评测时可以统计重复片段、连续相同n-gram、异常长度和EOS缺失，再结合人工样本确认。 训练数据重复会改变经验分布。同一文档或模板反复出现，相当于在损失中获得更高权重，模型更容易记住这些序列，也会浪费训练预算。近重复还可能跨越训练与评测集合，制造虚高指标。但这并不意味着只要有重复数据，模型就一定在解码时进入循环；是否循环还受到上下文、模型容量、训…
学习内容与项目面试，在同一条路上。