页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Adapter」找到 17 条内容
按专题浏览 →匹配正文：…ank与target modules中，最优配置对模型和任务敏感。复杂任务不等于真实更新必然高秩，只有消融才能判断容量是否不足。 Adapter通常在Transformer层中插入带瓶颈的可训练模块，引入额外前向层和非线性；它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。 IA3学习少量乘性向量，对注意力和前馈中的激活进行缩放，参数形式与LoRA不同。它可能非常节省参数，但没有普遍证据说明训练一定…
匹配正文：…以下结构组织： 任务与基线：模型【名称/版本】、任务【】、基线指标【口径】、硬件和预算【】。 方法选择：全参数微调、LoRA 或 Adapter 中实际使用的是【】。说明选择依据是可训练参数、显存、数据量、质量和部署方式，而不是给出通用优劣。 数据：来源与许可【】、去重与清洗【】、训练/验证/测试按【用户/时间/实体】切分、泄漏检查【】、版本【】。 训练配置：框架与版本【】、精度【】、学习率与调度【】、batch/累积【】、LoRA 目标层与 rank【如实际使用】。 挑战与…
匹配正文：核心判断 全参数微调更新全部权重，容量最大但训练状态昂贵；PEFT只训练小部分新增或选定参数，常见有Adapter、Prefix Tuning、Prompt Tuning、LoRA，QLoRA还让梯度穿过冻结的4bit基座训练LoRA。选择要看数据规模、任务偏移、部署方式和质量门槛。7B模型做混合精度Adam时，光两个FP32一阶、二阶矩状态就约560亿字节，也就是56GB，不是14GB。 机制与边界 完整显存账本不能只算优化器。7B权重若以BF16或FP16保存约14GB，…
学习内容与项目面试，在同一条路上。