搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「LLM微调策略」找到 10 条内容
按专题浏览 →匹配题目:从模型架构、训练数据、微调策略或外部增强方法(如RAG、校验机制)等角度,探讨提升类似ChatGPT这类大语言模型输出准确性的可行方案。
匹配题目:假设你有一个大语言模型(LLM),需要将其输出限制在一个预定义的封闭标签集合内(例如分类任务),请设计一种可行的技术方案,包括提示工程、解码约束、后处理或微调策略。
匹配标题与标签:…RA、Adapter 等方法对比,适用场景与优缺点详解 模型训练 全参数微调 LoRA Prompt Tuning 参数高效微调 微调策略选择 2026真题 大模型微调 Adapter 大模型训练与微调 得物
学习内容与项目面试,在同一条路上。
匹配正文:…化:多路召回、HyDE(假设文档嵌入)、Self-RAG(反思token) 局限:检索失败时幻觉反而加重,需配合置信度校准 2. 微调策略 事实性SFT:用高质量QA对训练,强化"不知道就拒绝" 偏好对齐:RLHF/DPO中引入事实性奖励,惩罚幻觉输出 知识蒸馏:从大模型蒸馏事实性强的推理链到小模型 3. 推理时干预(Inference-Time Intervention) 不修改模型,在生成过程中干预: 方法 机制 代表工作 对比解码 对比大模型与浅层输出,抑制幻觉 DoL…