搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「模型架构」找到 83 条内容
按专题浏览 →匹配标题与标签:… 大模型优化三方向 架构、训练目标、输出格式三方面适配任务分解与工具调用 Agent 得物 Agent Agent 大模型优化 大模型架构设计 任务分解 工具调用 得物
匹配正文:…差固化:自回归生成高度依赖历史曝光,难以突破信息茧房 推理效率约束:自回归解码延迟高,难以支撑在线实时推荐 四维度改进方向 1. 模型架构:从"纯生成"到"生成-判别协同" 方向 具体思路 判断依据 Diffusion+LLM混合 Diffusion负责候选集生成(多样性),LLM负责重排序(个性化) 可作为候选生成研究方案;多样性、质量和延迟需与自回归及判别基线实测 多模态统一生成 图文视频统一token化,端到端生成推荐理由+封面+标题 小红书内容形态丰富,模态对齐能提升…
匹配正文:…系数>0.6) 困难样本挖掘:模型置信度接近0.5的pair优先标注 领域覆盖:电商场景需覆盖售前咨询、售后、比价等细分场景 二、模型架构 三阶段RLHF流程 SFT:用高质量对话数据监督微调,建立基础对话能力 Reward Model:输入(prompt, response)输出标量分数,常用架构在最后一层加回归头 损失函数:-log σ(r_θ(x,y_w) - r_θ(x,y_l)) 多任务扩展:多维度分数→加权求和或MoE结构 强化学习:PPO(需KL散度约束防崩溃)…
学习内容与项目面试,在同一条路上。