完整题目
在将传统判别式任务(如分类、匹配等)转化为生成式建模任务时,学术界有哪些典型方法(例如格式化输出、思维链引导、指令重构等)?请列举并比较这些方法的效果、适用场景及已有研究中的性能对比结果。
五类转化方式
- 格式化直接生成:把分类标签写成合法字符串或JSON字段,直接最大化目标文本似然,适合接口统一。
- Cloze与verbalizer:PET等方法把任务改写为带空位的模板,并用verbalizer把类别映射到词。PET的核心是对候选verbalizer概率评分,不是普通自由生成后的字符串排序。
- Text-to-text重构:T5把分类、匹配、抽取统一为文本输入到文本输出,可多任务训练。
- 指令与上下文示例:自然语言描述任务并提供示例;是否更新参数要区分in-context learning和instruction tuning。
- 推理提示与Self-Consistency:适用于确实需要多步且结果可验证的任务。Self-Consistency从随机采样的多条推理路径聚合答案,不适用于temperature=0的单一路径;产品不应保存或展示模型的隐藏推理文本。
不同论文的数字受模型、数据、示例数、解码和评测口径影响,不能跨设置直接排出通用胜负。普通分类先比较直接生成或verbalizer;只有任务存在可验证中间结果时再评估推理提示,并同时报告准确率、格式合法率、校准和推理成本。
图解
继续追问 · 3 个问题
- 这些方法在工业落地时最大的工程挑战是什么?
- 如果任务需要严格的概率输出(如风控场景),生成式方法如何保证校准性?
- 你实际项目中用过哪种转化方式,效果如何?