页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「BERT」找到 51 条内容
按专题浏览 →匹配追问：为什么BERT（Encoder-only）不适合直接做生成任务，而T5（Encoder-Decoder）在GPT时代逐渐式微 Decoder-only架构在理解任务上是否存在劣势，如何弥补 未来是否可能出现新的架构范式挑战Decoder-only的主导地位 场景切入 假设你要做一个人脸客服机器人，用户问“帮我查一下订单”，然后追问“那退款呢？”——你为什么要用GPT那样一个模型从头生成到尾，而不是专门走一个理解模块再生成？ 层层追问 你了解现在主流大模型都长什么样吗？……对，…
匹配口述回答：…解后再表达’。 具体方法主流有三种：前缀引导、自然语言指令和[[思维链]]。先说前缀引导，就是直接把分类标签改成生成目标，比如原来BERT做情感分类是‘文本[SEP]标签’，现在改成‘生成：正面’。这个方法改动最小，迁移成本低，但有个明显的天花板，它没利用上模型对指令的理解能力，说白了就是把生成模型当判别模型用，上限有限。 然后是自然语言指令，比如‘请判断以下文本的情感：{文本}→{标签}’。这种方法跟预训练分布更对齐，[[零样本]]泛化能力很强，而且多任务可以统一成一个模板…
匹配口述回答：…规则融合。这里有个坑：稠密向量的质量很大程度上取决于[[Embedding]]模型是不是在目标数据上调过。如果直接拿通用模型，比如BERT，去搜小红书那种口语化、带表情、图文混排的内容，召回率会很难看。所以我上线前一定会做对比实验，拿一批真实query，人工标注相关文档，算 Recall@K。如果召回率不达标，我会考虑用对比学习微调，负样本采‘难负例’，比如同batch其他样本或者BM25高分但不相关的文档。 还有一个点值得注意：向量的维度选择对检索精度和存储成本影响很大。比…
学习内容与项目面试，在同一条路上。