页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「对比学习」找到 39 条内容
按专题浏览 →匹配正文：…可被联合任务使用的表示，但不要求所有模态从一开始就在同一个共享空间。常见结构包括： 双塔对齐：CLIP用图像编码器和文本编码器，经对比学习得到可比较embedding，适合检索和零样本分类。 桥接模块：BLIP-2用Q-Former连接冻结视觉编码器与冻结LLM；投影器也可把视觉特征映射成语言模型token。 Cross-attention：Flamingo先用Perceiver Resampler整理视觉特征，再由语言模型中的gated cross-attention读取，…
匹配正文：…语拉回来 微调的思路(不一定从零训):准备领域的"问题 — 正确 chunk"配对当正样本,配上不相关的 chunk 当负样本,用对比学习(如 MultipleNegativesRankingLoss)在通用 BGE 上继续训练,把相关的拉近、不相关的推远。 业内行话:微调不是"必选项",而是"召回实在上不去时的杀手锏"。先把切分、混合检索、重排都做好,这些通常比微调见效快、成本低;等这些都到位、召回还卡在专业术语上,再上微调。顺序搞反了,你会花大力气微调却收效甚微。 🏆 …
匹配正文：当前多模态模型的挑战要从具体能力说，而不是笼统说看不懂图。CLIP式图文对比学习擅长学习全局语义对应，但全局相似不等于能定位对象、区分属性、读取小字或判断两个对象的空间关系。模型能识别画面主题，也可能在计数、左右、遮挡和指代上失败。 数据是主要限制之一。网页图文对常只有弱相关描述，caption会遗漏画面中的对象、关系与否定信息；OCR、区域短语、跨帧动作和专业图像需要更细的标注。合成描述可以扩量，也会继承教师模型幻觉。训练前要做许可、隐私、去重与细粒度抽检。 评测必须按能力…
学习内容与项目面试，在同一条路上。