页面加载中…
搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Hard Search与Soft Search」找到 2 条内容
按专题浏览 →匹配正文:…ard Search:不可导,需用RL或Gumbel-Softmax等技巧,或采用"检索-重训"交替的pipeline,流程复杂 Soft Search:端到端可导,但softmax温度敏感——温度高则退化为均匀分布,温度低则逼近one-hot 工程实践 阿里实际采用两阶段策略: Hard Search做粗排,从十亿级降到千级 Soft Search在截断后的子集上精排,兼顾效率与端到端优化 学习建议 建议系统学习该知识点
匹配正文:…练方式 检索器固定或独立训练,生成模型无法反馈优化检索 联合训练,生成loss可回传优化检索编码器 知识存储 检索结果作为硬提示(hard prompt)拼接 检索向量通过注意力机制软融合(soft fusion) 核心区别:RAG将检索从"前置预处理"转变为"模型内部运算",典型如Dense Passage Retrieval + BART/GPT的联合优化。 二、信息融合机制 传统方法 检索Top-K文档直接拼接到输入上下文 问题:上下文长度爆炸、文档边界干扰、无法区分信…
学习内容与项目面试,在同一条路上。