页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Soft Search」找到 4 条内容
按专题浏览 →匹配正文：核心概念 SIM（Search-based Interest Model） 是阿里提出的长序列建模方案，其检索模块包含两种策略： 策略 机制 本质 Hard Search 基于近似最近邻（ANN）从候选池检索Top-K 离散选择，不可导 Soft Search 通过注意力权重对所有候选做加权求和 连续分布，可导 三维度对比 1. 计算效率 Hard Search：推理时依赖Faiss/Milvus等ANN库，单次检索毫秒级；但训练时需维护大规模索引，索引更新有延迟 Soft …
匹配正文：…差 二、自动化优化策略 方法 类型 核心机制 代表工作 Prompt Tuning 连续优化 冻结模型，仅训练可学习的软提示嵌入（Soft Prompt） Lester et al., 2021 Prefix Tuning 连续优化 在KV层添加可训练前缀，比Prompt Tuning更深层 Li & Liang, 2021 P-Tuning v2 连续优化 多层插入软提示，解决小模型上的稳定性问题 Liu et al., 2022 AutoPrompt 离散优化 梯度触发词…
…个期望embedding，计算图仍只有一条路径，也只需要一份对应K/V。只有想精确保留多个离散候选并分别继续生成时，才像Beam Search那样为每个分支维护状态。不能说使用soft分布就必然为词表每个token缓存一份。 所以工程上默认选择一个token id，是因为训练数据、输出协议和搜索目标都定义在离散序列上。是否用贪婪或采样由质量、多样性和可复现性决定；如果研究连续松弛，就要单独训练或验证其分布偏移、计算成本和最终文本合法性。 Beam Search维护多个离散前缀…
学习内容与项目面试，在同一条路上。