搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Rerank 策略」找到 279 条内容
按专题浏览 →匹配正文:答案要点 检索阶段:分块策略、embedding选型、多路召回、重排序优化 上下文处理:窗口长度控制、冗余去重、相关性过滤 生成阶段:prompt工程、引用溯源、幻觉抑制 系统层面:延迟优化、缓存策略、离线评估体系 一、检索质量 分块策略 按语义分块优于固定长度,可用LLM辅助判断边界 块大小一般256-512 tokens,需保留上下文重叠(overlap) 表格/代码等特殊内容需单独处理,不能粗暴切分 Embedding与召回 领域数据务必微调embedding,通用模型…
匹配正文:答案要点 温度采样与Top-p/Top-k采样的参数调优 重复惩罚机制(Repetition Penalty)的实现 多样性重排序(MMR、DPP等)的应用 多目标优化在训练阶段的引入 后处理过滤与去重策略 生成式推荐控制多样性的核心思路是**"解码干预 + 后处理重排 + 训练优化"三层架构**: 一、解码阶段:采样策略调参 温度采样(Temperature):T>1增加随机性,T<1更确定;推荐场景通常T=0.7~1.2试探 Top-p(Nucleus)+ Top-k:限…
匹配正文:答案要点 文档预处理与分块策略(固定长度/语义分块/递归分块) Embedding模型选择与向量索引构建 检索策略(稠密+稀疏混合检索) 重排序优化 Prompt工程与上下文窗口管理 1. 文档处理与分块 核心目标:将原始文档转化为适合检索的粒度单元 清洗:去除HTML标签、特殊字符、重复内容 分块策略: 固定长度分块(512/1024 tokens)+ 滑动窗口重叠 语义分块:按段落/句子边界,保持语义完整性 递归分块:先按大粒度分割,再细化处理 元数据保留:记录文档来源、…
学习内容与项目面试,在同一条路上。