搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Fine-tuning 选择」找到 164 条内容
按专题浏览 →匹配正文:…保留完整条款上下文,代码按函数/类切分 块大小与重叠窗口都作为候选变量,用同一评测集比较证据完整率、召回与成本 二、向量化:选型与微调 Embedding模型选择 场景 推荐方案 通用领域 BGE-M3、E5系列 垂直领域 领域语料微调M3-E或自研 多语言 多语言专用模型 微调要点:用领域内的(query, doc)正例对+In-batch负采样,提升领域语义对齐 三、检索策略:多路召回+精排 用户Query → 改写/扩展 → 并行召回 ├── 向量检索(语义相似) ├─…
匹配正文:答案要点 数据收集策略与来源选择 数据清洗与质量评估方法 Embedding模型选型与微调 向量索引结构选择(HNSW/IVF) 检索策略优化(重排序、混合检索) 知识库更新与维护机制 一、数据收集阶段 来源分类 结构化数据:数据库、API、Excel表格 非结构化数据:PDF、Word、网页、聊天记录 半结构化数据:Markdown、JSON、XML 关键原则 优先收集高频查询场景的数据 建立数据版本管理和溯源机制 二、数据清洗与预处理 核心步骤 格式统一:PDF转文本(处…
匹配正文:…ada-002:效果稳定,API便捷,成本高 Cohere Embed:多语言支持好,长文本优化 E5/MiniLM:英文场景轻量选择 3. 选型核心维度 必考虑因素: 语言覆盖:纯中文→BGE/GTE;中英混合→BCEmbedding或微调 上下文长度:短文本(512)vs 长文档(8K+) 向量维度:768/1024常见,维度越高存储成本越大 推理成本:边缘端选小模型(如bge-small),服务端可选大模型 进阶优化: 垂直领域建议用领域数据做对比学习微调 重排序(Re…
学习内容与项目面试,在同一条路上。