搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「分块」找到 126 条内容
按专题浏览 →匹配正文:常见分块策略对比 1. 固定长度分块 实现:按token数或字符数硬切分(如512 tokens) 优点:实现简单、Embedding批次处理高效、便于控制上下文长度 缺点:边界可能切断语义(如"深度学习...的优化方法"被拆开),导致检索片段不完整 适用:通用场景、对延迟敏感、文档结构松散时 2. 语义边界分割 实现:按句子(NLTK/spaCy)、段落(\n\n)、或主题模型(如BERTopic)切分 优点:保留语义完整性,检索结果可读性强 缺点:块大小不均,可能过长(超…
匹配正文:答案要点 文本预处理策略(分块、清洗、元数据保留) Embedding模型选型依据(中英双语、上下文长度、领域适配) 向量生成与批量优化 归一化的作用(余弦相似度计算) 实际工程中的注意事项(并发、缓存、版本管理) 文本预处理 核心目标:保留语义完整性,控制块大小 文档解析:PDF用PyMuPDF/MinerU,HTML去标签,表格保留结构 分块策略:按语义段落切分,并比较多组 chunk size 与 overlap 候选,用同一评测集验证边界召回和成本 清洗降噪:去页眉页…
匹配正文:答案要点 RAG(检索增强生成)= 给大模型外挂一个可实时更新的知识库:先检索、再基于检索材料生成 核心流程:文档解析 → 分块(Chunk)→ 向量化(Embedding)→ 入向量库;查询时检索 → 重排 → 拼入 prompt 生成 优势:知识可实时更新、答案可溯源、幻觉显著降低、不需要重训模型 局限:效果强依赖检索质量(切分不当/纯向量检索对 ID 类文本失效),链路长、延迟与成本上升 与微调的边界:微调学「格式与风格」,RAG 注「事实与时效」,生产中常两者结合 工…
按学习路线查看教程、项目和面试题。