搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「语义切分」找到 48 条内容
按专题浏览 →匹配口述回答:…“报销流程”可能用模糊描述,但查“SOP-2024-01”这种编号就必须靠关键词,所以两条路都得有。再一个就是[[分块]]策略,按语义切分比固定窗口好,但遇到表格或代码块,就得保留结构完整性。另外[[重排]]也很关键,用[[Cross-Encoder]]精排能显著提升top-K质量。 生成侧,我倾向于先做提示工程,比如强制要求引用来源,格式像“根据文档[3]”,这样幻觉率能降不少。如果还不够,再考虑[[SFT]]微调,用检索到的上下文做监督数据训练模型更忠实。后处理加个事实核…
匹配口述回答:…的'配个[[向量库]]就行'。有几个风险我特别关注。一是文档切分策略,[[Chunk]]太大包含无关信息,太小丢失上下文,我倾向用语义切分配合重叠窗口。二是检索延迟,大规模知识库下,[[ANN]]检索可能变慢,需要做索引优化,比如用[[HNSW]]或[[IVF-PQ]]。三是生成质量,检索到的信息可能冗余或冲突,需要Prompt设计或Rerank来整理。 另外,单纯RAG处理多跳推理问题比较吃力。比如问'2023年双十一满减规则和去年比有什么变化',需要先检索2023年规则,…
…345的状态”,但你分块时把整个订单详情页当成一个大块,检索出来一堆无关信息,模型就糊涂了。所以我会特别关注Chunk策略,比如用语义切分而不是固定字数,或者用[[Parent Document]]保留上下文层级。另外,检索本身也不能只靠向量相似度,我通常会把[[Hybrid Search]],就是向量加[[BM25]]关键词,结合起来,再经过[[Rerank]]重排,才能把最相关的那几段送到模型面前。 再一个,RAG的评估也是个头疼事。你不能只看模型回答得顺不顺,还得看它有…
学习内容与项目面试,在同一条路上。