搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「RAG 数据清洗」找到 16 条内容
按专题浏览 →匹配题目:在构建RAG系统时,如何设计数据清洗流程?常见的文本切块(Chunking)策略有哪些,各自适用于什么场景?
匹配正文:…y测试检索Top-K命中率,结合LLM评估生成质量,反向驱动分块策略、Embedding微调、索引参数调优。 学习建议 建议先掌握RAG整体架构,再分步学习数据清洗、分块策略和嵌入原理,结合开源工具如LangChain和FAISS动手实践,加深理解。 参考资料 Pandoc官方输入格式 ColBERT原论文:文本late interaction ColPali原论文:视觉文档检索 Faiss官方索引、增量与存储
匹配口述回答:这道题问的是搭建领域[[RAG]]的完整流程,其实本质就是一件事:把外挂知识库里的信息准确找出来,再让大模型读明白、说人话。它不是微调模型学知识,而是查文档加读文档的工程化。 先说数据准备。很多人一上来就[[向量化]],其实质量天花板在数据清洗和[[分块]]。清洗不难,去重去噪、统一格式就行,但领域数据有个坑:专业术语容易被通用[[分词器]]切碎。比如医学里的“非小细胞肺癌”,拆成“非”“小细胞”“肺癌”就丢语义了。所以前提是建一个领域词典,把这类复合词保留。 分块才是真正的…
学习内容与项目面试,在同一条路上。