页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Embedding检索」找到 478 条内容
按专题浏览 →匹配正文：…nner） Haystack 工业级NLP流水线，偏重RAG Pipeline 典型协作模式 数据层：LlamaIndex（索引+检索） ↓ 编排层：LangChain（Agent决策+工具调用） ↓ 模型层：OpenAI/Claude/本地模型 场景示例：企业智能客服 LlamaIndex构建产品手册的向量索引+关键词索引混合检索 LangChain Agent判断用户意图，决定直接回答/检索知识库/转人工/调用订单API 选型建议 场景 推荐方案 纯RAG应用 Llama…
匹配正文：…缓存 工具输入→输出映射 TTL+版本号，高频工具设30s-5min LLM输出缓存 相似query的完整推理链 语义相似度匹配，embedding检索 前缀缓存 多轮对话的KV Cache vLLM自动管理 3. 请求调度优化 优先级队列：区分实时/异步任务，VIP用户走独立队列 批量合并：相同工具的请求攒批（batch=4-8），提升GPU利用率 背压机制：队列长度超阈值时快速拒绝或降级 4. 资源分配 工具分级：慢工具（>500ms）单独部署，避免阻塞主链路 动态扩缩容…
匹配正文：…率问题呈乘法放大效应——Agent的多步决策特性使RAG缺陷被反复累积。 一、响应延迟的成因与优化 延迟来源 具体成因 优化方案 检索层 向量库冷启动、跨地域查询、Embedding计算 预加载热数据到内存；本地缓存高频Query的Embedding；采用HNSW+量化索引 Agent决策层 ReAct多轮迭代、工具调用链过长、LLM推理本身 设置最大迭代阈值；并行化独立工具调用；用小模型做意图路由，大模型仅做最终生成 编排开销 服务间RPC、序列化、状态同步 同机部署检索与…
学习内容与项目面试，在同一条路上。