页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Attention 局限性」找到 4 条内容
按专题浏览 →匹配题目：在基于Transformer的Agent系统进行多轮对话任务时，标准Attention机制存在哪些局限性？例如在长期依赖、上下文长度或推理效率方面的问题。
匹配正文：核心局限性分析 1. 上下文长度硬约束 标准Self-Attention的O(n²)计算/内存复杂度，导致实际部署中上下文窗口受限（通常4K-128K tokens） Agent多轮对话中，工具调用记录、观察结果、用户偏好等快速填满窗口，触发截断或滑动窗口遗忘 2. 历史信息稀释效应 Softmax归一化使Attention权重随序列长度增加而趋于平均化，早期关键信息（如任务目标、已确认的用户约束）被"淹没" 实验观察：超过20轮后，首轮系统指令的Attention权重常降至…
匹配正文：答案要点 说明两阶段检索的动机（召回vs精度的权衡） 解释向量检索的局限性（语义粗粒度、无法利用交互信息） 阐述Rerank的核心作用（细粒度语义匹配、计算资源后置） 提及常见的Rerank模型（Cross-Encoder、ColBERT等） 为什么需要Rerank 向量检索的固有缺陷 双塔架构（Query-Document独立编码）只能捕捉粗粒度语义，缺乏细粒度交互 Embedding维度受限（通常768/1024维），信息压缩导致精度损失 无法利用Query和Docume…
学习内容与项目面试，在同一条路上。