页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「注意力机制」找到 29 条内容
按专题浏览 →匹配口述回答：…通信。显式通信像CommNet，[[智能体]]之间直接发消息，优点是可控，缺点是带宽受限；隐式通信像MADDPG，通过参数共享或者注意力机制隐式协调，扩展性好，但调试困难。落地时很少只用一种，比如机器人调度里，我会让相邻机器人显式交换位置信息，全局协调用隐式注意力，这样既高效又省带宽。接着说训练范式，现在最主流的就是集中训练分布式执行，也就是CTDE。训练时critic能看到全局信息，actor只用自己的局部观测；执行时完全分布式，这样既解决了非平稳问题，又保留了分布式部署的…
匹配口述回答：…大越好，关键在于怎么在有限窗口里放最有效的信息。我更倾向用截断加 RAG 的组合，而不是盲目堆窗口。 一句话定位：上下文窗口本质是注意力机制的计算和显存瓶颈 限制的三个原因：注意力平方增长、位置编码失效、KV缓存膨胀 三种应对方案及适用边界：截断、摘要、RAG 工程组合拳：近期原文+远期摘要+知识库RAG，以及一个业务例子 约2分钟 窗口大了还会出现Lost in the Middle问题，需要配合位置编码外推技术。 面试官可能追问Lost in the Middle的具体表…
…比如算 P(点击=1|x)，或者直接打个分，然后按分数排序。生成式模型做的是分布建模，它要生成整个序列，所以物品之间的关系是通过自注意力机制显式捕获的，不是靠隐式的 [[embedding]] 相似度。输出形式也不一样，判别式只能给一个排序列表，生成式可以直接输出物品 ID、推荐理由、甚至对话回复，灵活性更高。 但落地的时候有几个坑。先看推理延迟，这是最直接的，自回归生成是逐个 token 出的，比向量内积检索慢很多，线上 P99 延迟很容易超 100ms。接着说 ID 词汇…
学习内容与项目面试，在同一条路上。