页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「提示工程」找到 421 条内容
按专题浏览 →匹配口述回答：…会自动完成这套状态机。PPO 使用标量奖励，不要求搜索结果或 reward 对 policy 参数可微。 【90秒主答】 流程从 prompt 数据集开始，policy 生成 action token。如果模型输出结构化 search call，环境解析工具名与参数，执行权限、注入和预算检查，调用搜索服务，把结果作为 observation 追加到上下文，policy 再继续，直到最终答案、超时或达到步数上限。整条 trajectory 要保留 action 与 observ…
匹配口述回答：…以k)仍然是O(L)。大多数优化是在降低KV头数、位宽、碎片或可见窗口，而不是把线性复杂度变成另一种阶。 估算服务总容量时还要区分prompt长度、已生成长度和最大预留长度。静态预留会产生浪费，连续批处理又会让不同请求不断进入和退出。因而容量模型最好直接读取模型配置中的层数、KV头数和头维，再结合请求长度分布计算分位数，而不是只按最大上下文乘并发数。 从缓存张量形状推导公式 用Llama-2-7B做可复算示例 澄清Llama 2不同规格的注意力类型 分类讨论五种优化 区分常数…
…义编码、融合特征还是重排模型。 若采用LLM生成解释，解释层不能反向修改排序事实，也不能泄露用户敏感特征。排序结果、特征版本和解释prompt都要留trace；出现争议时能回放当时候选与分数，确保生成文本只是受控展示层。 按召回排序重排拆系统 保留结构化特征模型 用LLM离线编码内容 在小候选集使用重模型 用时间切分和线上实验验证 约4分钟 为什么重模型通常更适合候选缩小后的重排，而不是面向全库粗排。 可继续讨论候选规模、ANN召回、缓存、蒸馏、延迟预算和收益归因。
学习内容与项目面试，在同一条路上。