搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「延迟」找到 588 条内容
按专题浏览 →匹配口述回答:…tency)结合,通过多次采样投票提升稳定性 面试官可能会追问自一致性的具体实现、采样次数对效果和成本的影响,以及如何平衡准确率和延迟
匹配口述回答:…产环境里,我倾向用动态示例检索,从示例库里用[[Embedding]]召回最相似的几个,比固定示例准得多。但代价是多了检索这一步,延迟会高。 接下来说推理增强,这是处理复杂任务的核心。[[Chain-of-Thought]]是最经典的,让模型一步步推理,数学题、逻辑题特别好使。但它的随机性也比较大,所以后来有[[Self-Consistency]],跑多条推理路径再投票,稳定性提升不少。再复杂一点的任务,比如要探索多种决策路径的,可以用[[Tree-of-Thoughts]]…
匹配口述回答:…我一般会先做粗召回,用段落级索引把相关的文档块找出来,然后再用句子级索引做精排,这样既快又准。但这也引出一个问题:两层索引的存储和延迟怎么平衡? 所以整体上,我不会一开始就堆所有优化。我会先分析 bad case,看是'召不回'还是'召不准'。召不回,可能分块太大或者 Embedding 模型不够好;召不准,可能元数据过滤没做或者重排不够。我更倾向先定位瓶颈,再针对性优化,而不是一股脑全上。 一句话点题:索引优化本质是解决'怎么存'和'怎么找'的匹配问题 分块策略:语义切分 …
按学习路线查看教程、项目和面试题。