搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「字节」找到 219 条内容
按专题浏览 →匹配口述回答:…据、评测、提示和指标连续性影响。工程上应在同参数量、训练 token 和硬件下比较质量、训练吞吐、prefill、TPOT、KV 字节数和并发。Decoder-only 的合理性来自统一目标和系统复用,而不是神秘的规模门槛。 服务侧还要分清计算受限和带宽受限。Prefill 更像大矩阵计算,decode 常受 KV 读取和内存带宽影响;同一个优化对两阶段的收益可能相反。因此只报端到端平均延迟不够,还应分开记录 TTFT、TPOT、batch 和上下文长度。 从统一的 caus…
匹配口述回答:…响应。如果直接用768维,向量库可能要几十GB,检索延迟也高。我会先用384维的E5模型,可比较FP16/INT8的每坐标存储从4字节到2/1字节,或PQ子向量编码;这不是每个完整向量只有1–2字节。总索引、码本与运行时缓冲另计,延迟是否满足需要实测。当然,前提是业务对精度没那么敏感,召回率差一两个点能接受。如果场景是金融风控合同比对,一点语义差别都不能丢,那我会保留高维,配合[[HNSW]]索引和GPU加速来扛性能。 这里有个坑:很多人觉得维度越低越好,直接降到128甚至6…
匹配口述回答:…zation]],不是把32维变成4位:PQ把d维向量分为M段,每段用nbits位码字,裸编码长度约ceil(M×nbits/8)字节。例如768维FP32是3072字节,M=96、nbits=8的PQ编码为96字节,码本、ID和图开销另计;压缩比和质量变化不固定。这个取舍要看业务容忍度,例如可比较不同SQ/PQ码长,不能预设某种量化必然损失更小;如果是粗筛环节,用PQ把内存打下来更划算。 构建部署这部分,以[[Faiss]]为例,我会用index_factory一行代码搭出…
学习内容与项目面试,在同一条路上。