页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「INT8/INT4」找到 4 条内容
按专题浏览 →匹配正文：核心判断 13B模型只算权重时，FP16或BF16约为260亿字节，也就是26GB十进制容量；INT8约13GB，INT4约6.5GB。换成二进制单位分别约24.2GiB、12.1GiB和6.1GiB。真实文件和显存会多出量化 scale、zero point、分组元数据、对齐与运行时缓冲，还要另外容纳激活和KV缓存，因此这些数字只能做裸权重下界。 机制与边界 量化影响取决于权重位宽、激活位宽、量化粒度、校准数据和内核。GPTQ与AWQ常见的是权重量化、激活保持较高精度；权重…
匹配正文：…f；evaluation_set_missing → metrics-proof。 下一步：failure。 配套学习：13B模型INT8/INT4量化后多大?、工程化核心目标是什么?。 6. metrics · metrics-proof 请先固定模型、硬件、输入输出长度、并发和预热条件，再给出吞吐、TTFT、TPOT 与 P95；测试条件不一致时不要直接比较。 考察重点：二次核验缺失的指标证据；仍无法提供时，在复盘中标记为“只有知识，没有项目事实”。 吞吐、TTFT、TP…
匹配正文：…度。 较难 → 【显存优化】 训练或推理时显存不足是常见瓶颈,有哪些有效的显存优化技术? 中等 → 【量化】 对 13B 模型做 INT8 / INT4 量化后,存储和推理会受什么影响? 中等 → 【高并发会话状态】 多用户并发的 Agent / 对话系统,会话状态怎么存储和管理? 较难 → 自检清单 能讲清「训练好的模型」和「能上线的服务」之间隔着什么(并发 / 延迟 / 成本 / 稳定性) 能说出推理的关键指标(TTFT / TPOT / 吞吐 / 单次成本)和延迟与吞吐…
学习内容与项目面试，在同一条路上。