推理优化学习专题

模型优化方法有哪些？

从训练、推理到部署，系统性提升大模型性能

#模型量化#KV Cache优化#分布式训练

vLLM vs TensorRT-LLM 怎么选?

主流推理框架吞吐量、延迟、内存优化对比

#vLLM#TensorRT-LLM#推理引擎

面试题评估· 百度

LLM 准确性提升四大路径

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

数据、训练、推理优化与外部增强四大路径可行性分析

#数据质量#训练策略#推理优化

#vLLM#TensorRT-LLM#llama.cpp

LLM 推理框架综合选型

主流 LLM 推理框架的性能、易用性和扩展性选型

13B模型INT8/INT4量化后多大?

量化后存储估算及对推理延迟、吞吐量、硬件资源影响分析

#模型量化#INT8/INT4#显存优化

#vLLM#TensorRT-LLM#llama.cpp

推理框架硬件支持对比

推理框架的硬件兼容与部署工作流，补充适用边界与工程取舍

FAISS 怎么实现高效 ANN 搜索?

IVF 与 PQ 索引结构原理,近似最近邻搜索核心机制

#向量检索#近似最近邻搜索#量化压缩

面试题推理优化· 得物

超长上下文怎么处理?

位置编码改进、分块策略与注意力优化三大手段

#长上下文#位置编码#稀疏注意力

面试题推理优化· 阿里

PyTorch 计算图怎么支持自动微分?

动态 vs 静态计算图设计,优势与局限详解

#自动微分#计算图#动态图

面试题推理优化· 美团

MoE 怎么增强 Agent 能力?

任务路由、模块化决策、多技能调度的技术实现与优势

#MoE架构#Agent系统设计#任务路由

面试题推理优化· 美团

可视化怎么诊断训练问题?

从损失曲线、梯度直方图识别过拟合与梯度消失,调整超参数

#训练可视化#过拟合诊断#梯度消失/爆炸

面试题项目与经历· 商汤科技

大模型项目缺陷修复

大模型项目常见缺陷与修复总览，补充适用边界与工程取舍

#过拟合#推理优化#输出稳定性

#VecEnv#环境并行化#Stable-Baselines3

数据分层为何不用大模型?

从成本、效率、边际收益分析超大规模模型的合理性与局限

#数据质量评估#模型规模权衡#成本效益分析

面试题推理优化· 快手

视频切帧怎么平衡效率与信息?

运动检测、关键帧提取、自适应采样等优化手段详解

#视频预处理#关键帧提取#运动检测

面试题推理优化· 商汤科技

工程化核心目标是什么?

从可靠性、可扩展性、延迟优化和成本控制四维度解析

#大模型工程化#系统架构设计#推理优化

面试题推理优化· 美团

VecEnv 怎么加速强化学习训练?

向量化环境工作原理、优势及实际配置方法

面试题推理优化· 海尔

显存优化技术原理与对比

梯度检查点、模型并行、量化等关键技术详解

#显存优化#梯度检查点#模型并行

KV-Cache 空间复杂度怎么算?

自回归推理中 KV-Cache 显存占用分析及优化策略

#KV-Cache#显存优化#自回归生成

DeepSpeed 核心特性与架构怎么用?

大模型训练中 ZeRO、混合精度、梯度检查点的典型场景

#DeepSpeed#分布式训练#ZeRO优化器

面试题模型架构· 京东

MLA 与 KV Cache 怎么用?

Multi-Head Latent Attention 原理及推理优化机制

#MLA#KV Cache#注意力机制

#注意力优化#ZeRO#Flash Attention

ZeRO 与 FlashAttention 各优化什么?

区分注意力计算、KV Cache 与 DeepSpeed ZeRO 训练状态分片

视频生成加速有哪些方法?

采样策略、帧间压缩、模型轻量化等关键技术详解

#视频生成#扩散模型加速#时序建模优化