共 3 篇文章
大模型LLMTransformerGPULLM
详解 大语言模型 的 KV 缓存工程
详解大语言模型KV缓存的工程优化。解释KV缓存为何随序列增长而占用GPU内存且被注意力反复读写，系统介绍12种减少/优化KV缓存的技术：GQA/MQA减KV头、跨层注意力、滑动窗口、MLA、量化、混合循环层、稀疏读取、驱逐、分页、前缀复用、Offloading等，按各技术减少的内容、适用场景与权衡逐一分析，适合推理工程师优化内存占用与吞吐。
2026-09-0812000
训练与推理系统GPU大模型LLM模型推理技术原理
详解大语言模型中的静态、动态与连续批处理
详解大语言模型推理中静态、动态与连续批处理三种策略。先解释批处理为何存在（权重只读一次、吞吐量随批次大小上升），再说明LLM因自回归解码产生的挑战（一次前向传播只出一个token、行依赖自身历史、成本未知）。对比三策略在何时固定批次及其缺陷，重点阐述连续批处理（迭代级调度）如何支撑现代推理吞吐量，以及分块预填充如何缓解卡顿，并附vLLM/SGLang配置示例。
2026-09-1011000
训练与推理系统GPUDeepSeek成本优化模型推理开源
非算法工程师也能看懂，推理框架的来龙去脉
继 DeepSeek 开源 DeepInfer，阿里云云原生科普推理框架：它把模型加载到硬件、接收请求、组织计算，在快、多、省、稳、准五个目标间取舍。文中讲透 Prefill 吃算力、Decode 吃带宽，KV Cache 是最紧的显存资源，连续批处理、前缀缓存、PD 分离如何降本提速；梳理 vLLM、SGLang、llama.cpp 等项目，跟一个请求走完接入、调度、执行、缓存、集群、采样六站。
2026-10-221000