你有莫得过这样的体验：向AI助手问一个问题，它想考了几秒钟，然后给你一段精彩的修起。你惊奇于它的智能，但阿谁“几秒钟”的恭候，总让你以为差了点什么。
另一边，ChatGPT、Claude、文心一言这些家具，背后的大模子一个比一个强盛，参数目动辄上千亿，能写诗、能编程、能看病。但一朝把它们部署到实验家具中，问题就来了——反映慢、资本高、并发一上来就崩。
这等于大模子行业的“临了一公里”问题：模子很奢睿，但用起来很慢。
这背后不是算力不够，而是推理架构的工程挑战。本文从时刻角度拆解，为什么大模子推理这样难，以及业界是如何处分这个问题的。
一、大模子推理的特有窘境
要意会大模子推理为什么难，先要意会它和传统AI推理的分裂。
1.1 传统推理 vs 自记忆生成
传统AI模子（比如图像分类、指标检测）的推理是一次性的：输入一张图，模子忖度一次，输出一个收尾。整个历程是固定长度的忖度，输入有多大，忖度量就有多大。
大模子（比如GPT系列）的推理皆备不同。它是自记忆生成的：模子一次只生成一个token（轻便0.75个英文单词），然后把重生成的token拼接到输入中，再生成下一个token。生成一段100个token的修起，模子要跑100次。
这意味着什么？生成一个短修起的忖度量，是图像分类的几十倍以致上百倍。而况跟着对话变长，忖度量线性增长——聊得越久，越慢。
1.2 推理的两个阶段：Prefill和Decoding
大模子的每一次生成，不错拆成两个阶段：
Prefill阶段（预填充）：模子读取用户输入的prompt，并行忖度总共token的稳定力矩阵。这个阶段忖度密集，但只作念一次。
Decoding阶段（逐词生成）：模子一个一个地生成新token，每生成一个，都要再行忖度面前token与之前总共token的稳定力。这个阶段是内存密集型的——主要的瓶颈不是算力，而是把模子权重从显存搬到忖度单位的速率。
用一个比方来意会：Prefill像是“阅读意会”——模子先把你的问题完整看一遍；Decoding像是“逐词修起”——每说一个字，都要纪念一下前边说过的总共字。修起越长，纪念的职责量越大。
1.3 KV Cache：用内存换时候
为了处分Decoding阶段换取忖度的问题，业界引入了KV Cache（键值缓存）。
旨趣很神圣：在Prefill阶段忖度好的稳定力键值对，缓存起来，Decoding阶段径直复用，不需要再行忖度。这是一种典型的“用空间换时候”——糟跶显存，换取更快的生成速率。
KV Cache的代价不小。以LLaMA-7B模子为例，生成2048个token时，KV Cache轻便占用1-2GB显存。若是同期处理多个恳求（比如同期工作10个用户），光是KV Cache就要吃掉10-20GB显存——这如故是一张A10显卡的全部容量了。
KV Cache的存在，让大模子推理的显存占用形成动态的：短对话占得少，长对话占得多。这让资源诊治变得荒谬复杂。
二、推理延伸的三大瓶颈
说了了了旨趣，咱们再来拆解延伸来自那边。
2.1 访存带宽：被忽略的罪魁罪魁
好多东说念主以为大模子慢是因为忖度量大。其实否则。
忖度一次矩阵乘法，GPU要作念的算术运算次数是固定的。但把模子权重从显存搬到忖度单位（SM）这个历程，浪费的时候持续比忖度自身还多。这是因为显存带宽的增长速率远低于算力的增长速率。
用数字话语：一张NVIDIA A100显卡的算力是312 TFLOPS（每秒312万亿次浮点运算），但显存带宽惟有1.5 TB/s。关于LLaMA-7B（约70亿参数），每生成一个token，需要把整个模子权重从显存中读取一遍。70亿个FP16参数占用14GB显存，读取一次需要约9毫秒——这还没初始算，光是把权重搬过来就花了9毫秒。
这等于为什么大模子推理被称为访存密集型任务：瓶颈不在忖度，在搬运数据。
2.2 动态批处理的衡量
为了擢升浑沌量，推理系统会使用动态批处理：把多个用户的恳求攒在通盘，一次性提交给GPU忖度。
这样作念的平允是减少GPU的清闲时候——GPU的并行才智很强，一次算1个请乞降一次算8个恳求，时候差不了太多。坏处是：攒恳求的历程需要恭候，会让单次恳求的延伸增多。
批处理大小
单恳求延伸
举座浑沌量
1
50ms
20 req/s
8
65ms
123 req/s
32
120ms
267 req/s
64
210ms
305 req/s
从数据不错看出：批处理大小从1增多到8，浑沌量擢升了6倍，葡萄新京官方网站2026中国最新版延伸只增多了30%；但从8增多到64，浑沌量只擢升了2.5倍，延伸却翻了3倍。这是一个需要精良调优的衡量。
2.3 变长序列的处理着力
用户的输入长度是飞速的——有的只问一句话，有的贴一篇论文。GPU对这种变长序列的处理着力很低。
原因在于GPU的并行忖度模子：它条目总共恳求的忖度体式一致。处理变长序列时，系统会把总共恳求填充(padding)到肃清个长度，短的恳求后头补上无效数据。这会导致多量算力浪费在填凑数据上。
顶点情况下，9个短请乞降1个长恳求通盘批处理，忖度量可能比单沉静理10个长恳求还大——因为填充带来了广阔的浪费。
三、业界的主流优化决策
靠近这些窘境，学术界和工业界建议了一系列处分决策。
3.1 量化：让模子变“轻”
量化是当今最闇练、最灵验的加快技能。中枢想想：把模子权重从高精度（FP16）迁徙成低精度（INT8、INT4）。
FP16的每个数值用16位默示，INT8只用8位——体积粗放一半，INT4粗放到四分之一。体积变小意味着：显存占用减少、访存时候缩小、推理速率变快。
量化的代价是精度亏空。好音问是，当代量化时刻（如GPTQ、AWQ）不错把精度亏空适度在0.5%-1%以内，关于大多数应用场景皆备不错接纳。
实测数据显现，INT8量化后的LLaMA-7B模子，推理速率擢升约2倍，显存占用减少50%；INT4量化的速率擢升约3-4倍，显存占用减少75%。
3.2 FlashAttention：IO感知的稳定力算法
轨范的Attention忖度需要把整个稳定力矩阵（序列长度×序列长度）写入显存再读出。当序列很永劫（比如处理一篇长文档），这个矩阵可能大到几十GB，远超显存容量。
FlashAttention的中枢瞻念察是：为什么不径直在SRAM（片上高速缓存）里忖度稳定力，省却写入显存的历程？
FlashAttention通过分块忖度和重排序，把稳定力矩阵的忖度拆成多个小块，每个小块皆备在SRAM内完成，不需要中间收尾写入显存。着力惊东说念主：在长序列场景下，FlashAttention比轨范Attention快2-4倍，显存占用从二次方降到线性。
当今FlashAttention如故成为大模子推理的事实轨范，主流的推理框架（vLLM、TensorRT-LLM）都内置了这项时刻。
3.3 PagedAttention：操作系统的灵感
vLLM建议的PagedAttention鉴戒了操作系统的编造内存想想。
传统决策的KV Cache是邻接存储的——每个恳求的KV Cache占用一块邻接的内存空间。当恳求长度变化时，需要广泛地分拨、开释、出动内存，导致显存碎屑化，应用率广泛在60%-70%。
PagedAttention把KV Cache分红固定大小的“页”（广泛16KB或64KB），不条目邻接存储。这带来了两个平允：显存应用率擢升到90%以上，不错零拷贝地分享全国前缀（比如系统指示词）。
实测中，vLLM的浑沌量是传统决策的10-20倍——这不是渐进式篡改，是数目级的颠覆。
3.4 推测解码：用“小奢睿”换速率
这是最反直观的优化：用一个小模子来帮大模子“猜词”。
旨趣如下：小模子（比如参数目惟有1亿）生成速率很快，但质地一般。大模子（参数目100亿）质地高，但生成慢。推测解码让两个模子协同职责——小模子先快速生成多少个候选token，大模子一次性考据这些token是否正确。
因为大模子考据一批token的忖度量和生成一个token差未几，举座速率就上来了。在代码生成等详情趣较强的场景，推测解码不错将推理速率擢升2-3倍。
四、不同场景的选型建议
大模子推理莫得放之四海皆准的决策，决策需要基于具体场景。
场景
延伸条目
浑沌量条目
保举决策
及时对话机器东说念主
中
INT4量化 + FlashAttention + 小批处理
离线批量处理
不敏锐
极高
INT8量化 + 大宗处理 + PagedAttention
长文档摘抄
中等
低
FlashAttention + 推测解码
边际开辟部署
低
INT4/INT8量化 + 小模子蒸馏
若是你的场景是及时对话：优先保证延伸，遴荐小批处理（batch size 4-8），结合INT4量化和FlashAttention。
若是你的场景是离线批处理：优先保证浑沌量，遴荐大宗处理（batch size 32-64），结合PagedAttention提高显存应用率。
若是你的场景是长高下文（比如处理几十页的PDF）：FlashAttention是必备时刻，PagedAttention也能匡助料理动态增长的KV Cache。
五、总结与议论
大模子推理的“临了一公里”问题，实验上是一个系统工程问题——不是模子不够强，而是如何让它在实验场景中跑得又快又低廉。
当今业界的优化成见正在从“单一时刻冲突”转向“全栈协同优化”：
算法层：量化和稀罕化在握续演进，1-bit量化如故初始参预实用阶段
系统层：PagedAttention首创了新的想路，明天可能会出现更多鉴戒操作系统策画的时刻
硬件层：GPU厂商初始在芯片中集成特殊的Attention忖度单位，推理速率有望再擢升一个数目级
关于开发者和企业来说，选用推理决策时应该记取三个原则：
先用最神圣的决策跑通，不要过早优化
识别果然的瓶颈——是访存带宽、忖度才智，如故显存容量？
系统性评估——延伸、浑沌、资本三者之间的衡量，莫得完好的决策，惟有最合适的弃取
回到开首的问题：为什么AI很奢睿，但用起来很慢？
谜底不是“算力不够”葡萄新京官方网站2026中国最新版，而是“咱们还在学习如何让奢睿的大脑跑得更快”。大模子从“能用”到“好用”，需要的不是更奢睿的模子，而是更奢睿的工程。