KV Cache 推理效率自查

自查清单

KV Cache 是否使用分页管理？

vLLM PagedAttention 将 KV 内存浪费降至近零。若仍使用连续内存分配，存在 30-60% 碎片浪费，显著增加 GPU 显存压力。

压缩算法的注意力偏差是否 < 1%？

StreamingLLM 偏差约 1.2% 已超出安全阈值。INT8 量化偏差仅 0.2%，H2O 偏差 0.5%，SnapKV 偏差 0.6%——这三者均可安全使用。

是否启用 KV Cache 跨请求共享（Prefix Caching）？

多租户场景下前缀缓存可节省 40-60% 计算。vLLM 原生支持，需确认生产环境已启用。

KV Cache 操作是否有审计日志？

合规要求所有压缩/卸载/驱逐操作具备 Ed25519 签名审计记录。企业交付必须附带 sigil 签封的审计包。

缓存数据是否可按用户粒度擦除？

GDPR Art.17 与个保法 Art.47 要求数据主体有权要求删除。系统需支持按 session/user 粒度擦除 KV 缓存数据。

压缩算法对比（7 模型 @ 8192 tokens）

模型	算法	压缩比	偏差	结果
qwen2.5-7b	none	1.00	0.0000	PASS
qwen2.5-7b	int8	0.50	0.0020	PASS
qwen2.5-7b	int4	0.25	0.0080	PASS
qwen2.5-7b	h2o	0.30	0.0050	PASS
qwen2.5-7b	streamingllm	0.20	0.0120	FAIL
qwen2.5-7b	sparse	0.35	0.0040	PASS
qwen2.5-7b	snapkv	0.28	0.0060	PASS
qwen2.5-14b	none	1.00	0.0000	PASS
qwen2.5-14b	int8	0.50	0.0020	PASS
qwen2.5-14b	int4	0.25	0.0080	PASS
qwen2.5-14b	h2o	0.30	0.0050	PASS
qwen2.5-14b	streamingllm	0.20	0.0120	FAIL
qwen2.5-14b	sparse	0.35	0.0040	PASS
qwen2.5-14b	snapkv	0.28	0.0060	PASS
deepseek-r1-distill-qwen-7b	none	1.00	0.0000	PASS
deepseek-r1-distill-qwen-7b	int8	0.50	0.0020	PASS
deepseek-r1-distill-qwen-7b	int4	0.25	0.0080	PASS
deepseek-r1-distill-qwen-7b	h2o	0.30	0.0050	PASS
deepseek-r1-distill-qwen-7b	streamingllm	0.20	0.0120	FAIL
deepseek-r1-distill-qwen-7b	sparse	0.35	0.0040	PASS
deepseek-r1-distill-qwen-7b	snapkv	0.28	0.0060	PASS
yi-1.5-9b	none	1.00	0.0000	PASS
yi-1.5-9b	int8	0.50	0.0020	PASS
yi-1.5-9b	int4	0.25	0.0080	PASS
yi-1.5-9b	h2o	0.30	0.0050	PASS
yi-1.5-9b	streamingllm	0.20	0.0120	FAIL
yi-1.5-9b	sparse	0.35	0.0040	PASS
yi-1.5-9b	snapkv	0.28	0.0060	PASS
glm4-9b	none	1.00	0.0000	PASS
glm4-9b	int8	0.50	0.0020	PASS
glm4-9b	int4	0.25	0.0080	PASS
glm4-9b	h2o	0.30	0.0050	PASS
glm4-9b	streamingllm	0.20	0.0120	FAIL
glm4-9b	sparse	0.35	0.0040	PASS
glm4-9b	snapkv	0.28	0.0060	PASS
minicpm3-4b	none	1.00	0.0000	PASS
minicpm3-4b	int8	0.50	0.0020	PASS
minicpm3-4b	int4	0.25	0.0080	PASS
minicpm3-4b	h2o	0.30	0.0050	PASS
minicpm3-4b	streamingllm	0.20	0.0120	FAIL
minicpm3-4b	sparse	0.35	0.0040	PASS
minicpm3-4b	snapkv	0.28	0.0060	PASS
internlm3-8b	none	1.00	0.0000	PASS
internlm3-8b	int8	0.50	0.0020	PASS
internlm3-8b	int4	0.25	0.0080	PASS
internlm3-8b	h2o	0.30	0.0050	PASS
internlm3-8b	streamingllm	0.20	0.0120	FAIL
internlm3-8b	sparse	0.35	0.0040	PASS
internlm3-8b	snapkv	0.28	0.0060	PASS

参考论文

arxiv: · 相关度 0.1002

kv-cache-kvzip

查询无关的 KV Cache 压缩，通过上下文重建评估 KV 重要性

arxiv: · 相关度 0.0649

kv-cache-snapkv

无需微调的 KV Cache 压缩，利用注意力模式在生成前识别重要 KV

arxiv: · 相关度 0.0544

kv-cache-pagedattention

类虚拟内存的 KV Cache 分页管理，近零内存浪费

arxiv: · 相关度 0.0512

kv-cache-streamingllm

发现 Attention Sink 现象，保留初始 token + 最近 token 实现无限长度推理

arxiv: · 相关度 0.0414

kv-cache-h2o

基于注意力分数累积的 KV 淘汰策略，保留 Heavy Hitter tokens

KV Cache 推理效率自查清单

自查清单

压缩算法对比（7 模型 @ 8192 tokens）

参考论文

获取完整审计报告 + 企业部署方案