本地跑模型的福音 - Kimi-Linear-48B-A3B 最低只需要 4.2G 显存
刚刚在推上看到的
ymcki 给 Kimi-Linear-48B-A3B 加上了 MLA KV cache
实测下来 1M 上下文 F16 KV cache 显存占用从 140G 降到 15G。
如果显存少一点的用户可以选择（with KV Quant )
- q8_0: 7.9GB
- q5_1: 5.6GB
- q4_0: 4.2GB
有兴趣可以玩看看
Kimi-Linear-48B 的效果
标签 显存优化 下的文章