跳到主要内容
AI
项目
Market
Lab
关于
笔记
计算机
数学
金融
其他
随笔
参考书架
实验
全部笔记
最近发布
联系
GitHub
中文
English
中文
Français
1 篇文档带有标签「transformer-architecture」
查看所有标签
注意力变体与 KV 缓存压缩
解析 MHA、GQA、MLA 怎样决定 KV 缓存大小,以及跑模型时能调的上下文长度、缓存精度和前缀缓存。