1 篇文档带有标签「mixture-of-experts」

沿着一个 token 的路由过程解释 MoE，区分总参数、激活参数、显存与速度，并分析负载均衡和通信。