Zoe
Zoe

MoE

3 posts

·25 分钟阅读

Transformer Math：FLOPs、参数、显存、KV Cache 精确算

AI InfraTransformerFLOPs
·49 分钟阅读

分布式 Transformer 深度解析：从张量形状到通信拓扑

AI Infra分布式训练Tensor Parallel
·17 分钟阅读

MoE 推理完整机制：从 Router 到 Expert Parallelism 的一切

AI InfraLLM推理MoE