Tensor Parallel

2 posts

Nov 02, 2026·27 分钟阅读

Sharded Matmul：分片矩阵乘的通用记号

AI Infra分布式训练Tensor Parallel

Sep 30, 2026·49 分钟阅读

分布式 Transformer 深度解析：从张量形状到通信拓扑

AI Infra分布式训练Tensor Parallel