FSDP

2 posts

Nov 03, 2026·24 分钟阅读

LLaMA 3 70B 训练实操：几张卡、几天、几美元

AI Infra分布式训练FSDP

Sep 30, 2026·49 分钟阅读

分布式 Transformer 深度解析：从张量形状到通信拓扑

AI Infra分布式训练Tensor Parallel