AI Infra
17 posts
·24 分钟阅读
LLaMA 3 70B 训练实操：几张卡、几天、几美元
AI Infra分布式训练FSDP
·27 分钟阅读
TPU vs GPU：硬件 roofline 的三条分水岭
AI InfraTPUGPU
·25 分钟阅读
Transformer Math：FLOPs、参数、显存、KV Cache 精确算
AI InfraTransformerFLOPs
·27 分钟阅读
Sharded Matmul：分片矩阵乘的通用记号
AI Infra分布式训练Tensor Parallel
·25 分钟阅读
Roofline 分析：算清楚一个 kernel 到底该多快
AI InfraRoofline性能分析
·49 分钟阅读
分布式 Transformer 深度解析：从张量形状到通信拓扑
AI Infra分布式训练Tensor Parallel
·17 分钟阅读
Continuous Batching 深入实现：从 attention mask 到 chunked prefill
AI InfraLLM推理Continuous Batching
·15 分钟阅读
CUDA Graph 在 LLM 推理里的实战：从 launch overhead 到 ragged batch
AI InfraLLM推理CUDA Graph
·26 分钟阅读
DeepSeek V4 稀疏注意力完全解剖：1M context 从 84GiB 压到 9.6GiB 是怎么做到的
AI InfraLLM推理DeepSeek
·16 分钟阅读
FlashAttention 三代演进：从 2205 到 Hopper 到 Blackwell
AI InfraLLM推理FlashAttention
·17 分钟阅读
MoE 推理完整机制：从 Router 到 Expert Parallelism 的一切
AI InfraLLM推理MoE
·18 分钟阅读
RadixAttention 深潜：一棵树如何吃掉 5 倍吞吐
AI InfraLLM推理SGLang
·20 分钟阅读
Speculative Decoding 全家桶：从 n-gram 到 P-EAGLE/DFlash/DSpark
AI InfraLLM推理Speculative Decoding
·18 分钟阅读
vLLM vs SGLang：两个推理引擎的架构哲学
AI InfraLLM推理vLLM
·16 分钟阅读
vLLM 三年演进史：从 PagedAttention 到 AFD Plugin
AI InfraLLM推理vLLM
·22 分钟阅读
推理引擎 2026 · 六条正在快速演进的技术主线
AI InfraLLM推理vLLM
·26 分钟阅读
现代 LLM 推理引擎剖析：从一次 forward 到千卡服务
AI InfraLLM推理vLLM