distributed-llm-pretraining-torchtitan

About distributed-llm-pretraining-torchtitan

Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or custom models at scale from 8 to 512+ GPUs with Float8, torch.compile, and distributed checkpointing.

提供基于 PyTorch 的分布式 LLM 预训练，使用 torchtitan 实现 4D 并行（FSDP2、TP、PP、CP）。在大规模预训练 Llama 3.1、DeepSeek V3 或自定义模型时，适用于从 8 到 512+ 个 GPU，支持 Float8、torch.compile 和分布式检查点。