NVIDIA/Megatron-LM — 18.4k★ trên GitHub (Python). Ongoing research training transformer models at scale
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
GPU-optimized library for training transformer models at scale
About
This repository contains two components: Megatron-LM and Megatron Core.
Megatron-LM is a reference example that includes Megatron Core plus pre-configured training scripts, ideal for research teams, learning distributed training, and quick experimentation.
Megatron Core is a composable library with GPU-optimized building blocks for custom training frameworks. It provides transformer building blocks, advanced parallelism strategies (TP, PP, DP, EP, and CP), mixed precision support (FP16, BF16, FP8, and FP4), and model architectures, ideal for framework developers and ML engineers building custom training pipelines.
Megatron Bridge provides bidirectional Hugging Face ↔ Megatron checkpoint conversion with production-ready recipes.
Getting Started
Compatibility: Python 3.12+ and PyTorch 2.6.0+ recommended. For source development, the tested NGC PyTorch base images are pinned in docker/.ngc_version.dev and docker/.ngc_version.lts.
Install from PyPI:
uv pip install megatron-core
Or clone and install from source:
git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
uv pip install -e .
Note: Building from source can use a lot of memory. If the build runs out of memory, limit parallel compilation jobs by setting MAX_JOBS (for example, MAX_JOBS=4 uv pip install -e .).
For NVIDIA GPU Cloud (NGC) container setup and all installation options, review the Installation Guide.
Your First Training Run - End-to-end training examples with data preparation
Parallelism Strategies - Scale training across GPUs with TP, PP, DP, EP, and CP
Contribution Guide - How to contribute to Megatron Core
Style Guide - Python style overrides
Latest News
[2026/10]Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core - A guide to reproducing training runs, validating checkpoint resume, and reducing determinism overhead at scale with Megatron Core.
[2026/08]Megatron Core 0.19 - Introduces HybridModel, quantile-based MoE router balancing, packed-sequence MoE dispatch, and CUDA Graph-compatible activation offloading.
[2026/07]DeepSeek-V3 pretraining on GB300 NVL72 - Megatron Core achieves 1,648 TFLOPs/s per GPU for DeepSeek-V3 671B on 256 GPUs.
[2026/05]DeepSeek-V4 initial support - Megatron Core's dev branch includes the initial DeepSeek-V4 implementation; Megatron Bridge provides conversion, inference, and pretraining recipes.
[2026/04]Advancing Emerging Optimizers for Accelerated LLM Training with NVIDIA Megatron - Muon and other emerging optimizers are now supported in Megatron Core via the new Emerging-Optimizers library.
The NVIDIA Megatron Bridge Performance Summary publishes training throughput, system configurations, parallelism settings, and links to performance recipes and reproduction instructions. Use the container and matching code version specified by those instructions when reproducing a result.
Selected results from the 26.08.01 NeMo container (August 2026):
Model
System
GPUs
Precision
Sequence length
Tokens/s/GPU
Model TFLOPs/s/GPU
DeepSeek-V3
DGX-GB300
256
MXFP8
4,096
6,288
1,636
DeepSeek-V3
DGX-GB200
256
MXFP8
4,096
4,912
1,277
Qwen3-235B-A22B
DGX-GB300
256
MXFP8
4,096
8,832
1,306
Nemotron 3 Ultra
DGX-GB300
256
NVFP4
8,192
3,744
1,348
See the summary for the full batch sizes and parallelism configurations. MoE benchmarks use force-balanced expert routing and do not drop tokens. These results measure performance under the published benchmark conditions; throughput depends on the model, precision, hardware, and configuration.
Roadmaps
2026 Q3 Megatron Core Roadmap
2026 Q3 MoE Roadmap [dev branch first developments]
2026 Q3 Megatron FSDP v2 Roadmap [experimental]
Resources
Getting Help
📖 Documentation - Official guides and API reference
🐛 Issues - Bug reports and feature requests
Contributing
Contributions are welcome. Ways to contribute:
🐛 Report bugs - Help improve reliability
💡 Suggest features - Shape the future of Megatron Core
📝 Improve docs - Make Megatron Core more accessible
🔧 Submit PRs - Contribute code improvements
→ Contributing Guide
Citation
If you use Megatron in your research or project, use the following citation:
@article{megatron-lm,
title={Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism},
author={Shoeybi, Mohammad and Patwary, Mostofa and Puri, Raul and LeGresley, Patrick and Casper, Jared and Catanzaro, Bryan},
journal={arXiv preprint arXiv:1909.08053},
year={2019}
}
NVIDIA/Megatron-LM thuộc nhóm AI Tools trên TopGit, cùng 3 topic GitHub. Trang Trending và Topics liệt kê các repo cùng số sao và cùng ngôn ngữ để so sánh.
Đọc thêm về NVIDIA/Megatron-LM ở đâu?
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/NVIDIA/Megatron-LM là nguồn chính thức.
NVIDIA/Megatron-LM có bao nhiêu sao?
NVIDIA/Megatron-LM có 18.4k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/NVIDIA/Megatron-LM. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
NVIDIA/Megatron-LM có những chủ đề gì?
GitHub topics của NVIDIA/Megatron-LM: "large-language-models", "model-para", "transformers". TopGit xếp repo vào nhóm AI Tools.
NVIDIA/Megatron-LM còn đang phát triển không?
Commit gần nhất trên NVIDIA/Megatron-LM là 6 ngày trước (theo timestamp GitHub). Repo có 4.7k fork — một chỉ báo về mức độ quan tâm của cộng đồng.
NVIDIA/Megatron-LM viết bằng ngôn ngữ gì?
NVIDIA/Megatron-LM chủ yếu viết bằng Python. Trường "language" của GitHub dựa trên phần lớn byte ở nhánh mặc định.
Vì sao NVIDIA/Megatron-LM được xếp vào nhóm AI Tools?
TopGit xếp NVIDIA/Megatron-LM vào nhóm AI Tools dựa trên GitHub topics và mô tả của repo (gắn thẻ: "large-language-models", "model-para", "transformers"). Việc phân loại dựa trên metadata thật của repo, không phải đoán theo cảm tính biên tập.
Đọc đầy đủ README ở tab phía trên.
Vẫn đang phân vân về Megatron-LM?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về Megatron-LM.