Fairseq: Bộ công cụ PyTorch cho Sequence Modeling
Cái giá phải trả của Fairseq lộ ra ngay từ đầu: config dựa trên Hydra và registry cho model, task, optimizer cần thời gian setup thật sự trước khi train được gì. Qua giai đoạn đó, đây là một trong số ít nơi bạn lấy được chính implementation tham chiếu của một paper — RoBERTa, BART, wav2vec, mBART — rồi fine-tune thay vì viết lại kiến trúc. Changelog dừng ở tháng 5/2023: một thư viện tham chiếu ổn định, không phải project chạy đua thêm paper mới.
Fairseq là gì?
Fairseq là bộ công cụ sequence-to-sequence trên PyTorch do Facebook AI Research xây dựng, dùng để train mô hình dịch máy, language modeling và text generation. Fairseq đóng gói sẵn implementation tham chiếu của nhiều paper — từ LSTM, CNN seq2seq tới các biến thể Transformer như RoBERTa, BART, wav2vec — trong một pipeline train và generate. Bạn mở rộng nó bằng cách đăng ký model, task, optimizer mới, không phải viết lại training loop.
Các paper và kiến trúc mô hình đã triển khai
- ✓Implementation tham chiếu của hàng chục paper, gồm RoBERTa, BART, mBART, XLM-R, CamemBERT, wav2vec, wav2vec 2.0, cộng với kiến trúc Transformer và LSTM sequence-to-sequence gốc.
- ✓Các mô hình dịch non-autoregressive — Levenshtein Transformer, Mask-Predict — bên cạnh Transformer và CNN seq2seq autoregressive tiêu chuẩn.
- ✓Nhiều chiến lược decoding lúc generate: beam search, Diverse Beam Search, sampling top-k/top-p, và lexically constrained decoding.
- ✓Mixed precision training trên NVIDIA tensor core, cộng với gradient accumulation để có batch size hiệu dụng lớn trên một GPU duy nhất.
- ✓Sharding đầy đủ cho parameter và optimizer state, kèm CPU offloading, cho các model quá lớn với một GPU.
- ✓Multi-GPU training trên một máy hoặc nhiều máy, với cả chế độ data-parallel lẫn model-parallel.
- ✓Config dựa trên Hydra, kết hợp giá trị mặc định trong code, tham số command-line, và file config thay vì một file flag phẳng duy nhất.
- ✓Cơ chế registry cho model, criterion, task, optimizer, learning rate scheduler, để component mới cắm vào được mà không đụng tới core training loop.
Bạn có thể train được gì với fairseq
- •Dịch máy neural giữa các cặp ngôn ngữ, xuất phát từ các model WMT19 đã pre-trained hoặc train từ đầu.
- •Language modeling với kiến trúc Transformer hoặc convolutional, kể cả các model unidirectional quy mô lớn.
- •Nhận dạng giọng nói và học biểu diễn giọng nói self-supervised qua các ví dụ wav2vec và wav2vec 2.0.
- •Tóm tắt văn bản và các tác vụ generation khác bằng implementation BART và pointer-generator.
- •Fine-tune các model pre-trained như RoBERTa, XLM-R cho tác vụ downstream bằng code fine-tuning R3F/R4F.
Cài đặt fairseq
Fairseq cần PyTorch từ bản 1.10.0 trở lên và Python từ bản 3.8 trở lên; theo README, train mô hình mới còn cần một GPU NVIDIA có NCCL. Để phát triển local: `git clone https://github.com/pytorch/fairseq`, `cd fairseq`, rồi `pip install --editable ./` (trên macOS, README thêm biến môi trường CFLAGS=-stdlib=libc++ trước lệnh cuối này). Bản release ổn định mới nhất thì cài bằng `pip install fairseq` thay vào đó. Để train nhanh hơn, README khuyên build thư viện apex của NVIDIA từ source; với dataset lớn, README khuyên cài thêm PyArrow. Chạy Fairseq trong Docker thì cần tăng shared memory bằng `--ipc=host` hoặc `--shm-size`, theo README.
Dùng mô hình pre-trained để dịch
Cách nhanh nhất theo README để có một bản dịch chạy được là qua `torch.hub`: `en2de = torch.hub.load('pytorch/fairseq', 'transformer.wmt19.en-de.single_model')`, rồi `en2de.translate('Hello world', beam=5)`. Chỉ vậy là xong — ví dụ trong chính README trả về 'Hallo Welt'. Generation mặc định dùng beam search, nhưng bạn có thể đổi sang Diverse Beam Search, sampling top-k/top-p, hoặc lexically constrained decoding tùy tác vụ. Nếu muốn train thay vì chỉ inference, README trỏ tới tài liệu đầy đủ tại fairseq.readthedocs.io cho lệnh train và evaluate riêng của từng ví dụ.
Điểm mạnh
- ✓Bạn có được chính đoạn code đã tạo ra kết quả trong paper, không phải một bản viết lại đoán mò hyperparameter mà paper không công bố.
- ✓Mở rộng Fairseq nghĩa là viết một plugin model, task, hoặc optimizer đã đăng ký — bạn không phải fork core training loop chỉ để thêm một kiến trúc.
- ✓Lối tắt `torch.hub` cho bạn một lệnh dịch chạy được chỉ trong ba dòng, không cần viết code train nào.
- ✓Giấy phép MIT, và README nói rõ giấy phép này áp dụng cho cả model weights đã pre-trained, không chỉ source code.
Hạn chế của fairseq
- △Mục changelog gần nhất trong README là tháng 5/2023 — nên coi đây là một codebase tham chiếu đã ổn định, không phải một project liên tục thêm implementation paper mới.
- △Hệ thống config của Hydra là một đường cong học tập thật sự nếu bạn quen dùng script train kiểu argparse.
- △Train mô hình mới mặc định cần GPU NVIDIA và NCCL; README không nói tới đường đi nào để train trên CPU.
- △Thư viện apex của NVIDIA, được khuyên dùng để train nhanh hơn, phải build từ source chứ không cài bằng pip.
Các lựa chọn thay thế cho fairseq
Ai nên dùng fairseq
Nhóm rõ nhất phù hợp là các nhà nghiên cứu đang tái tạo hoặc phát triển tiếp từ một paper sequence modeling cụ thể — Fairseq đưa cho bạn chính code tham chiếu thay vì một bản viết lại từ đầu. Các team fine-tune một mô hình Fairseq đã pre-trained như RoBERTa hay wav2vec 2.0 cho tác vụ dịch, language modeling hoặc giọng nói riêng của mình cũng có sẵn một điểm khởi đầu có tài liệu đầy đủ. Nếu bạn chỉ cần một model pre-trained để inference trong sản phẩm, hãy kiểm tra xem checkpoint đó có sẵn trên transformers của Hugging Face không trước đã — việc đó có thể giúp bạn khỏi phải học hệ thống config của Hydra cho một nhu cầu không thật sự cần đến nó.
Câu hỏi thường gặp
Changelog trong chính README của Fairseq ghi mục gần nhất là tháng 5/2023, nói về một đợt release model cho việc mở rộng công nghệ giọng nói ra nhiều ngôn ngữ hơn. Không có mục nào được ghi sau thời điểm đó trong tài liệu hiện có, nên hãy coi Fairseq là một codebase tham chiếu đã ổn định, chứ không phải một project liên tục thêm kiến trúc mới.
Fairseq và transformers của Hugging Face trùng nhau ở một số model như RoBERTa, BART, vì chính đội của Fairseq đứng sau một phần nghiên cứu đó. Hai bên khác trọng tâm: Fairseq tập trung vào việc train và tái tạo paper sequence modeling qua registry và hệ config Hydra, còn transformers tập trung vào một kho model pre-trained rộng với API load-and-infer đơn giản hơn.
README của Fairseq liệt kê các checkpoint dịch máy và language modeling đã pre-trained, cộng với các bản release riêng theo từng paper như RoBERTa, BART, mBART, XLM-R, CamemBERT, GottBERT, wav2vec, wav2vec 2.0, và các model dịch WMT19 load được qua torch.hub. README riêng của từng ví dụ trong thư mục examples ghi rõ mức độ sẵn có và link tải cụ thể.
Fairseq dùng giấy phép MIT, và README nói rõ giấy phép này áp dụng luôn cho cả các model đã pre-trained, nên về cơ bản cho phép dùng thương mại. Vẫn nên kiểm tra điều khoản giấy phép của bất kỳ dataset hay checkpoint bên thứ ba nào bạn train hoặc load thêm, vì những thứ đó nằm ngoài giấy phép riêng của Fairseq.
Theo mục yêu cầu trong README, train model mới với Fairseq cần một GPU NVIDIA và NCCL để giao tiếp multi-GPU. Fairseq cũng hỗ trợ train multi-GPU trên nhiều máy, mixed precision training trên NVIDIA tensor core, và sharding đầy đủ cho parameter lẫn optimizer kèm CPU offloading cho các model quá lớn với một GPU.
Fairseq hỗ trợ nhận dạng giọng nói qua các ví dụ wav2vec và wav2vec 2.0, vốn tập trung vào pre-training self-supervised cho biểu diễn giọng nói, cộng với phần wav2vec-U cho nhận dạng giọng nói unsupervised. Thư mục examples/wav2vec trong repo ghi rõ các bản release model cụ thể và recipe train.
Vấn đề mà fairseq giải quyết
Tái tạo lại một paper về sequence modeling từ đầu thường nghĩa là phải đọc lại paper, đoán các hyperparameter mà tác giả không công bố, rồi hy vọng bản implement của mình khớp với con số họ báo cáo. Fairseq né được vấn đề đó bằng cách đóng gói sẵn chính đoạn code mà Facebook AI Research đã dùng cho các paper như RoBERTa, BART, wav2vec trong cùng một repo, kèm theo lệnh train để tái tạo lại kết quả của họ.
Repo liên quan
Chưa chắc fairseq có hợp với bạn?
Để ChatGPT, Claude hoặc Perplexity tìm hiểu giúp — bấm bên dưới và xem AI nói gì về fairseq.
