Unsloth: Nền tảng AI cục bộ để chạy và tinh chỉnh mô hình
/unsloth
Chọn Unsloth khi bạn cần một giao diện thống nhất để chạy, tinh chỉnh và serve LLM cùng mô hình khuếch tán trên GPU riêng thay vì phải lắp ghép nhiều công cụ rời rạc. Bỏ qua nếu chỉ cần suy luận nhanh từng lần và không quan tâm đến việc huấn luyện — cài llama.cpp hay Ollama đơn thuần sẽ nhẹ hơn nhiều. Ứng dụng desktop giảm bớt rắc rối khi bắt đầu, nhưng người dùng thích chạy headless có thể thấy Unsloth Studio hoặc Unsloth Core linh hoạt hơn.
Unsloth cung cấp gì
Unsloth là nền tảng AI cục bộ kết hợp suy luận, tinh chỉnh và triển khai mô hình vào một giao diện desktop và web. Chạy trên GPU của bạn, hỗ trợ Llama, Gemma, Qwen, DeepSeek, FLUX và các dòng mô hình khác, đồng thời cung cấp API tương thích OpenAI để các công cụ hiện có kết nối mà không cần sửa code. Ba chế độ: ứng dụng desktop Tauri không cần cài đặt thủ công, giao diện web Studio, và thư viện Python cài qua pip.
Tính năng chính
- ✓Unsloth Desktop: Ứng dụng Tauri cho Windows, macOS và Linux, tải về là chạy ngay
- ✓Unsloth Studio: Giao diện web trên trình duyệt, hỗ trợ CPU, GPU NVIDIA, AMD, Intel và macOS MLX
- ✓Unsloth Core: Thư viện Python cài qua pip/uv để tinh chỉnh và tự động hóa pipeline bằng script
- ✓Hỗ trợ Llama, Gemma, Qwen, DeepSeek-V4, FLUX, Orpheus-TTS và các dòng mô hình open-weight khác
- ✓Tinh chỉnh nhanh gấp 2 lần, VRAM giảm 70% nhờ kernel Triton tùy chỉnh và kỹ thuật padding-free packing
- ✓Máy chủ API tương thích OpenAI sẵn có để tích hợp mô hình cục bộ vào agent framework hiện có
- ✓Xuất và triển khai GGUF với lựa chọn backend NVFP4, FP8 và Vulkan/CUDA/ROCm
- ✓Hỗ trợ học tăng cường gồm GRPO, DPO, RL và fine-tuning toàn phần bên cạnh LoRA/QLoRA
Các cách cài đặt
Ba lựa chọn cài đặt. Unsloth Desktop cung cấp binary sẵn cho Windows, macOS (Intel và Apple Silicon), Linux (deb, AppImage, Arm64) — tải tại unsloth.ai/download. Unsloth Studio dùng script trên macOS/Linux (`curl -fsSL https://unsloth.ai/install.sh | sh`) hoặc installer PowerShell trên Windows (`irm https://unsloth.ai/install.ps1 | iex`). Unsloth Core cài qua pip hoặc uv: `uv pip install unsloth --torch-backend=auto` (yêu cầu Python 3.13+). Docker cũng khả dụng: `docker run -d -p 8888:8888 -p 8000:8000 --gpus all unsloth/unsloth`.
Điểm mạnh về hiệu năng
- ✓Tăng tốc huấn luyện gấp 2 lần, VRAM giảm 70% nhờ kernel Triton tùy chỉnh, kỹ thuật padding-free packing và tối ưu batching
- ✓Ba điểm nhập (desktop, web, thư viện Python) dùng chung backend — chuyển đổi mà không cần học lại từ đầu
- ✓API tương thích OpenAI tích hợp sẵn giúp mô hình cục bộ làm việc với LangChain, LlamaIndex và các agent framework mà không cần sửa code
- ✓Hỗ trợ nhiều nền tảng phần cứng: NVIDIA (CUDA), AMD (ROCm), Intel (Vulkan), macOS (Metal/MLX) — không bị khóa vào một nhà cung cấp
- ✓Sẵn sàng notebook Colab miễn phí cho nhiều dòng mô hình, giảm chi phí thử nghiệm ban đầu
- ✓Tùy chọn Cloudflare tunnel để truy cập từ xa qua HTTPS bảo mật mà không cần cấu hình firewall hay reverse proxy
Lưu ý về phần cứng và cấu hình
- △Unsloth Studio vẫn đang Beta — tính năng và giao diện có thể thay đổi giữa các bản phát hành
- △Hướng dẫn AMD loại trừ rõ ràng GPU Polaris (RX 470-590) và RDNA 1 (RX 5500-5700) khỏi việc huấn luyện; trên các card này chỉ hỗ trợ suy luận qua Vulkan
- △macOS không có hỗ trợ Vulkan gốc — dùng Metal thay thế, vốn có thể hoạt động khác với một số cấu hình mô hình
- △Sự đa dạng phần cứng (NVIDIA, AMD, Intel, CPU, MLX) khiến một số tính năng chỉ hoạt động trên backend cụ thể; tính năng được liệt kê trong README có thể không chạy trên GPU của bạn
- △Giới hạn context 500K và tính năng multi-GPU là bổ sung gần đây, chưa ổn định bằng các phần còn lại
- △Cài đặt trên Windows yêu cầu PowerShell và pip với PyTorch đã cài sẵn hoặc toolchain uv — nhiều bước hơn so với script trên macOS/Linux
Các lựa chọn thay thế cho Unsloth
Ai nên dùng Unsloth
Unsloth phù hợp với lập trình viên và nhà nghiên cứu muốn chạy, huấn luyện mô hình AI open-weight trên phần cứng của mình mà không phải lắp ráp một bộ công cụ tùy chỉnh. Đặc biệt hữu ích khi bạn cần tinh chỉnh, suy luận AI cục bộ và triển khai mô hình ở một nơi — nhất là khi kết nối mô hình cục bộ với agent như Claude Code hay xây dựng hệ thống RAG đòi hỏi quyền riêng tư dữ liệu hoàn toàn. Nhà nghiên cứu trên GPU NVIDIA, AMD hoặc Apple Silicon muốn học tăng cường và tinh chỉnh context dài mà không phải thuê GPU cloud sẽ tìm thấy nhiều giá trị nhất.
Câu hỏi thường gặp
Unsloth hỗ trợ LLM (Llama, Gemma, Qwen, DeepSeek, gpt-oss), mô hình khuếch tán (FLUX, Stable Diffusion), text-to-speech (Orpheus-TTS) và mô hình embedding. Tinh chỉnh, RL và pipeline huấn luyện đầy đủ đều có sẵn.
Huấn luyện hoạt động trên NVIDIA (CUDA), AMD (ROCm), macOS (Metal/MLX) và GPU Intel. Suy luận GGUF bổ sung hỗ trợ backend Vulkan và CPU. Thiết lập multi-GPU được hỗ trợ với bản nâng cấp lớn đang trong quá trình phát triển.
Unsloth được cấp phép Apache-2.0, cho phép sử dụng, sửa đổi và phân phối cho mục đích thương mại mà không phải trả phí bản quyền. Cần kiểm tra riêng giấy phép của các trọng số mô hình vì chúng khác nhau.
Kernel Triton tùy chỉnh, kỹ thuật padding-free packing và thuật toán batching được tối ưu nhắm đến tăng tốc huấn luyện gấp 2 lần với 70% VRAM tiết kiệm. Mô hình MoE được cho là huấn luyện nhanh hơn 12 lần với 35% VRAM giảm trên các kiến trúc được hỗ trợ.
Có. Flag `--secure` khởi động Unsloth đằng sau Cloudflare HTTPS tunnel miễn phí, tạo URL công khai mà không cần mở port thô ra internet. Nếu tunnel không khởi động được, nó sẽ tắt thay vì để lộ dịch vụ.
Unsloth bao gồm máy chủ API tương thích OpenAI. Bất kỳ client nào hoạt động với API OpenAI đều có thể trỏ đến instance Unsloth cục bộ, cho phép tích hợp với agent, pipeline RAG và các công cụ khác mà không cần sửa code.
Bài toán mà nó giải quyết
Chạy và huấn luyện mô hình AI lớn tại chỗ đồng nghĩa với việc phải ghép nối máy chủ suy luận, pipeline huấn luyện, công cụ xuất và các móc triển khai từ nhiều dự án khác nhau. Mỗi thành phần có bề mặt cấu hình riêng, chu kỳ cập nhật riêng và ma trận tương thích riêng. Nhà nghiên cứu và lập trình viên muốn thử nghiệm nhanh cuối cùng lại tốn thời gian quản lý hạ tầng hơn là phát triển mô hình.
Trường hợp sử dụng phù hợp
- •Tinh chỉnh LLM open-weight trên bộ dữ liệu riêng cho tác vụ chuyên biệt như sinh code hay tóm tắt tài liệu
- •Chạy mô hình khuếch tán để tạo và huấn luyện ảnh cục bộ mà không phụ thuộc cloud
- •Triển khai mô hình AI cục bộ qua API tương thích OpenAI để kết nối với agent và hệ thống RAG sẵn có
- •Học tăng cường từ phản hồi người dùng (GRPO, DPO) trên GPU phổ thông
- •Tinh chỉnh mô hình text-to-speech như Orpheus-TTS và các mô hình âm thanh tương tự
- •Thử nghiệm nhanh kết hợp suy luận cục bộ, huấn luyện và xuất mô hình trong một giao diện
Repo liên quan
unsloth có đáng để bạn bỏ thời gian?
ChatGPT, Claude và Perplexity đều đọc được trang này. Hỏi thử xem họ nghĩ gì về unsloth.