DwarfStar: Suy luận LLM cục bộ cho DeepSeek V4 & GLM

DwarfStar là gì?

DwarfStar là một công cụ suy luận (inference engine) nhỏ gọn viết bằng C, tối ưu trước tiên cho DeepSeek V4 Flash, đồng thời hỗ trợ GLM 5.2 và, trên các máy có RAM rất lớn, DeepSeek V4 PRO. Nó chạy trên Metal, NVIDIA CUDA, và AMD ROCm. Khác với một bộ nạp GGUF tổng quát, DwarfStar cố tình thu hẹp phạm vi: chỉ nạp đúng những file GGUF mà chính dự án cung cấp script tải về.

Tính năng và tối ưu hóa chính

• ✓Hỗ trợ nhiều backend: Metal (Mac từ 96GB RAM trở lên), NVIDIA CUDA (kể cả đa GPU và DGX Spark), và ROCm (hệ thống Strix Halo như Framework Desktop).
• ✓Chế độ streaming từ SSD giữ các trọng số không định tuyến thường trực trong bộ nhớ, còn các expert MoE định tuyến được cache trong RAM và nạp từ file GGUF khi cache miss, nên máy thiếu RAM vẫn chạy được mô hình.
• ✓Tensor parallelism giữa hai máy qua RDMA cho phép hai MacBook M5 Max hoặc M3 Ultra cùng chạy DeepSeek Flash hoặc GLM 5.2 ở 4-bit.
• ✓Pipeline parallelism chia các layer transformer ra nhiều máy qua TCP để cộng dồn RAM cho mô hình quá lớn với một máy, và cũng có thể tăng tốc prefill bằng cách xử lý các micro-batch trên các layer khác nhau cùng lúc.
• ✓DSpark speculative decoding đọc hidden state từ mô hình chính và đề xuất tối đa năm token tiếp theo, mô hình Flash chính sẽ xác minh và chỉ chấp nhận phần tiền tố đúng.
• ✓Lượng tử hóa 2-bit bất đối xứng: theo README, chỉ các expert MoE định tuyến bị lượng tử ở IQ2_XXS/Q2_K, còn shared expert, projection, và routing giữ nguyên.
• ✓ds4-server hỗ trợ micro-batching cho decode và generation để phục vụ nhiều người dùng cùng lúc trên các card CUDA đời cũ.

Ứng dụng thực tế của DwarfStar

• •Chạy DeepSeek V4 Flash hoặc GLM 5.2 trực tiếp trên MacBook, DGX Spark, hoặc máy Strix Halo bạn đang có, dùng SSD streaming khi RAM eo hẹp.
• •Biến một server dùng card CUDA đời cũ (kiến trúc Ada Lovelace) — theo README không còn được vLLM hỗ trợ cho mô hình mới — thành LLM server phục vụ nhiều người dùng; README ghi nhận một cấu hình thử nghiệm 8xL40S đạt 120 t/s sinh token gộp và 2000 t/s prefill.
• •Gộp hai máy MacBook M5 Max hoặc M3 Ultra qua RDMA để chạy DeepSeek Flash hoặc GLM 5.2 ở 4-bit với tensor parallelism.
• •Dùng pipeline parallelism để cộng RAM của nhiều máy, chạy các mô hình không vừa trên một máy duy nhất, ví dụ bản Flash 4-bit đầy đủ chia trên hai MacBook 128GB.

Bắt đầu: Cài đặt và Build

Build từ mã nguồn bằng make; không có cách cài qua trình quản lý gói nào được ghi rõ. Chọn target theo phần cứng — make cho macOS Metal, make cuda-spark cho DGX Spark hoặc GB10, make cuda-generic cho GPU CUDA cục bộ khác, make strix-halo cho ROCm trên AMD Strix Halo, hoặc make cpu để build chẩn đoán chỉ dùng CPU. Sau đó tải mô hình bằng script đi kèm, ví dụ ./download_model.sh ds4f-q2 cho máy 96/128GB RAM, script này lấy từ Hugging Face về thư mục ./gguf/ và trỏ ./ds4flash.gguf vào đó. Chạy ./ds4 --help hoặc ./ds4-server --help để xem đầy đủ danh sách flag.

Chạy mô hình với DwarfStar

Trỏ CLI vào file GGUF đã tải: ./ds4 -m ./ds4flash.gguf chạy mô hình mặc định, hoặc dùng -m để chọn file khác trong ./gguf/. Để dùng DSpark speculative decoding với mô hình Flash 0731, tải checkpoint hỗ trợ bằng ./download_model.sh ds4f-dspark, rồi chạy ./ds4 -m ds4flash.gguf --mtp gguf/DeepSeek-V4-Flash-DSpark-support-0731.gguf --dspark --temp 0. Trên máy hạn chế RAM, thêm --ssd-streaming, có thể kèm --ssd-streaming-cache-experts để đặt rõ dung lượng cache expert định tuyến. Binary ds4-server chạy cùng các mô hình này sau một HTTP server để dùng cho nhiều người hoặc gọi qua API.

DwarfStar so với các bộ nạp GGUF tổng quát

Câu hỏi thường gặp

Vấn đề DwarfStar giải quyết

Chạy DeepSeek V4 Flash hay GLM 5.2 cục bộ thường có nghĩa là phải tự chỉnh một bộ nạp GGUF đa năng và hy vọng phần lượng tử hóa MoE định tuyến, KV cache, và luồng gọi tool đều ăn khớp với nhau. DwarfStar bỏ qua canh bạc đó bằng cách xây dựng việc nạp mô hình, dựng prompt, gọi tool, trạng thái KV, HTTP server, và coding agent cho đúng hai họ mô hình này, được kiểm thử như một khối thống nhất thay vì một mớ cờ (flag) chắp vá.

Nên dùng — và nên bỏ qua

Hãy thử DwarfStar nếu bạn có Mac từ 128GB RAM trở lên, một DGX Spark, một máy desktop Strix Halo, hoặc dàn CUDA đa GPU, và cụ thể muốn chạy DeepSeek V4 Flash, GLM 5.2, hoặc DeepSeek V4 PRO thật nhanh trên đúng phần cứng đó — script tải mô hình, lựa chọn lượng tử hóa, và các benchmark tốc độ đều được xây dựng quanh chính những tổ hợp này. Bỏ qua nếu bạn muốn một công cụ dùng chung cho nhiều mô hình mở khác nhau, cần một API sản xuất ổn định ngay hôm nay, hoặc không thoải mái khi dùng phần mềm mà README nói được xây dựng với sự hỗ trợ nặng từ AI.

Repo liên quan