MTPLX: Giải mã suy luận dự đoán MTP Mac trên Apple Silicon
/MTPLX
MTPLX chạy Qwen 3.8 trên Apple Silicon với giải mã dự đoán MTP thuần — mô hình dự thảo qua đầu dự đoán riêng, một lần chuyển tiếp xác minh toàn bộ, rồi xác nhận token bằng lấy mẫu từ chối chính xác. Đó là nguồn gốc con số 2.24x trên M5 Max. Đáng dùng khi bạn thực sự cần suy luận cục bộ trên Mac mà không muốn mô hình dự thảo thứ hai ngốn RAM, và lấy mẫu từ chối giữ nguyên hành vi mô hình ở mọi nhiệt độ.
MTPLX là gì
MTPLX là máy chủ suy luận cục bộ và ứng dụng Mac dùng đầu dự đoán đa token của chính mô hình để giải mã dự đoán. Nó dự thảo nhiều token rồi xác minh toàn bộ trong một lần chuyển tiếp, xác nhận token bằng lấy mẫu từ chối chính xác với điều chỉnh phần dư. MTPLX hỗ trợ Qwen 3.8 Flash Next, Qwen 3.8 27B, Ternary Bonsai 2 27B, và hơn thế, cung cấp API tương thích OpenAI và Anthropic.
Giải mã dự đoán MTP thuần và lấy mẫu từ chối
- ✓Lấy mẫu từ chối với điều chỉnh phần dư — xác minh bản dự thảo từ chính mô hình, không cần mô hình dự thảo thứ hai, chính xác ở mọi nhiệt độ
- ✓Tự chỉnh (`mtplx tune --retune`) — đo từng độ sâu MTP so với baseline tự hồi quy trên phần cứng thực, rồi lưu cấu hình nhanh nhất
- ✓Tương thích API OpenAI và Anthropic — phục vụ `/v1/chat/completions`, `/v1/messages`, `/v1/responses`, cộng `/v1/embeddings` và `/v1/rerank` tùy chọn từ cùng một daemon
- ✓Ứng dụng Mac tự tải mô hình, cài quạt, và đo máy để chọn độ sâu MTP nhanh nhất
- ✓Endpoint embedding và reranking tùy chọn — load mô hình retrieval MLX bất kỳ, phục vụ RAG hay agent-memory mà không cần máy chủ suy luận thứ hai
- ✓Forge — tạo mô hình MTP tùy chỉnh từ repo Hugging Face, huấn luyện adapter rồi đo tốc độ thực trên máy bạn trước khi publish
Cài MTPLX trên Apple Silicon
Tải DMG từ mtplx.com, kéo vào Applications, ứng dụng Mac lo phần còn lại: kiểm tra phần cứng, tải mô hình phù hợp, cài engine Python không cần Homebrew, và tự chỉnh độ sâu MTP. Cài CLI: `brew install youssofal/mtplx/mtplx` hoặc `python3 -m pip install mtplx`. Yêu cầu: Apple Silicon (M1 trở lên), macOS 14+.
Khởi động máy chủ và phục vụ model đầu tiên
Chạy `mtplx start` để khởi động máy chủ tại 127.0.0.1:8000, nó tự phục vụ mô hình khuyến nghị cho Mac bạn. Muốn model cụ thể: `mtplx serve --model Youssofal/Qwen3.8-Flash-Next-MTPLX-Optimized-Speed`. Trỏ client tương thích OpenAI API vào http://127.0.0.1:8000. Chat completions: `curl http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"mtplx","messages":[{"role":"user","content":"hi"}],"stream":true}'`. Embeddings: thêm `--embedding-model mlx-community/Qwen3-Embedding-8B-4bit-DWQ` khi serve.
Viết code, agent và RAG với API tương thích OpenAI
- •Code cục bộ với Qwen 3.8 27B Optimized Speed trên Mac 32 GB — ứng dụng khuyến nghị hàng đầu cho dev muốn trọng số nằm trong máy
- •Backend cho agent như Claude Code, Cline, hoặc Cursor trỏ vào endpoint cục bộ tương thích OpenAI
- •Pipeline RAG dùng endpoint embedding tích hợp — không cần máy chủ suy luận riêng cho retrieval
- •Phiên đa turn với session bank warm-prefix và SSD cache, khôi phục gần tức thì
- •So sánh chất lượng mô hình bằng AIME runner trong app với prompt công khai, không có hint
Tốc độ và hiệu quả bộ nhớ trên chip M-series
- ✓Tốc độ tăng 2.24x so với giải mã tự hồi quy thuần trên M5 Max — không phải benchmark chọn lọc, README dẫn log thô
- ✓Không cần mô hình dự thảo thứ hai — tốc độ đến từ đầu MTP của chính mô hình, RAM tăng rất ít
- ✓Lấy mẫu từ chối giữ nguyên hành vi mô hình ở mọi nhiệt độ, README xác nhận qua so sánh token ID giữa đường dẫn nhanh và thường
- ✓Ứng dụng tự lo tải mô hình, cài quạt, và chỉnh MTP — không cần cấu hình tay cho đa số người dùng
- ✓27B vừa trên Mac 16 GB nhờ Bonsai 2, app gợi gói đúng dựa trên phần cứng bạn
- ✓Cùng một daemon phục vụ chat, embeddings, và reranking — một process, một port, không tốn RAM cho retrieval
Yêu cầu phần cứng và giới hạn bộ nhớ
- △Chỉ Apple Silicon — M1 trở lên, macOS 14+. Không có Intel Mac, không Windows, không Linux
- △Yêu cầu bộ nhớ thật: Flash Next Optimized Speed cần 128 GB, Optimized Quality cần 256 GB. Bonsai 2 là giới hạn thực tế trên Mac 16 GB
- △Mac M1 và M2 chạy bản FP16 thay vì bf16, đánh đổi chất lượng để tương thích phần cứng cũ
- △Bảng n-gram của Flash Next (32 GB) stream từ SSD trên mọi Mac — không vừa trong unified memory
- △README chưa xác minh đầu vào ảnh với verifier đã biên dịch (tính đến 2.12.0), chỉ test với text
- △Người dùng không phải Mac thì gần như không thể dùng — công cụ này đơn giản không chạy trên nền tảng khác
MTPLX so với Ollama, LM Studio và mlx-lm
Câu hỏi thường gặp
MTPLX hỗ trợ Qwen 3.8 Flash Next (125B MoE), Qwen 3.8 27B, Ternary Bonsai 2 27B, Qwen 3.6, Qwen 3.5, Xiaomi MiMo V2.6 Qwen 9B, và Gemma 4 — tất cả đều có bản build riêng cho Apple Silicon trong catalog chính thức.
MTPLX yêu cầu Apple Silicon và macOS 14+, nên MacBook Air M1 đủ điều kiện. Với 8 GB unified memory, app sẽ gợi Qwen 3.5 4B Optimized Speed, peak khoảng 2.9 GiB — nằm gọn trong giới hạn đó.
MTPLX dùng đầu MTP của chính mô hình thay vì mô hình dự thảo được huấn luyện riêng. Điều này có nghĩa không cần tải thêm trọng số, không tốn thêm RAM, và không có khoảng cách xấp xỉ giữa dự thảo và verifier — bộ lấy mẫu từ chối lo toàn bộ phần xác nhận.
Được. Trỏ client tương thích OpenAI API vào http://127.0.0.1:8000 — README liệt kê Claude Code, Cline, Continue, Cursor và Open WebUI là các client đã test. Máy chủ hỗ trợ cả API style của OpenAI lẫn Anthropic.
Bare Speed dùng lượng tử hóa 4-bit phẳng cho các đợt chat nhanh nhất. Optimized Speed áp dụng lượng tử hóa 4-bit động với độ chính xác hỗn hợp, cân bằng tốc độ và chất lượng — đây là lựa chọn khuyến nghị cho đa số người dùng. Optimized Quality dùng lượng tử hóa 8-bit động cho chất lượng cao nhất, đánh đổi bằng bộ nhớ nhiều hơn.
Chạy `mtplx tune --model <model-or-path> --retune`. MTPLX sẽ đo giải mã tự hồi quy với từng độ sâu MTP trên phần cứng thực, quạt max, rồi lưu cấu hình nhanh nhất. Trên Mac mini M4 16 GB, model 9B chọn độ sâu 1 sau khi tự chỉnh.
Ai nên thử — và ai nên bỏ qua
Thử MTPLX nếu bạn có Mac Apple Silicon và muốn suy luận cục bộ mà không cần mô hình dự thảo thứ hai ngốn RAM. Phù hợp cho dev chạy agent viết code, pipeline RAG, hoặc đơn giản muốn trọng số trong máy để bảo mật. Trên Mac 16 GB thì khuyến nghị Bonsai 2 khá hợp lý; trên Mac 32 GB thì Qwen 3.8 27B Optimized Speed là lựa chọn tốt; trên 256 GB+ thì tận hưởng Flash Next đầy đủ. Bỏ qua nếu bạn cần suy luận đa nền tảng, dùng Intel Mac, hoặc chỉ muốn cài nhanh nhất có thể — Ollama hoặc LM Studio đỡ rắc rối hơn ngoài hệ sinh thái này.
Repo liên quan
Chưa chắc MTPLX có hợp với bạn?
Để ChatGPT, Claude hoặc Perplexity tìm hiểu giúp — bấm bên dưới và xem AI nói gì về MTPLX.