Atomic Chat: Ứng Dụng AI Cục Bộ Cho LLM Open-Weight
/Atomic-Chat
Atomic Chat là ứng dụng desktop và mobile chạy model ngôn ngữ open-weight cục bộ sau một API duy nhất tương thích OpenAI tại localhost:1337/v1. Nó chuyển đổi giữa ba inference engine — llama.cpp, bản fork TurboQuant của nó, và MLX-VLM của Apple — mà không phải sửa code phía client. Hãy chọn Atomic Chat nếu bạn muốn chat AI offline nhưng vẫn có cloud fallback trong cùng ứng dụng; bỏ qua nếu bạn chỉ cần một cửa sổ chat đơn giản.
Atomic Chat Là Gì?
Atomic Chat là local AI app do AtomicBot-ai xây dựng để chạy các LLM open-weight — Llama, Qwen, Mistral, Gemma, Phi và nhiều model khác lấy từ Hugging Face — hoàn toàn trên phần cứng của bạn, đi kèm inference engine riêng của nó. Nó có bản desktop client cho macOS, Windows, Linux và bản mobile trên App Store, Google Play, và codebase của nó bắt nguồn từ một bản fork sớm của Jan trước khi tách ra xây dựng bộ inference engine riêng.
Tính Năng Và Khả Năng Cốt Lõi
- ✓Server cục bộ tương thích OpenAI tại http://localhost:1337/v1, mặc định chỉ lắng nghe trên 127.0.0.1, nên bất kỳ client nào dùng OpenAI SDK cũng có thể trỏ vào đây chỉ bằng cách đổi base URL.
- ✓Ba inference engine có thể hoán đổi sau cùng một API: bản fork TurboQuant tự xây của llama.cpp, llama.cpp gốc, và MLX-VLM của Apple cho các model vision-language trên Apple Silicon.
- ✓Các tùy chọn speculative decoding — Multi-Token Prediction (MTP) tăng throughput 30-70% (lên tới 3x trên Gemma 4), DFlash block-diffusion decoding nhanh hơn tới 6x trên các model như Qwen 3.6 và Kimi K2.5, và EAGLE-3 decoding cho Gemma 4 trên MLX.
- ✓Nén KV-cache TurboQuant (chế độ turbo3/turbo4) mà README nói giúp giảm bộ nhớ KV-cache khoảng 4.3x, nay hoạt động trên cả CPU/GPU Windows và Linux chứ không chỉ macOS.
- ✓Các cloud provider có sẵn — Anthropic, OpenAI, Groq, MiniMax, Mistral, Qwen, và Moonshot — để bạn dùng API key riêng và trộn model cục bộ với model cloud trong cùng một cuộc chat.
- ✓Launch coding agent chỉ với một click, gồm Claude Code, Codex CLI, Cline, OpenCode, Droid, Goose, OpenHands, Copilot CLI, Kilo Code, và Zed, ngay từ tab Integrations.
- ✓Kết nối nhiều MCP server để thêm tool, truy cập file, hoặc tìm kiếm web bên ngoài, cùng system prompt riêng cho từng assistant và sidebar project có conversation tree view.
- ✓Panel Artifacts xem trước trực tiếp code HTML/CSS/JS được tạo ra, kèm nút copy, download, và print.
Tích Hợp Và Hỗ Trợ Agent
- •Chạy một coding agent như Claude Code hay Codex CLI trên model cục bộ, launch thẳng từ tab Integrations của Atomic Chat thay vì tự sửa file cấu hình provider.
- •Trỏ một app, script, hay agent framework đang dùng OpenAI SDK vào http://localhost:1337/v1 để đổi model cloud sang model cục bộ mà không phải sửa code phía client.
- •Kết nối MCP server để thêm tool, truy cập file, hoặc tìm kiếm web ngay trong chat, theo hỗ trợ MCP mà README mô tả.
- •Dùng các provider cục bộ đã được các dự án khác hỗ trợ sẵn — OpenCode, Goose, nanobot, nanoclaw, OpenClaude, Kilo Code, Hermes Desktop, và Hermes Workspace đều liệt kê Atomic Chat là backend được hỗ trợ.
- •Chạy model vision-language trên Apple Silicon qua engine MLX-VLM khi bạn cần inference nhanh hơn llama.cpp trên chip M-series, theo README.
Bắt Đầu Với Atomic Chat
README trỏ tới atomic.chat cho bản desktop và mobile dựng sẵn, và tới App Store, Google Play cho iOS, Android, nhưng không nêu URL tải cụ thể hay số phiên bản ngay trong văn bản. Trên Linux, Atomic Chat được phân phối dưới dạng một file AppImage duy nhất, nên không cần cài đặt hay quyền root — chỉ cần cấp quyền thực thi bằng `chmod +x Atomic.Chat_*_amd64.AppImage` rồi chạy trực tiếp; nếu bị hỏi về FUSE ở lần chạy đầu, cài bằng `sudo apt install fuse libfuse2` trên Debian/Ubuntu hoặc `sudo dnf install fuse fuse-libs` trên Fedora. Để build từ source, bạn cần Node.js 20.0.0 trở lên, Yarn 4.5.3 trở lên, Make 3.81 trở lên, Rust cho Tauri, và trên Apple Silicon là component MetalToolchain; sau đó `git clone https://github.com/AtomicBot-ai/Atomic-Chat`, `cd Atomic-Chat`, và `make dev` sẽ lo phần cài dependency, build core, và chạy app trong một bước. Các bước thủ công cũng được ghi lại: `yarn install`, `yarn build:tauri:plugin:api`, `yarn build:core`, `yarn build:extensions`, `yarn dev`.
Điểm mạnh
- ✓Một endpoint tương thích OpenAI duy nhất đứng trước ba inference engine khác nhau, nên chuyển từ llama.cpp gốc sang bản fork TurboQuant hay MLX-VLM không đòi hỏi sửa code phía client.
- ✓Các tùy chọn speculative decoding (MTP, DFlash, EAGLE-3) gắn với những mức tăng tốc cụ thể, đáng kể theo README — lên tới 3x trên Gemma 4 với MTP, lên tới 6x trên Qwen 3.6/Gemma 4/Kimi K2.5 với DFlash — thay vì một lời hứa mơ hồ về tốc độ.
- ✓Cấu hình coding agent chỉ là một cú click, không phải sửa file cấu hình: chọn Claude Code, Codex CLI, hay agent khác được hỗ trợ từ tab Integrations và nó tự launch, trỏ vào model cục bộ của bạn.
- ✓Chuyển giữa model cục bộ và model cloud — OpenAI, Anthropic, hay provider có sẵn khác — chỉ cần chọn model theo từng cuộc chat, không phải sửa file cấu hình.
- ✓Giấy phép Apache 2.0, không kèm ràng buộc bản quyền độc quyền nào lên code.
Yêu Cầu Hệ Thống Và Lưu Ý
- △RAM cần thiết tăng theo kích thước model, theo README: khoảng 8GB cho model 3B, 16GB cho model 7B, và 32GB cho model 13B, áp dụng như nhau trên macOS, Windows, Linux.
- △Trên Linux chỉ chạy được model GGUF, và tăng tốc GPU phụ thuộc vào việc có Vulkan loader — README liệt kê `vulkan-1` hoặc driver Vulkan mesa/NVIDIA là phần tùy chọn thêm, không có sẵn mặc định.
- △DFlash speculative decoding chỉ chạy trên Apple Silicon và không thể bật cùng lúc với MTP, nên người dùng Windows và Linux không có đủ mọi chế độ tăng tốc decoding.
- △Sàn hệ điều hành khá chặt: Windows cần bản 10/11 64-bit, Linux cần glibc 2.35 trở lên (Ubuntu 22.04+, Debian 12+, Fedora 40+, Arch, Mint, hoặc Pop!_OS) — các distro cũ hơn hay hệ 32-bit không được nêu là hỗ trợ.
- △README không nêu số phiên bản hay chu kỳ release, nên không có cách chính thức nào để đánh giá độ ổn định của bản hiện tại ngoài các chỉ số cộng đồng trên GitHub. Đây cũng là dự án còn trẻ do một core team nhỏ (contributor theo README) phát triển trên nền code gốc của Jan, nên chưa có track record bảo trì dài hạn.
Nguồn Gốc Dự Án Và Lựa Chọn Thay Thế
Câu Hỏi Thường Gặp Về Atomic Chat
Atomic Chat chạy các LLM open-weight lấy từ Hugging Face, gồm Llama, Qwen, Mistral, Gemma, Phi, thông qua bản fork llama.cpp riêng, llama.cpp gốc, hoặc engine MLX-VLM trên Apple Silicon.
Atomic Chat chạy một server cục bộ tại http://localhost:1337/v1 mô phỏng OpenAI API, nên bạn có thể trỏ OpenAI SDK chính thức — hay bất kỳ client nào viết cho nó — vào Atomic Chat chỉ bằng cách đổi base URL.
Atomic Chat hỗ trợ macOS 13.6 trở lên, Windows 10/11 64-bit, và các bản Linux có glibc 2.35 trở lên, cùng app mobile cho iOS và Android qua App Store, Google Play.
Server cục bộ của Atomic Chat mặc định chỉ lắng nghe trên 127.0.0.1, không mở ra mạng, giữ nó là một thiết lập chat LLM riêng tư — README nói hội thoại cùng API key của bạn ở lại trên máy trừ khi bạn chủ động mở server ra ngoài hoặc thêm key của một cloud provider.
Atomic Chat được phát hành theo giấy phép Apache 2.0, theo repository GitHub của dự án.
Codebase của Atomic Chat bắt nguồn từ một bản fork sớm của Jan, local-AI app mã nguồn mở từ Menlo Research, theo phần ghi chú heritage trong README. Từ đó, nó đã xây dựng inference engine, các tùy chọn speculative decoding, và tích hợp agent của riêng mình thay vì bám theo codebase của Jan.
Vấn đề Atomic Chat giải quyết
Chạy một model open-weight cục bộ thường buộc bạn chọn một inference engine và chấp nhận đánh đổi của nó — llama.cpp có độ phủ CPU/GPU rộng, còn MLX nhanh trên Apple Silicon, nhưng hiếm khi có cả hai sau cùng một API. README của Atomic Chat đóng khung câu trả lời của mình bằng ba engine riêng biệt (bản fork TurboQuant của llama.cpp, llama.cpp gốc, và MLX-VLM) được expose qua một endpoint tương thích OpenAI duy nhất, nên một coding agent hay script viết nhắm vào localhost:1337/v1 vẫn chạy được bất kể backend nào đang tải bên dưới.
Ai nên dùng — và ai nên bỏ qua
Hãy thử Atomic Chat nếu bạn đã dùng cả model cục bộ lẫn cloud và muốn một API duy nhất cùng agent launcher tích hợp sẵn thay vì ghép nhiều công cụ riêng lẻ. Đây cũng là lựa chọn hợp lý nếu bạn muốn tận dụng cụ thể tốc độ TurboQuant KV-cache hay MLX-VLM trên Apple Silicon. Bỏ qua nếu bạn chỉ cần cửa sổ chat nhẹ nhất có thể — việc đổi engine, các nút bật speculative decoding, và cấu hình nhiều provider tạo thêm bề mặt phức tạp hơn so với một app chat đơn model, đơn backend như một giao diện llama.cpp thuần.
Repo liên quan
Atomic-Chat có đáng để bạn bỏ thời gian?
ChatGPT, Claude và Perplexity đều đọc được trang này. Hỏi thử xem họ nghĩ gì về Atomic-Chat.