Off Grid AI: bộ công cụ AI ngay trên điện thoại và Mac
/off-grid-ai-mobile
Off Grid AI là ứng dụng React Native cấp phép MIT, chạy chat, tạo ảnh, AI thị giác và chuyển giọng nói thành văn bản hoàn toàn trên thiết bị, trên cả Android, iOS và Mac dùng chip Apple Silicon. Nên chọn nếu muốn một ứng dụng thay cho nhiều công cụ AI cục bộ rời rạc và chấp nhận đường NPU còn ở dạng thử nghiệm; nên bỏ qua nếu cần đọc giọng nói ở bản miễn phí mà không muốn trả thêm cho gói Pro 69 đô la.
Tìm hiểu về Off Grid AI
Off Grid AI là ứng dụng React Native cho Android, iOS và Mac dùng chip Apple Silicon, gộp chung chat dựa trên GGUF, tạo ảnh Stable Diffusion ngay trên máy, AI thị giác qua camera và chuyển giọng nói bằng Whisper vào một bộ công cụ offline duy nhất. Mọi mô hình chạy cục bộ trên CPU, GPU hoặc NPU của máy, ứng dụng có thể kết nối tùy chọn tới máy chủ mạng nội bộ như Ollama hay LM Studio, nhưng không cần tài khoản đám mây hay API key.
Vượt xa chatbot LLM cục bộ thông thường
Phần lớn ứng dụng LLM cục bộ trên điện thoại chỉ làm một việc — cho bạn một chatbot chạy mô hình GGUF và hết, nên muốn tạo ảnh, dùng AI thị giác hay chuyển giọng nói offline thì phải cài thêm từng ứng dụng riêng, tải thêm từng mô hình riêng, và mỗi ứng dụng lại chiếm một phần RAM riêng. Off Grid AI gộp chat, Stable Diffusion chạy trên máy, các mô hình thị giác và Whisper vào cùng một ứng dụng, dùng chung một bộ quản lý bộ nhớ, nên chuyển từ trả lời văn bản sang hỏi bằng camera không có nghĩa là phải đóng ứng dụng này để mở ứng dụng khác. Bộ quản lý bộ nhớ dùng chung đó cũng khiến bạn thấy rõ áp lực RAM trực tiếp — ứng dụng báo cho bạn biết mô hình nào đang chiếm bộ nhớ và tốn bao nhiêu, trước khi có gì đó âm thầm lỗi.
Năng lực cốt lõi của Off Grid AI
- ✓Chat với bất kỳ mô hình GGUF nào — Qwen 3, Llama 3.2, Gemma 3, Phi-4, hoặc file .gguf riêng của bạn — với phản hồi dạng streaming, chế độ suy luận (thinking mode), hiển thị markdown, tốc độ 15-30 tok/s trên điện thoại cao cấp.
- ✓Tăng tốc đúng theo phần cứng: GPU Adreno chạy 20-40 tok/s qua OpenCL trên Snapdragon 8 Gen 2 trở lên, so với 15-30 tok/s trên CPU; chip Apple Silicon dùng Metal; ứng dụng tự chọn backend nhanh nhất mà nó nhận diện được (có thể đổi tay trong Settings).
- ✓Hỗ trợ NPU Hexagon ở dạng thử nghiệm, được gắn nhãn theo từng mô hình để bạn biết trước khi tải file 4GB liệu thiết bị và loại quant của mình có thực sự dùng được NPU hay không.
- ✓Tạo ảnh bằng Stable Diffusion ngay trên máy với hơn 20 mô hình (Absolute Reality, DreamShaper, Anything V5...), tăng tốc bằng NPU mất 5-10 giây mỗi ảnh trên Snapdragon, dùng Core ML trên iOS.
- ✓AI thị giác qua SmolVLM, Qwen3-VL hoặc Gemma 3n — chĩa camera vào tài liệu hay khung cảnh rồi đặt câu hỏi, có câu trả lời sau khoảng 7 giây trên máy cao cấp.
- ✓Chuyển giọng nói thành văn bản bằng Whisper ngay trên máy để nhập liệu rảnh tay, cộng với vòng lặp gọi công cụ (tìm kiếm web, máy tính, ngày giờ, thông tin thiết bị, tìm trong knowledge base) có cơ chế chặn lặp vô hạn.
- ✓Knowledge base cho từng dự án: chia nhỏ và embed file PDF/text bằng mô hình MiniLM đi kèm, truy xuất theo độ tương đồng cosine, lưu toàn bộ cục bộ trong SQLite.
- ✓Bộ quản lý mô hình với các chính sách tải Lean/Balanced/Aggressive, hiển thị RAM mỗi mô hình đang chiếm, tùy chọn ghi đè thủ công Load Anyway, và thông báo (kèm nút tải lại) khi một mô hình bị đẩy ra khỏi bộ nhớ giữa chừng cuộc trò chuyện.
Ứng dụng thực tế và quy trình sử dụng
- •Chat hoặc code offline với Llama 3.2 hay Qwen 3 khi đang di chuyển hoặc trên máy bay, không cần phương án dự phòng bằng mạng.
- •Chĩa camera vào hóa đơn, bảng trắng hay tài liệu để SmolVLM hoặc Qwen3-VL đọc và mô tả lại mà không cần gọi OCR trên đám mây.
- •Tạo ảnh phác thảo hay mockup ngay trên máy bằng một trong hơn 20 checkpoint Stable Diffusion đi kèm, thay vì gửi prompt tới một API tạo ảnh trên cloud.
- •Tải file PDF của một dự án lên knowledge base rồi truy vấn qua công cụ search_knowledge_base ngay trong cuộc trò chuyện bình thường.
- •Trỏ ứng dụng tới một máy chủ Ollama, LM Studio hoặc LocalAI trong mạng gia đình để mượn sức mạnh tính toán của mô hình lớn hơn mà vẫn giữ yêu cầu ngoài phạm vi Internet công cộng.
- •Với Pro: đọc lệnh rảnh tay qua voice mode và để một persona soạn sẵn lịch hẹn, email, hoặc ticket Linear/Notion/GitHub để bạn duyệt trước khi gửi.
Bắt đầu với Off Grid AI
Tải bản APK mới nhất trực tiếp từ GitHub Releases, hoặc cài bản trên iOS App Store — bản này cũng chạy thẳng trên Mac dùng chip Apple Silicon qua Mac Catalyst/iPad compatibility. Để build từ source: clone repo, chạy npm install, rồi cd android && ./gradlew clean && cd .. && npm run android cho Android, hoặc cd ios && pod install && cd .. && npm run ios cho iOS. README yêu cầu Node.js 20+, JDK 17 cùng Android SDK 36, và Xcode 15+, kèm hướng dẫn build đầy đủ hơn trong docs/ARCHITECTURE.md.
Điểm mạnh
- ✓Một ứng dụng thực sự bao trọn năm phương thức — văn bản, tạo ảnh, thị giác, chuyển giọng nói, gọi công cụ — thay vì phải ghép nhiều ứng dụng AI cục bộ đơn năng lại với nhau.
- ✓Nhận diện và tận dụng đúng loại tăng tốc phần cứng thiết bị đang có (OpenCL trên GPU Adreno, Metal trên Apple Silicon) thay vì mặc định ai cũng phải chạy suy luận bằng CPU.
- ✓Cấp phép MIT, mã nguồn và các bước build đều công khai trên GitHub.
- ✓Độ phủ kiểm thử trải trên cả ba nền tảng — Jest/RNTL, JUnit, XCTest — cộng thêm luồng E2E bằng Maestro, chạy qua BrowserStack trên mỗi PR.
- ✓Bản miễn phí không cần tài khoản hay API key, và theo README, không dữ liệu nào rời khỏi thiết bị kể cả embedding của knowledge base, vốn được lưu cục bộ trong SQLite.
Những giới hạn hiện tại
- △Đường NPU Hexagon được README ghi rõ là thử nghiệm: chỉ tăng tốc được quant Q4_0 và Q8_0, một K-quant sẽ âm thầm rơi về chạy CPU, và một số kiến trúc mô hình được nói là cho kết quả lỗi (garbled) trên NPU.
- △RAM của điện thoại là giới hạn cứng — ngay cả chính sách tải Aggressive cũng có thể từ chối một mô hình, buộc bạn phải ghi đè thủ công bằng Load Anyway, và một mô hình vẫn có thể bị đẩy khỏi bộ nhớ giữa cuộc trò chuyện khi RAM căng.
- △Tính năng đọc giọng nói, persona tùy chỉnh, soạn hành động qua các MCP server, và đồng bộ điện thoại-Mac đều nằm sau gói Pro trả phí (69 đô la một lần hoặc 49 đô la mỗi năm); bản miễn phí chỉ có phần chuyển giọng nói thành văn bản.
- △Theo README, tính năng đồng bộ điện thoại-Mac vẫn đang trong quá trình hoàn thiện chứ chưa phát hành, nên người mua Pro sớm chưa có được sự liền mạch giữa các thiết bị này.
Các lựa chọn AI on-device khác
Ai nên dùng Off Grid AI?
Off Grid AI hợp với các developer và người coi trọng quyền riêng tư, muốn có trọn bộ công cụ AI offline — chat, tạo ảnh, thị giác, chuyển giọng nói — trên điện thoại hay Mac mà không cần trả phí thuê bao cho một API đám mây, cũng như bất kỳ ai muốn thử mô hình GGUF trên phần cứng GPU/NPU di động thật. Ứng dụng này không hợp với người cần chạy mô hình cỡ 70B (RAM điện thoại không kham nổi) hay cần lịch sử trò chuyện dùng chung cho cả nhóm, vì đồng bộ hiện chỉ giới hạn giữa điện thoại và Mac, và theo README, tính năng này vẫn đang hoàn thiện chứ chưa phát hành.
Câu hỏi thường gặp về Off Grid AI
Phần lõi của Off Grid AI — chat, tạo ảnh, thị giác, chuyển giọng nói và gọi công cụ — hoàn toàn miễn phí. Gói Off Grid AI Pro thêm tính năng đọc giọng nói, persona và soạn hành động, giá 69 đô la một lần hoặc 49 đô la mỗi năm.
Off Grid AI chạy trên điện thoại Android và iOS, cũng như trên Mac dùng chip Apple Silicon thông qua bản trên iOS App Store nhờ Mac Catalyst/iPad compatibility.
Chat, tạo ảnh, thị giác và chuyển giọng nói của Off Grid AI đều chạy cục bộ nên không cần kết nối Internet. Ứng dụng chỉ cần mạng khi bạn chủ động kết nối tới một máy chủ từ xa như Ollama.
Off Grid AI chạy mọi mô hình văn bản dạng GGUF, gồm Qwen 3, Llama 3.2, Gemma 3 và Phi-4, cộng với SmolVLM, Qwen3-VL, Gemma 3n cho thị giác, Whisper cho giọng nói, và hơn 20 checkpoint Stable Diffusion cho ảnh.
Off Grid AI Pro là gói trả phí, 69 đô la trọn đời hoặc 49 đô la mỗi năm, thêm giọng đọc Kokoro chạy trên máy cho voice mode, persona tùy chỉnh có trí nhớ lâu dài, và tính năng soạn sẵn rồi chờ duyệt cho Calendar, email, cùng các MCP server như Linear, Notion, GitHub.
Off Grid AI chạy suy luận, chuyển giọng nói và tạo ảnh hoàn toàn trên thiết bị; theo README, không dữ liệu nào rời khỏi máy và không cần tài khoản hay API key. Embedding của knowledge base cũng được giữ cục bộ trong SQLite.
Repo liên quan
Vẫn đang phân vân về off-grid-ai-mobile?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về off-grid-ai-mobile.