LocalAI — Chạy mọi mô hình AI trên phần cứng của riêng bạn

Vấn đề nó giải quyết

Các API AI được host thường gửi lời nhắc (prompts) và dữ liệu của bạn đến bên thứ ba, tính phí theo token và ràng buộc bạn với một nhà cung cấp duy nhất. Tự chạy các mô hình thường đòi hỏi phải kết nối nhiều công cụ riêng biệt cho văn bản, giọng nói và hình ảnh, mỗi công cụ lại có giao diện riêng.

Đây là gì?

LocalAI là một công cụ AI mã nguồn mở được viết bằng Go. Nó có một lõi nhỏ gọn và tải các backend theo yêu cầu — mỗi backend đóng gói một công cụ như llama.cpp, vLLM, whisper.cpp, stable-diffusion hoặc MLX trong một image riêng — nhờ đó bạn chỉ cài đặt những gì một mô hình cụ thể cần. Một giao diện API duy nhất phục vụ các mô hình LLM, thị giác, giọng nói, hình ảnh và video, đồng thời nó mô phỏng hình dạng API của OpenAI, Anthropic và ElevenLabs, cho phép các client hiện có chỉ cần thay đổi URL cơ sở để trỏ đến LocalAI.

Vì sao đang được chú ý

LocalAI đang hoạt động mạnh mẽ trong lĩnh vực AI cục bộ và tự host, với khoảng 47.000 lượt gắn sao trên GitHub. Sức hút của nó nằm ở khả năng tương thích API dễ dàng tích hợp cùng với hỗ trợ phần cứng rộng rãi — bao gồm NVIDIA, AMD, Intel, Apple Silicon, Vulkan hoặc chỉ CPU — cho phép các nhóm chuyển từ API được host sang suy luận cục bộ mà không cần viết lại mã client.

Tính năng chính

• ✓Tương thích API dễ dàng tích hợp với OpenAI, Anthropic và ElevenLabs
• ✓Các backend có thể kết hợp (llama.cpp, vLLM, whisper.cpp, stable-diffusion, MLX) được tải theo yêu cầu
• ✓Một API duy nhất cho các mô hình LLM, thị giác, giọng nói, hình ảnh và video
• ✓Hỗ trợ phần cứng rộng rãi: NVIDIA, AMD, Intel, Apple Silicon, Vulkan hoặc chỉ CPU
• ✓Kiểm soát đa người dùng: xác thực bằng khóa API, hạn ngạch người dùng và quyền truy cập dựa trên vai trò
• ✓Các tác nhân AI tích hợp với khả năng sử dụng công cụ, RAG và MCP
• ✓Ưu tiên quyền riêng tư: dữ liệu luôn nằm trên hạ tầng của riêng bạn

Trường hợp dùng tốt nhất

• •Thay thế endpoint OpenAI/Anthropic được host bằng backend cục bộ cho các ứng dụng hiện có
• •Cung cấp LLM, chuyển giọng nói thành văn bản, chuyển văn bản thành giọng nói và tạo hình ảnh từ một dịch vụ duy nhất
• •Giữ các lời nhắc (prompts) và tài liệu nhạy cảm tại chỗ để đảm bảo quyền riêng tư hoặc tuân thủ
• •Chia sẻ phần cứng giữa nhiều người dùng với khóa API và hạn ngạch

Cách cài đặt / dùng thử

README cung cấp tài liệu về cách tải xuống DMG cho macOS và các image Docker/Podman. Hướng dẫn khởi động nhanh chỉ dùng CPU: `docker run -ti --name local-ai -p 8080:8080 localai/localai:latest`. Các image GPU được cung cấp cho NVIDIA (CUDA 12/13), AMD (ROCm), Intel (oneAPI) và Vulkan. Hướng dẫn cài đặt đầy đủ có tại localai.io.

Cách sử dụng

Khi máy chủ đang chạy, hãy tải một mô hình từ thư viện hoặc registry, ví dụ: `local-ai run llama-3.2-1b-instruct:q4_k_m`, sau đó gọi endpoint tương thích OpenAI trên cổng 8080. Lệnh `local-ai chat --model <name>` sẽ mở một phiên terminal tương tác. Chi tiết API được ghi lại tại localai.io.

Lựa chọn thay thế

Ai nên thử — và ai nên bỏ qua

Hãy chọn LocalAI nếu bạn đã sử dụng các SDK của OpenAI hoặc Anthropic và muốn chạy các mô hình trên phần cứng của riêng mình để đảm bảo quyền riêng tư hoặc kiểm soát chi phí, đồng thời bạn cảm thấy thoải mái với việc vận hành container và GPU. Bỏ qua nếu bạn muốn một API được host không cần vận hành hoặc một ứng dụng chat tiêu dùng được đánh bóng.

Câu hỏi thường gặp

Repo liên quan