Lemonade: Máy chủ AI cục bộ với GPU và NPU

Lemonade là gì?

Lemonade là máy chủ AI chạy LLM, tạo ảnh, tổng hợp giọng nói và phiên âm hoàn toàn trên GPU hoặc NPU của bạn. Nó cung cấp endpoint API tương thích OpenAI để ứng dụng hiện có kết nối không cần sửa code, còn CLI giúp khám phá và chạy mô hình. Được viết bằng C++ với đóng góp từ kỹ sư AMD, nhắm đến người dùng phổ thông và lập trình viên muốn khả năng AI ngang cloud nhưng không tốn phí per-token và kiểm soát dữ liệu hoàn toàn.

Tính năng chính cho AI cục bộ

• ✓API tương thích OpenAI tại localhost:13305 — code dùng openai-python, openai-node và các client chuẩn khác kết nối không cần sửa gì
• ✓Suy luận đa phương thức: sinh text (GGUF, FLM, ONNX), tạo ảnh (SDXL-Turbo, Trellis), tổng hợp giọng nói (Kokoro), phiên âm (Whisper)
• ✓Tăng tốc phần cứng CUDA, Vulkan, ROCm, Metal và XDNA2 NPU — cùng một mô hình chạy được trên NVIDIA, AMD hoặc Apple Silicon tùy cấu hình
• ✓Tối ưu AMD Ryzen AI và Radeon với backend riêng cho NPU XDNA2 và iGPU Strix Halo, xây dựng với IRON/MLIR-AIE
• ✓Embeddable Lemonade: binary di động đóng gói vào ứng dụng để người dùng cuối có AI cục bộ mà không cần cài server riêng
• ✓Đặt alias cho mô hình giúp đổi mô hình đích linh hoạt, hỗ trợ failover giữa các mô hình tại runtime
• ✓Offload lên đám mây lai: chuyển request sang OpenAI, Fireworks hoặc OpenRouter song song với mô hình cục bộ (đang thử nghiệm)
• ✓Ứng dụng di động iOS và Android kết nối tới instance Lemonade đang chạy

Cài đặt Lemonade

Tải MSI installer cho Windows từ trang releases, dùng package manager chuẩn trên Linux, hoặc lấy bản macOS. Hướng dẫn build Docker và build từ source cũng có sẵn. Sau khi cài, chạy `lemonade backends` để xem engine suy luận và backend tăng tốc nào khả dụng trên máy, rồi `lemonade list` duyệt mô hình và `lemonade pull <model>` để tải. Server khởi động tự động và lắng nghe tại localhost:13305. Ứng dụng iOS và Android kết nối tới instance đang chạy.

Chạy mô hình và kết nối ứng dụng

CLI là giao diện chính. `lemonade run <model>` khởi chạy mô hình và mở prompt chat. `lemonade list` xem mô hình có sẵn cục bộ, `lemonade pull <name>` tải từ Hugging Face hoặc ModelScope, `lemonade backends` báo phần cứng hỗ trợ gì. Để tích hợp ứng dụng, cấu hình bất kỳ client tương thích OpenAI nào trỏ tới `http://localhost:13305/api/v1` với một chuỗi non-empty bất kỳ làm API key — không cần key thật. Ví dụ code Python, Node.js, Go, Java, C++, C#, Ruby, Rust và PHP có link trong README. Server cũng hỗ trợ endpoint tương thích Anthropic và Ollama.

Tích hợp AI cục bộ vào ứng dụng

• •Thay thế lời gọi API AI đám mây trong ứng dụng sản xuất bằng máy chủ Lemonade cục bộ, loại bỏ phí per-token mà vẫn giữ nguyên thư viện client OpenAI
• •Gói Embeddable Lemonade vào ứng dụng desktop hoặc di động để người dùng cuối có AI trên thiết bị, tự động tối ưu theo GPU/NPU của họ
• •Xây pipeline LLM nhạy cảm về riêng tư — tài liệu pháp lý, y tế hoặc tài chính xử lý cục bộ, không gửi sang cloud provider
• •Vận hành workflow sáng tạo đa phương thức: tạo ảnh bằng SDXL-Turbo, mô tả bằng LLM có vision, tạo lời bằng Kokoro — tất cả trên một máy
• •Phát triển và kiểm tra tính năng AI cục bộ trước khi triển khai lên API đám mây, dùng cùng giao diện API cho cả hai môi trường
• •Dùng alias mô hình để chuyển giữa mô hình nhỏ-nhanh và mô hình lớn-mạnh tại runtime mà không cần sửa code ứng dụng

So sánh Lemonade với các máy chủ AI khác

Câu hỏi thường gặp

Bài toán mà nó giải quyết

API AI đám mây tính phí theo token và gửi prompt qua server bên thứ ba, tạo chi phí liên tục và rủi ro riêng tư. Tự set up suy luận cục bộ từ đầu đòi hỏi ghép nối nhiều thành phần rời rạc — engine suy luận, lớp tăng tốc phần cứng, tải mô hình, server API — một quy trình phức tạp mà người dùng thông thường và lập trình viên ứng dụng không thể tự mình lắp ráp.

Ai nên thử — và ai nên bỏ qua

Dùng thử Lemonade nếu bạn có GPU AMD hoặc NVIDIA và muốn chạy LLM hay AI đa phương thức trong ứng dụng mà không tốn phí per-token hay gửi dữ liệu lên cloud — đặc biệt mạnh nếu bạn dùng phần cứng AMD Ryzen AI hoặc Radeon. Lập trình viên muốn ship AI trên thiết bị bên trong ứng dụng của mình nên xem kỹ Embeddable Lemonade. Bỏ qua nếu bạn chỉ có máy CPU cũ không thể chạy suy luận thực tế, hoặc cần trải nghiệm GUI-first của chat interface thuần túy hơn là CLI và API server.

Repo liên quan