Foundry Local: SDK AI cục bộ cho ứng dụng client
Foundry Local là SDK của Microsoft giúp chạy mô hình chat và chuyển giọng nói thành văn bản ngay bên trong ứng dụng C#, JavaScript, Python hoặc Rust — không cần server, không cần API key. Nên chọn nếu bạn đang xây ứng dụng desktop hoặc mobile cần suy luận ngoại tuyến và chấp nhận danh mục mô hình đã được tuyển chọn, lượng tử hóa sẵn. Bỏ qua nếu bạn cần phục vụ nhiều người dùng đồng thời; đó là việc của suy luận phía server, không phải của một SDK nhúng vào client.
Foundry Local Là Gì?
Foundry Local là runtime và SDK AI cục bộ, nặng khoảng 20 MB, chạy mô hình chat và âm thanh hoàn toàn trên thiết bị người dùng. Nó đi kèm một danh mục mô hình được tuyển chọn, tăng tốc phần cứng tự động trên NPU/GPU/CPU, cùng một API tương thích OpenAI, nên một thiết bị không có kết nối mạng vẫn trả lời được prompt hoặc phiên âm giọng nói. Điểm đánh đổi: bạn chỉ được dùng những mô hình mà Microsoft đã kiểm định và lượng tử hóa cho danh mục đó.
Năng Lực Cốt Lõi
- ✓Runtime nhẹ (khoảng 20 MB) xây trên ONNX Runtime, tự lo việc tải mô hình, tăng tốc phần cứng và suy luận ngay trong tiến trình ứng dụng — không cần chạy thêm server riêng.
- ✓Danh mục mô hình được tuyển chọn cho chat completions (GPT OSS, Qwen, DeepSeek, Mistral, Phi) và chuyển giọng nói thành văn bản (Whisper), mỗi mô hình đều được lượng tử hóa và nén trước khi phát hành.
- ✓Tăng tốc phần cứng tự động — Foundry Local phát hiện NPU, GPU hoặc CPU của thiết bị và tự chọn execution provider phù hợp mà bạn không phải viết logic nhận diện.
- ✓Quản lý mô hình thông minh: mô hình tự tải về ở lần dùng đầu tiên, được cache cục bộ để lần chạy sau khởi động ngay lập tức, và phiên bản phù hợp nhất với phần cứng đó được chọn tự động.
- ✓API tương thích OpenAI, kể cả định dạng OpenAI Responses API, nên ứng dụng đã dùng OpenAI SDK có thể trỏ sang endpoint của Foundry Local mà gần như không phải sửa code.
- ✓Server cục bộ tùy chọn cho trường hợp muốn chia sẻ một mô hình cho nhiều tiến trình hoặc gắn vào LangChain qua REST, thay vì nhúng SDK trực tiếp.
Các Trường Hợp Sử Dụng Điển Hình
- •Ứng dụng desktop hoặc mobile cần chat completions vẫn hoạt động được trên máy bay hay ở nơi không có mạng ổn định.
- •Tính năng AI nhúng trong ứng dụng client, nơi gửi văn bản hay giọng nói của người dùng lên API đám mây là điều không chấp nhận được vì lý do riêng tư hoặc tuân thủ.
- •Ứng dụng ghi chú thoại hay họp trực tuyến phiên âm âm thanh ngay tại chỗ bằng mô hình Whisper đi kèm, thay vì gửi bản ghi âm cho một API bên thứ ba.
- •Công cụ desktop dạng Electron hay native muốn có AI ngoại tuyến mà không cần đăng ký Azure hay quản lý API key cho từng bản cài đặt.
Bắt Đầu Với SDK
Cài đặt chỉ gồm một lệnh cho mỗi ngôn ngữ: `npm install foundry-local-sdk` cho JavaScript hoặc `pip install foundry-local-sdk` cho Python; binding cho C# và Rust cũng có sẵn qua các sample riêng. Không cần tải runtime rời, không cần đăng ký Azure hay cấu hình API key — SDK AI cục bộ tự tải những gì cần khi ứng dụng của bạn yêu cầu một mô hình lần đầu. Một CLI riêng (bản preview công khai, gắn tag `cli-preview-0.10.0`) có thể tải từ GitHub releases nếu bạn muốn thử mô hình theo kiểu tương tác trước khi viết code.
Triển Khai Mô Hình Chat Và Âm Thanh
Trong JavaScript, bạn tạo một `FoundryLocalManager`, lấy mô hình từ danh mục bằng `manager.catalog.getModel('qwen2.5-0.5b')`, gọi `.download()` rồi `.load()`, sau đó lấy chat client bằng `model.createChatClient()` và gọi `.completeChat()` với một mảng messages — SDK Python theo đúng khuôn mẫu này với `catalog.get_model()` và `get_chat_client()`. Phiên âm giọng nói dùng mô hình Whisper thay vì mô hình chat: tải `whisper-tiny`, tạo audio client bằng `model.createAudioClient()`, đặt `audioClient.settings.language`, rồi gọi `.transcribe()` cho cả file hoặc `.transcribeStreaming()` để nhận từng đoạn văn bản khi nó được tạo ra. Một instance `FoundryLocalManager` duy nhất có thể giữ cả mô hình chat lẫn mô hình âm thanh cùng lúc, và bạn gọi `.unload()` trên từng mô hình khi dùng xong.
Ai Được Lợi Từ Foundry Local?
Foundry Local nhắm đến các nhà phát triển đang xây ứng dụng client — desktop, mobile, hoặc thiết bị dạng kiosk — cần tính năng chat hay phiên âm hoạt động mà không cần backend đang chạy. Nó phù hợp với các nhóm đã quen C#, JavaScript, Python hoặc Rust và không muốn vận hành, trả tiền cho hạ tầng suy luận chỉ để thêm AI vào một ứng dụng. Đây không phải lựa chọn tốt cho một nhóm đang xây sản phẩm hosted phục vụ nhiều người dùng cùng lúc — đó là bài toán khác với việc nhúng một mô hình vào bản cài đặt của một người.
Điểm Mạnh
- ✓Không tốn phí theo token, không cần API key, không cần backend để chạy — một khi mô hình đã được cache, suy luận diễn ra hoàn toàn ngoại tuyến với độ trễ mạng bằng không.
- ✓Tăng tốc phần cứng tự động nghĩa là bạn không phải tự viết logic nhận diện NPU/GPU/CPU; Foundry Local tự chọn execution provider giúp bạn.
- ✓API tương thích OpenAI, kể cả định dạng OpenAI Responses API, giúp việc chuyển đổi từ ứng dụng đã dùng OpenAI SDK tốn ít công sức.
- ✓Bản thân gói cài đặt nhỏ (khoảng 20 MB), nên không làm phình kích thước cài đặt ứng dụng như một runtime cục bộ đầy đủ có thể gây ra.
Khi Nào Không Nên Dùng Foundry Local
- △Danh mục mô hình được tuyển chọn chứ không mở — bạn chỉ có GPT OSS, Qwen, DeepSeek, Mistral, Phi và các biến thể Whisper mà Microsoft đã lượng tử hóa, không phải checkpoint bất kỳ tìm được ở nơi khác.
- △Foundry Local được thiết kế cho một người dùng trên một thiết bị; chính README nói rõ đây không phải stack inference cho server và chỉ sang vLLM hoặc Triton Inference Server cho việc phục vụ nhiều người dùng đồng thời.
- △CLI vẫn ở bản preview công khai (`cli-preview-0.10.0`), phân phối dưới dạng file tải từ GitHub release chứ chưa qua trình quản lý gói, nên chưa hoàn thiện bằng con đường dùng SDK.
- △Giấy phép không đồng nhất: SDK dùng MIT, nhưng CLI theo Microsoft Software License Terms, và mỗi mô hình trong danh mục lại có giấy phép riêng — cần kiểm tra trước khi phân phối lại.
Lựa Chọn Thay Thế Cho Suy Luận Phía Server
Câu Hỏi Thường Gặp
Foundry Local không chủ yếu là web server hay CLI — đây là SDK và runtime AI cục bộ mà ứng dụng của bạn nhúng trực tiếp; web server và CLI chỉ là tùy chọn phục vụ phát triển và thử nghiệm, không phải sản phẩm cốt lõi.
Foundry Local giới hạn danh mục ở những mô hình Microsoft đã kiểm tra và lượng tử hóa cho phần cứng tiêu dùng, đủ nhỏ để phân phối cùng ứng dụng, đánh đổi sự đa dạng mô hình lấy hành vi ổn định khi chạy trên thiết bị thực tế.
Foundry Local có thể chạy trên phần cứng server về mặt kỹ thuật, nhưng được xây cho một người dùng trên một thiết bị tại một thời điểm; muốn phục vụ nhiều người dùng đồng thời, README khuyên dùng các stack chuyên dụng như vLLM hoặc Triton Inference Server.
Foundry Local hỗ trợ Windows, macOS trên chip Apple silicon, và Linux.
Foundry Local SDK dùng giấy phép MIT; CLI riêng biệt dùng Microsoft Software License Terms, và mỗi mô hình trong danh mục có điều khoản giấy phép riêng.
Danh mục của Foundry Local gồm các mô hình chat completions như GPT OSS, Qwen, DeepSeek, Mistral, Phi, cùng mô hình Whisper cho phiên âm giọng nói — tất cả đều được lượng tử hóa để chạy trên thiết bị.
Vấn Đề Mà Foundry Local Giải Quyết
Thêm tính năng chat hay phiên âm vào một ứng dụng client thường đòi hỏi dựng backend, quản lý API key, chấp nhận chi phí theo token và độ trễ mạng — hoặc tự tay tích hợp ONNX Runtime và viết logic nhận diện phần cứng. Foundry Local gói việc tải mô hình, lượng tử hóa, chọn hardware provider và một client tương thích OpenAI vào một SDK duy nhất. Không cần backend. Ứng dụng C#, JavaScript, Python hay Rust gọi một mô hình cục bộ theo đúng cách nó vẫn gọi một mô hình trên cloud, mà không phải tự xây phần hạ tầng ở giữa.
Repo liên quan
Muốn nghe thêm một ý kiến về Foundry-Local?
Hỏi một AI đọc được trang này — một cú bấm là có ngay nhận định về Foundry-Local.
