OmniRoute: Một endpoint cho nhiều nhà cung cấp AI miễn phí
diegosouzapw/OmniRouteOmniRoute là một cổng AI tự host được, đặt một endpoint duy nhất trước nhiều nhà cung cấp model. Bạn trỏ các agent coding như Claude Code, Cursor hay Cline vào đó, và nó định tuyến yêu cầu qua các nhà cung cấp — kể cả các gói miễn phí — với dự phòng tự động khi một nhà cung cấp không khả dụng.
Hãy chọn OmniRoute nếu bạn muốn dồn các agent coding qua một endpoint duy nhất khai thác một loạt gói LLM miễn phí, và không ngại xoay xở nhiều tài khoản nhà cung cấp. Bỏ qua nếu bạn cần một cổng có hỗ trợ và cam kết SLA, hoặc e ngại xây dựng trên các gói miễn phí mà điều khoản và giới hạn có thể thay đổi bất cứ lúc nào.
Vấn đề nó giải quyết
Nếu bạn dùng nhiều công cụ coding AI, mỗi cái lại muốn nhà cung cấp và API key riêng, còn các gói miễn phí thì rải rác khắp hàng chục dịch vụ với giới hạn khác nhau. Theo dõi cái nào miễn phí, cái nào bị giới hạn tần suất, và mỗi công cụ nên gọi endpoint nào là chuyện mệt mỏi — và rất dễ đốt quota trả phí trong khi một lựa chọn miễn phí đang nằm ngay đó.
Đây là gì?
OmniRoute là một cổng AI mã nguồn mở (giấy phép MIT). Nó phơi ra một endpoint tương thích OpenAI duy nhất và định tuyến yêu cầu qua nhiều nhà cung cấp, với dự phòng tự động và nén token mà README gọi là 'RTK + Caveman'. README nói nó kết nối các agent coding (Claude Code, Codex, Cursor, Cline, Copilot) tới các gói miễn phí của Claude, GPT và Gemini, và phát hành dưới dạng gói npm, image Docker cùng bản Desktop/PWA.
Vì sao đang được chú ý
Sức hút nằm ở lời chào 'không bao giờ chạm giới hạn, cứ code miễn phí'. README tuyên bố truy cập 237 nhà cung cấp với hơn 90 gói miễn phí và khoảng 1,6 tỷ token miễn phí mỗi tháng gộp lại, cộng với nén token mà họ nói tiết kiệm 15–95%. Nó cũng mang một huy hiệu Trendshift. Dù mọi con số có đứng vững hay không, một endpoint duy nhất kéo dài các gói miễn phí vẫn là ý tưởng hấp dẫn với lập trình viên đang để mắt tới chi phí API.
Tính năng chính
- ✓Một endpoint tương thích OpenAI định tuyến tới nhiều nhà cung cấp model
- ✓Tự động dự phòng sang nhà cung cấp khác khi một cái lỗi hoặc bị giới hạn tần suất
- ✓Nén token mà README gọi là 'RTK + Caveman', tuyên bố tiết kiệm 15–95% token
- ✓Bộ kết nối cho các agent coding: Claude Code, Codex, Cursor, Cline và Copilot
- ✓Một dashboard gộp ngân sách các gói miễn phí có tài liệu và hiển thị đã dùng/còn lại theo tháng
- ✓Hỗ trợ MCP và A2A, API đa phương thức, cùng bản Desktop/PWA bên cạnh npm và Docker
Trường hợp dùng tốt nhất
- •Trỏ nhiều agent coding vào một endpoint thay vì cấu hình từng cái riêng
- •Ưu tiên khai thác các gói miễn phí trước và tự động dự phòng khi chạm giới hạn
- •Cắt giảm chi phí token cho các prompt lớn nhờ nén của cổng
- •Tự host một router riêng để yêu cầu và key nằm trên hạ tầng của chính bạn
Cách cài đặt / dùng thử
README cho thấy OmniRoute được phân phối dưới dạng gói npm (`omniroute`), image Docker (`diegosouzapw/omniroute`), và bản Desktop/PWA. Các lệnh chạy cụ thể cho từng lựa chọn nằm trong phần Quick Start của kho, phần này không được đưa đầy đủ trong văn bản cung cấp — hãy kiểm tra kho để biết các bước cài hiện tại.
Cách sử dụng
Khi đã chạy, bạn đặt base URL của agent coding thành endpoint tương thích OpenAI của OmniRoute và để nó định tuyến tới các nhà cung cấp đã cấu hình, phần dự phòng được lo sẵn cho bạn. README mô tả một dashboard các gói miễn phí tại `/dashboard/free-tiers` hiển thị chi tiết theo từng model và ngân sách đã dùng/còn lại theo thời gian thực cho tháng hiện tại.
Điểm mạnh
- ✓Gộp nhiều nhà cung cấp sau một endpoint mà các agent sẵn có của bạn có thể gọi
- ✓Dự phòng tự động giảm các lần dừng cứng khi một nhà cung cấp sập hoặc bị bóp băng thông
- ✓Tự host được và giấy phép MIT, nên bạn có thể chạy riêng tư
- ✓Nén và gộp gói miễn phí nhắm thẳng vào việc cắt chi phí API
Hạn chế & rủi ro
- △Các con số nổi bật — 237 nhà cung cấp, hơn 90 gói miễn phí, ~1,6 tỷ token miễn phí/tháng, tiết kiệm 15–95% — là do README tự báo cáo, chưa được kiểm chứng độc lập
- △Nó dựa vào các gói miễn phí của bên thứ ba, mà điều khoản, giới hạn và khả năng dùng có thể thay đổi hoặc bị thu hồi bất cứ lúc nào
- △Muốn giá trị thật thì phải tạo và quản lý tài khoản cùng key trên nhiều nhà cung cấp
- △Nén token mạnh tay có thể ảnh hưởng chất lượng đầu ra tùy model và tác vụ
- △Đây có vẻ là một dự án cộng đồng/cá nhân, nên không có SLA từ nhà cung cấp nếu việc định tuyến hỏng
Lựa chọn thay thế
Ai nên thử — và ai nên bỏ qua
Lập trình viên chạy nhiều công cụ coding AI muốn một endpoint đứng trước nhiều nhà cung cấp và sẵn lòng quản lý một loạt tài khoản gói miễn phí để cắt chi phí. Nó hợp với người thích tự host và nhìn các tuyên bố token miễn phí lớn bằng con mắt hoài nghi lành mạnh. Nhóm cần uptime bảo đảm hoặc hỗ trợ từ nhà cung cấp nên chọn một cổng có bảo trợ.
Câu hỏi thường gặp
Phần mềm là mã nguồn mở dưới MIT và tự host được. Nó hướng tới việc định tuyến bạn vào các gói miễn phí của nhà cung cấp, nhưng các gói đó thuộc bên thứ ba và có thể thay đổi; một số mức dùng vẫn có thể tốn tiền.
README liệt kê Claude Code, Codex, Cursor, Cline và Copilot là các agent coding tương thích có thể gọi endpoint của OmniRoute.
Không. Các con số như 237 nhà cung cấp và khoảng 1,6 tỷ token miễn phí mỗi tháng là do README nêu. Hãy xem chúng là tuyên bố của chính dự án, không phải số liệu được xác nhận độc lập.
README nói nó có sẵn dưới dạng gói npm, image Docker và bản Desktop/PWA. Hãy xem phần Quick Start của kho để biết lệnh cụ thể cho từng lựa chọn.