QVAC: SDK AI Cục Bộ, Đa Nền Tảng

QVAC Là Gì?

QVAC là một AI SDK mã nguồn mở, đa nền tảng của Tether để xây ứng dụng AI local-first, ngang hàng. Nó có client cho JavaScript/TypeScript (@qvac/sdk) và Python (tetherto-qvac-sdk), để load model và chạy inference trên Linux, macOS, Windows, Android, hoặc iOS, hoặc chuyển inference cho peer qua lớp P2P. Nó cũng chạy như một HTTP server với API tương thích OpenAI, đóng vai trò local model provider.

Năng Lực Cốt Lõi

• ✓Inference on-device, local-first: load model và chạy các tác vụ AI ngay trên máy của bạn, không phụ thuộc API bên thứ ba, SaaS, hay cloud, theo README.
• ✓Chuyển inference qua peer-to-peer: khả năng P2P tích hợp sẵn cho phép bạn chuyển việc inference cho các peer khác, điều mà README so sánh với BitTorrent, IPFS, và mạng blockchain áp dụng cho AI.
• ✓Hai SDK dùng chung một worker: client JS/TS (@qvac/sdk) và client Python (tetherto-qvac-sdk) chạy trên cùng một worker nền, nên năng lực và hành vi giống nhau ở cả hai.
• ✓Phạm vi đa nền tảng: trải nghiệm phát triển nhất quán trên Linux, macOS, Windows, Android, và iOS, theo README.
• ✓HTTP server tương thích OpenAI: QVAC có thể chạy như một local model provider, gắn vào bất kỳ harness nào được xây cho OpenAI API, như OpenCode hay OpenClaw theo README.
• ✓Linh hoạt về runtime ở phía JS/TS: client chạy được trên Node.js, Bare runtime, và Expo, chứ không chỉ trong browser hay server.
• ✓Mã nguồn mở theo giấy phép Apache-2.0, được README mô tả là miễn phí để dùng, chỉnh sửa, và xây dựng thêm.

Bắt Đầu Với QVAC

Sau khi cài đặt, luồng làm việc giống nhau ở cả hai ngôn ngữ: load một model, chạy inference, rồi unload nó. Trong JavaScript, loadModel nhận vào modelSrc, modelType (ví dụ "llm"), và callback onProgress để theo dõi tiến độ tải; completion nhận modelId cùng một mảng lịch sử hội thoại (history) và trả về token stream để bạn duyệt qua bằng vòng lặp for-await; unloadModel giải phóng tài nguyên khi xong. Client Python có luồng tương tự với các lệnh gọi async load_model, completion, và unload_model bên trong Client() context manager, vì nó asyncio-native. Ngoài SDK, QVAC còn chạy như một HTTP server độc lập, nên bạn có thể trỏ một công cụ tương thích OpenAI API có sẵn vào nó mà không cần viết code SDK.

Các Tác Vụ AI Được Hỗ Trợ

• •Text generation, embeddings, và RAG — LLM inference và text embeddings chạy qua Fabric LLM, cùng một RAG workflow dựng sẵn cho câu trả lời dạng retrieval-augmented.
• •Speech và dịch thuật — nhận dạng giọng nói (ASR) qua @qvac/asr-ggml (Whisper hoặc NVIDIA Parakeet) với duplex streaming, text-to-speech qua @qvac/tts-ggml (Chatterbox, Supertonic, Parler, hoặc CosyVoice3), và dịch máy neural (NMT) qua Fabric LLM và Bergamot.
• •Tạo ảnh, video, và nhạc — text-to-image và image-to-image qua Diffusion backend tuỳ chỉnh, text-to-video và image-to-video cùng nhóm backend đó, và tạo nhạc từ text, lời, và musical controls qua ACE-Step.
• •Multimodal và inference chuyên biệt — hội thoại LLM multimodal trên cả text và hình ảnh, OCR qua ONNX Runtime hoặc GGML backend, phân loại ảnh, transcription brain-computer interface (BCI) qua Whisper backend tuỳ chỉnh, và inference vision-language-action (VLA) để điều khiển robot.
• •Fine-tuning — tinh chỉnh LLM cho tác vụ theo domain cụ thể bằng LoRA.

Các Local AI SDK Tương Tự

Câu Hỏi Thường Gặp

Vấn đề QVAC giải quyết

Phần lớn công cụ local AI chỉ chọn một tác vụ — một LLM runner, một thư viện TTS, hoặc một công cụ OCR — nên khi nhà phát triển xây ứng dụng cần nhiều hơn một tác vụ, họ phải ghép nhiều project riêng lẻ lại, mỗi cái có API shape và cách đóng gói khác nhau. README của QVAC đóng khung câu trả lời của mình là một SDK duy nhất bao phủ nhiều loại tác vụ AI — từ LLM chat, RAG đến speech, tạo ảnh/video, dịch thuật, và OCR — sau một API client duy nhất bằng JavaScript/TypeScript hoặc Python, cộng với một đường chuyển inference sang peer thay vì một cloud vendor khi phần cứng cục bộ không đủ.

Cách cài đặt / dùng thử

Cách cài QVAC tuỳ vào client bạn chọn. Với JavaScript/TypeScript: chạy npm install @qvac/sdk trong một project Node.js (quickstart trong README cũng chạy npm init -y và npm pkg set type=module trước đó, để hỗ trợ ESM). Với Python: pip install "tetherto-qvac-sdk", sau đó chạy python -m tetherto.qvac_sdk install-worker — một bước bắt buộc, vì client Python cần Node.js và npm trên máy, và install-worker sẽ tự chạy npm install để cài chúng. Cả hai client đều tải trọng số model thật (quickstart trong README dùng LLAMA_3_2_1B_INST_Q4_0) khi load lần đầu, không phải lúc cài đặt.

Ai nên dùng — và ai nên bỏ qua

Hãy dùng QVAC nếu bạn đang xây một ứng dụng JS/TS hoặc Python cần inference cục bộ hoặc chuyển qua peer cho nhiều hơn một tác vụ AI — ví dụ chat cộng RAG cộng transcription — và không muốn tích hợp ba thư viện riêng để làm việc đó. Nó cũng đáng thử nếu bạn chỉ cần một endpoint local tương thích OpenAI API để trỏ một công cụ có sẵn vào, mà không cần viết code SDK. Bỏ qua nếu bạn cần một thư viện hẹp, đã được kiểm chứng kỹ cho đúng một tác vụ thay vào đó, như một project ASR hay TTS chuyên dụng, hoặc nếu yêu cầu phần cứng chưa được ghi rõ và một repo còn nhỏ, giai đoạn sớm là điều bạn không chấp nhận được cho project của mình.

Repo liên quan