SIE Inference Server: Cụm model tự host cho agent
SIE (Superlinked Inference Engine) là một inference server mã nguồn mở, gộp tất cả các lời gọi model mà một agent cần vào một cụm đơn. Đáng dùng nếu bạn đã chán quản từng server model riêng biệt và muốn endpoint tương thích OpenAI trên nền Kubernetes thực sự. Bỏ qua nếu chỉ cần một model duy nhất — infrastructure overhead không xứng.
SIE là gì
SIE là một inference server tự host, chạy mọi model mà agent cần qua một API tương thích OpenAI. Nó thay thế các service riêng cho search embedding, OCR tài liệu, sinh text, và task vision bằng một gateway duy nhất tải model theo yêu cầu. Deploy production dùng Kubernetes với load-balancing gateway, KEDA autoscaling, và dashboard Grafana.
Tính năng cốt lõi
- ✓Embedding và retrieval model (BAAI/bge-m3, SPLADE, Colbertv2) được benchmark trên MTEB, cùng cross-encoder reranker như Qwen3-Reranker
- ✓Pipeline chuyển tài liệu sang markdown: PDF, Office, scan qua LightOnOCR, GLM-OCR, MinerU, PaddleOCR-VL, hoặc Docling
- ✓LLM serving cho agent loop và structured output: Qwen3-0.6B đến Qwen3.8-27B trên SGLang, hỗ trợ JSON schema qua GLiNER2 và NuNER_Zero
- ✓Vision model: Florence-2 cho captioning, OWLv2 cho object detection, Grounding DINO cho localization, và Whisper Large v3 Turbo cho transcription
- ✓API tương thích OpenAI: /v1/embeddings, /v1/chat/completions, /v1/completions, /v1/responses — migrate không cần sửa code
- ✓Deploy Kubernetes qua Helm chart với load-balancing gateway, KEDA autoscaling về zero, dashboard Grafana; module Terraform cho GKE, EKS, AKS, và Alibaba ACK
- ✓Tải model theo yêu cầu với LRU eviction; phục vụ nhiều model cùng lúc từ một cụm
- ✓Tích hợp chín loại framework: LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate, và LanceDB
Xây được gì với SIE
- •Chạy toàn bộ inference cho RAG pipeline: embed query, retrieve context, rerank kết quả, và sinh answer qua một gateway duy nhất
- •Agentic workflow cần structured entity extraction, content safety check, và tool-calling LLM từ một cụm
- •Pipeline xử lý tài liệu: chuyển PDF sang markdown, extract entity, lưu vào vector database
- •Deploy production đa cloud với autoscaling, giám sát tập trung, và hạ tầng quản lý qua Terraform
- •Thay thế một OpenAI proxy hiện có bằng giải pháp on-premise phục vụ open model cho mọi loại task
Chạy SIE ở local
Yêu cầu Python 3.12. Cài server bằng pip install sie-server[local] và khởi động với sie-server serve cho development local. Docker image có sẵn cho NVIDIA GPU (cuda12) và môi trường CPU-only, với các bundle riêng cho Transformers 5 OCR model và SGLang vision model. Helm chart deploy cụm production đầy đủ lên Kubernetes, kèm values file cho GKE, EKS, AKS, và Alibaba ACK.
Gọi SIE từ Python và TypeScript
Sau khi khởi động server, cài Python SDK (pip install sie-sdk) hoặc TypeScript SDK (npm install @superlinked/sie-sdk). Gọi client.encode() để tạo embedding, client.score() để rerank kết quả tìm kiếm, client.extract() cho named entity recognition, và client.generate() cho text completion. Ví dụ: result = client.encode('sentence-transformers/all-MiniLM-L6-v2', Item(text='Hello world')) trả về dense vector shape (384,).
Tại sao nên dùng SIE
- ✓Một cụm, một gateway, một API cho mọi loại model mà agent cần — không cần deploy riêng từng model
- ✓Endpoint tương thích OpenAI nên code dùng OpenAI SDK chuyển qua không cần sửa
- ✓Catalog model với hơn 100 open model được config sẵn, mỗi cái có sie_id ổn định trong SDK
- ✓Stack Kubernetes production-ready với Helm, KEDA autoscaling, Grafana, và module Terraform cho bốn cloud provider lớn
- ✓Tải theo yêu cầu với LRU eviction giữ bộ nhớ có kiểm soát trong khi phục vụ nhiều họ model cùng lúc
Hạn chế đã biết
- △GPU thực sự bắt buộc cho production; chế độ CPU-only chỉ dùng được khi dev với model nhỏ
- △Lần gọi đầu tiên tới một model sẽ tải weights từ HuggingFace, gây latency trên cold start
- △Setup Kubernetes production đòi hỏi kiến thức infrastructure sâu, không phải deployment một binary đơn giản
- △Telemetry bật sẵn (dữ liệu usage ẩn danh), có thể xung đột với môi trường air-gapped hoặc nhạy cảm về privacy
- △Một số OCR model yêu cầu Docker image riêng (transformers5 hoặc sglang-vision-extract) vì xung đột dependency, làm phức tạp thêm lúc setup ban đầu
So sánh SIE với các inference server khác
SIE có phù hợp với dự án của bạn không
Team xây agent cần nhiều loại model trong production và muốn một API surface duy nhất, scaling tập trung, cùng Kubernetes deployment đã được xây sẵn. SIE phù hợp cho RAG pipeline, workflow xử lý tài liệu, và bất kỳ hệ thống agentic nào gọi embedding, generation, và extraction model cùng lúc. Nếu chỉ chạy một model trong development hoặc thích quản từng server riêng biệt, overhead vận hành không xứng.
Câu hỏi thường gặp
Có. SIE hoàn toàn mã nguồn mở theo giấy phép Apache 2.0, toàn bộ production stack bao gồm Helm chart và Terraform module đều cùng giấy phép.
SIE nhắm tới NVIDIA GPU với CUDA. Embedding và reranking model chạy được trên CPU cho development, nhưng document processing, vision task, và LLM generation đều cần CUDA GPU mới thực tế trong production.
Catalog model liệt kê hơn 100 model được config sẵn thuộc các họ embedding, generation, vision, và OCR. Mỗi model là một YAML config trong repository với sie_id ổn định dùng trong SDK.
Có. SIE được thiết kế để thay thế một server model riêng cho mỗi task. Gateway phục vụ nhiều model từ một cụm, tải theo yêu cầu và loại bỏ model ít dùng gần đây nhất khi bộ nhớ cạn kiệt.
SIE có hỗ trợ MLX cho text generation qua TypeScript SDK. CUDA NVIDIA vẫn là path GPU chính cho production workload.
Ollama chạy local trên một máy duy nhất với CLI đơn giản. SIE nhắm tới production Kubernetes cluster với load-balancing gateway, autoscaling, dashboard Grafana, và catalog model cover embedding, vision, và OCR task mà Ollama không có.
Vấn đề mà SIE giải quyết
Agent thường cần embedding model để retrieval, LLM để sinh text, pipeline OCR cho tài liệu, vision model cho ảnh, và reranker để xếp hạng kết quả. Cách thường dùng là chạy một server model riêng cho mỗi tác vụ, mỗi cái với API riêng, logic scaling riêng, và config deployment riêng. SIE gom tất cả vào một cụm với một gateway duy nhất.
Repo liên quan
sie có đáng để bạn bỏ thời gian?
ChatGPT, Claude và Perplexity đều đọc được trang này. Hỏi thử xem họ nghĩ gì về sie.
