TopGit
Đánh giá repo GitHub

SIE Inference Server: Cụm model tự host cho agent

superlinked/sie
STopGit review image for superlinked/sie
Review by Topgit.dev for superlinked/sie, with GitHub repository stats and README context.
Nhận định nhanh

SIE (Superlinked Inference Engine) là một inference server mã nguồn mở, gộp tất cả các lời gọi model mà một agent cần vào một cụm đơn. Đáng dùng nếu bạn đã chán quản từng server model riêng biệt và muốn endpoint tương thích OpenAI trên nền Kubernetes thực sự. Bỏ qua nếu chỉ cần một model duy nhất — infrastructure overhead không xứng.

Sao
★ 3.5k
Fork
⑂ 337
Người đóng góp
👥 14
Ngôn ngữ
Python
Giấy phép
Apache-2.0
Chủ đề
—
Cập nhật
Nov 2026
Trang chủ
GitHub

SIE là gì

SIE là một inference server tự host, chạy mọi model mà agent cần qua một API tương thích OpenAI. Nó thay thế các service riêng cho search embedding, OCR tài liệu, sinh text, và task vision bằng một gateway duy nhất tải model theo yêu cầu. Deploy production dùng Kubernetes với load-balancing gateway, KEDA autoscaling, và dashboard Grafana.

Tính năng cốt lõi

  • ✓Embedding và retrieval model (BAAI/bge-m3, SPLADE, Colbertv2) được benchmark trên MTEB, cùng cross-encoder reranker như Qwen3-Reranker
  • ✓Pipeline chuyển tài liệu sang markdown: PDF, Office, scan qua LightOnOCR, GLM-OCR, MinerU, PaddleOCR-VL, hoặc Docling
  • ✓LLM serving cho agent loop và structured output: Qwen3-0.6B đến Qwen3.8-27B trên SGLang, hỗ trợ JSON schema qua GLiNER2 và NuNER_Zero
  • ✓Vision model: Florence-2 cho captioning, OWLv2 cho object detection, Grounding DINO cho localization, và Whisper Large v3 Turbo cho transcription
  • ✓API tương thích OpenAI: /v1/embeddings, /v1/chat/completions, /v1/completions, /v1/responses — migrate không cần sửa code
  • ✓Deploy Kubernetes qua Helm chart với load-balancing gateway, KEDA autoscaling về zero, dashboard Grafana; module Terraform cho GKE, EKS, AKS, và Alibaba ACK
  • ✓Tải model theo yêu cầu với LRU eviction; phục vụ nhiều model cùng lúc từ một cụm
  • ✓Tích hợp chín loại framework: LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate, và LanceDB
Số sao GitHub của repo này thay đổi thế nào theo thời gian. Nguồn: star-history.com.Xem lịch sử sao ↗

Xây được gì với SIE

  • •Chạy toàn bộ inference cho RAG pipeline: embed query, retrieve context, rerank kết quả, và sinh answer qua một gateway duy nhất
  • •Agentic workflow cần structured entity extraction, content safety check, và tool-calling LLM từ một cụm
  • •Pipeline xử lý tài liệu: chuyển PDF sang markdown, extract entity, lưu vào vector database
  • •Deploy production đa cloud với autoscaling, giám sát tập trung, và hạ tầng quản lý qua Terraform
  • •Thay thế một OpenAI proxy hiện có bằng giải pháp on-premise phục vụ open model cho mọi loại task

Chạy SIE ở local

Yêu cầu Python 3.12. Cài server bằng pip install sie-server[local] và khởi động với sie-server serve cho development local. Docker image có sẵn cho NVIDIA GPU (cuda12) và môi trường CPU-only, với các bundle riêng cho Transformers 5 OCR model và SGLang vision model. Helm chart deploy cụm production đầy đủ lên Kubernetes, kèm values file cho GKE, EKS, AKS, và Alibaba ACK.

Gọi SIE từ Python và TypeScript

Sau khi khởi động server, cài Python SDK (pip install sie-sdk) hoặc TypeScript SDK (npm install @superlinked/sie-sdk). Gọi client.encode() để tạo embedding, client.score() để rerank kết quả tìm kiếm, client.extract() cho named entity recognition, và client.generate() cho text completion. Ví dụ: result = client.encode('sentence-transformers/all-MiniLM-L6-v2', Item(text='Hello world')) trả về dense vector shape (384,).

Tại sao nên dùng SIE

  • ✓Một cụm, một gateway, một API cho mọi loại model mà agent cần — không cần deploy riêng từng model
  • ✓Endpoint tương thích OpenAI nên code dùng OpenAI SDK chuyển qua không cần sửa
  • ✓Catalog model với hơn 100 open model được config sẵn, mỗi cái có sie_id ổn định trong SDK
  • ✓Stack Kubernetes production-ready với Helm, KEDA autoscaling, Grafana, và module Terraform cho bốn cloud provider lớn
  • ✓Tải theo yêu cầu với LRU eviction giữ bộ nhớ có kiểm soát trong khi phục vụ nhiều họ model cùng lúc

Hạn chế đã biết

  • △GPU thực sự bắt buộc cho production; chế độ CPU-only chỉ dùng được khi dev với model nhỏ
  • △Lần gọi đầu tiên tới một model sẽ tải weights từ HuggingFace, gây latency trên cold start
  • △Setup Kubernetes production đòi hỏi kiến thức infrastructure sâu, không phải deployment một binary đơn giản
  • △Telemetry bật sẵn (dữ liệu usage ẩn danh), có thể xung đột với môi trường air-gapped hoặc nhạy cảm về privacy
  • △Một số OCR model yêu cầu Docker image riêng (transformers5 hoặc sglang-vision-extract) vì xung đột dependency, làm phức tạp thêm lúc setup ban đầu
Xem trên GitHub ↗Trang chủ ↗

So sánh SIE với các inference server khác

Ollama: chạy local trên máy tính của bạn với CLI đơn giản, nhưng thiếu bề mặt Kubernetes production, gateway tương thích OpenAI, và catalog multi-model mà SIE cung cấpvLLM: tối ưu cho serving LLM throughput cao trên NVIDIA GPU, nhưng chỉ tập trung vào text generation, không cover embedding, OCR, hay vision modelText Generation Inference (TGI): inference server chính thức của HuggingFace cho text model, ngang scope với vLLM, không hỗ trợ retrieval model hay document processing pipelineRay Serve: framework serving phân tán tổng quát, host được mọi model nhưng bạn phải tự xây lớp điều phối multi-modellm harness: tập trung vào benchmark thay vì serving; đánh giá model nhưng không chạy inference trong production

SIE có phù hợp với dự án của bạn không

Team xây agent cần nhiều loại model trong production và muốn một API surface duy nhất, scaling tập trung, cùng Kubernetes deployment đã được xây sẵn. SIE phù hợp cho RAG pipeline, workflow xử lý tài liệu, và bất kỳ hệ thống agentic nào gọi embedding, generation, và extraction model cùng lúc. Nếu chỉ chạy một model trong development hoặc thích quản từng server riêng biệt, overhead vận hành không xứng.

Câu hỏi thường gặp

SIE có miễn phí và mã nguồn mở không?

Có. SIE hoàn toàn mã nguồn mở theo giấy phép Apache 2.0, toàn bộ production stack bao gồm Helm chart và Terraform module đều cùng giấy phép.

SIE cần GPU nào?

SIE nhắm tới NVIDIA GPU với CUDA. Embedding và reranking model chạy được trên CPU cho development, nhưng document processing, vision task, và LLM generation đều cần CUDA GPU mới thực tế trong production.

SIE hỗ trợ bao nhiêu model?

Catalog model liệt kê hơn 100 model được config sẵn thuộc các họ embedding, generation, vision, và OCR. Mỗi model là một YAML config trong repository với sie_id ổn định dùng trong SDK.

SIE có thể thay thế nhiều server model riêng biệt không?

Có. SIE được thiết kế để thay thế một server model riêng cho mỗi task. Gateway phục vụ nhiều model từ một cụm, tải theo yêu cầu và loại bỏ model ít dùng gần đây nhất khi bộ nhớ cạn kiệt.

SIE có hỗ trợ Apple Silicon (MLX) không?

SIE có hỗ trợ MLX cho text generation qua TypeScript SDK. CUDA NVIDIA vẫn là path GPU chính cho production workload.

SIE so với Ollama như thế nào?

Ollama chạy local trên một máy duy nhất với CLI đơn giản. SIE nhắm tới production Kubernetes cluster với load-balancing gateway, autoscaling, dashboard Grafana, và catalog model cover embedding, vision, và OCR task mà Ollama không có.

Vấn đề mà SIE giải quyết

Agent thường cần embedding model để retrieval, LLM để sinh text, pipeline OCR cho tài liệu, vision model cho ảnh, và reranker để xếp hạng kết quả. Cách thường dùng là chạy một server model riêng cho mỗi tác vụ, mỗi cái với API riêng, logic scaling riêng, và config deployment riêng. SIE gom tất cả vào một cụm với một gateway duy nhất.

Repo liên quan

Nguồn & ghi công

Source: https://github.com/superlinked/sie

Dữ liệu GitHub · đồng bộ lần cuối 23 thg 9, 2026Đánh giá bởi Henry
← Về TopGit

sie có đáng để bạn bỏ thời gian?

ChatGPT, Claude và Perplexity đều đọc được trang này. Hỏi thử xem họ nghĩ gì về sie.

GitHub