Là một dự án mã nguồn mở, ashhart/TensorFold đã đạt 1.9k sao trên GitHub, ngôn ngữ Zig. LLM Inference Engine for Metal, CUDA and Vulkan.
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
TensorFold serves language models from a Zig binary on Apple Silicon and NVIDIA GPUs.
The engine reads checkpoints, tokenizes requests and runs Metal or CUDA kernels directly.
Serving needs no Python or MLX installation.
Building with a coding agent? Have it load the contributor skill and follow CONTRIBUTING.md.
Quick start
Start with Qwen3.5-2B, a small 4-bit checkpoint. The commands below download its pinned revision, then serve it as
local-model. Model weights have their own licenses.
Leave the server running. In another terminal, on either platform:
curl -fsS http://127.0.0.1:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"local-model","messages":[{"role":"user","content":"Say hello in one sentence."}],"max_tokens":128,"temperature":0}'
The API also serves completions, Responses and Anthropic Messages. /v1/models lists the served name.
To talk to a model in the terminal in one command, tensorfold chat MODEL starts the server itself, streams each
reply and stops the server when the chat ends; /help lists the chat's commands, and /bye or Ctrl-D ends it:
tensorfold chat mlx-community/Qwen3.5-2B-MLX-4bit
With the server above still running, tensorfold chat --url http://127.0.0.1:8080 chats with it instead, and
echo "Say hello." | tensorfold chat --url http://127.0.0.1:8080 prints one reply for a script.
See the chat command for its flags and the serve flags it passes on.
Docs
Run guide: platform setup, requests, parallel requests, exact decoding, context compaction,
Cortheon mode, every serve flag, the Mac app and TensorFold Starlight.
Supported models: which checkpoints run on which machines, models on disk and model discovery.
Living Weights (experimental): teach a running model new facts in its own weights.
Installation runbook: macOS and CUDA installation, paired Metal serving and troubleshooting.
Windows, TensorFold Web and the Mac app.
API, Cortheon mode and known issues.
Evaluating TensorFold and community benchmarks.
Usable memory profiles: how to record applied budgets, context, cache state and process peaks.
Contributing: ATC and agents, builds, tests and the exactness and performance gates.
Changes, 1.0.0 release notes and the Zig engine preview.
TensorFold is Apache-2.0: LICENSE, NOTICE, THIRD_PARTY_NOTICES.md and SECURITY.md.
Contributors
Thank you to everyone who has sent TensorFold a pull request, a measurement or a bug report:
ashhart/TensorFold có 1.9k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/ashhart/TensorFold. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
ashhart/TensorFold có những chủ đề gì?
GitHub topics của ashhart/TensorFold: "ai", "ai-tools", "llm", "llm-inference", "llm-tools". TopGit xếp repo vào nhóm mã nguồn mở.
ashhart/TensorFold còn đang phát triển không?
Commit gần nhất trên ashhart/TensorFold là 9 ngày trước (theo timestamp GitHub). Repo có 392 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
ashhart/TensorFold là gì?
ashhart/TensorFold (ashhart/TensorFold) là dự án Zig trên GitHub. Theo mô tả gốc: LLM Inference Engine for Metal, CUDA and Vulkan.
ashhart/TensorFold viết bằng ngôn ngữ gì?
ashhart/TensorFold chủ yếu viết bằng Zig. Trường "language" của GitHub dựa trên phần lớn byte ở nhánh mặc định.
Đọc đầy đủ README ở tab phía trên.
Muốn nghe thêm một ý kiến về TensorFold?
Hỏi một AI đọc được trang này — một cú bấm là có ngay nhận định về TensorFold.