ExecuTorch: Runtime AI On-Device Của PyTorch
ExecuTorch là runtime của PyTorch để triển khai model đã huấn luyện trực tiếp lên điện thoại, thiết bị đeo và vi điều khiển. Nó export thẳng từ torch.export() sang runtime C++ gọn nhẹ, bỏ qua bước chuyển đổi ONNX hay TFLite. Hãy chọn ExecuTorch nếu bạn đã huấn luyện bằng PyTorch và muốn một đường export cho nhiều backend phần cứng; bỏ qua nếu model của bạn nằm trong TensorFlow hoặc cần một runtime có bề dày sử dụng ngoài Meta.
ExecuTorch Là Gì?
ExecuTorch là runtime và bộ công cụ của PyTorch để chạy model đã huấn luyện on-device, trên điện thoại, board nhúng và vi điều khiển, mà không cần chuyển sang framework khác trước. Nó nắm bắt đồ thị model bằng torch.export(), biên dịch trước (AOT) thành một file .pte, rồi chạy file đó qua một runtime C++ nhẹ với các backend cho chip của Apple, Qualcomm, Samsung, MediaTek và ARM.
Năng Lực Cốt Lõi Cho Triển Khai
- ✓Export trực tiếp từ torch.export() sang file .pte, không qua bước chuyển đổi trung gian ONNX hay TFLite, nên cấu trúc đồ thị model được giữ nguyên, theo README.
- ✓Dung lượng runtime cơ bản chỉ 50KB, đủ nhỏ để chạy trên vi điều khiển lẫn điện thoại cao cấp.
- ✓Hơn 12 backend phần cứng được README liệt kê, gồm XNNPACK, Apple CoreML, Qualcomm QNN, Samsung Exynos, MediaTek, Vulkan, và ARM Ethos-U cho vi điều khiển.
- ✓Đổi mục tiêu phần cứng chỉ bằng cách thay một dòng partitioner, như XnnpackPartitioner, CoreMLPartitioner, hay QnnPartitioner, thay vì phải export lại cho từng loại chip.
- ✓Lượng tử hóa tích hợp sẵn qua torchao, hỗ trợ độ chính xác 8-bit và 4-bit, cùng một chế độ động, theo README.
- ✓Công cụ cho nhà phát triển: bộ đo hiệu năng ETDump và công cụ kiểm tra ETRecord để soi bên trong một model .pte đang chạy.
- ✓Selective build loại bỏ các operator không dùng để giảm kích thước file nhị phân, còn custom operator cho phép thêm kernel riêng theo nhu cầu.
- ✓Hỗ trợ dynamic shapes cho model có kích thước đầu vào thay đổi trong một khoảng giới hạn.
Ứng Dụng Thực Tế Và Model Được Hỗ Trợ
- •Đưa tính năng chat bằng LLM vào ứng dụng mobile: README liệt kê Llama 3.2, 3.1 và 3, Qwen 3, Phi-4-mini và LiquidAI LFM2 là các ví dụ có sẵn script export.
- •Chạy model thị giác hoặc giọng nói on-device, với MobileNetV2, DeepLabV3, YOLO26 và Whisper là các model mẫu có trong repo.
- •Ứng dụng multimodal kết hợp văn bản với hình ảnh hoặc âm thanh, dùng các ví dụ Llava và Voxtral cùng MultiModal runner API.
- •Triển khai cùng một model PyTorch đã huấn luyện trên Android, iOS và Linux nhúng chỉ từ một lần export, chỉ đổi partitioner.
- •Xây dựng cho vi điều khiển hoặc DSP, nơi các backend ARM Ethos-U, NXP và Cadence DSP phủ hàng embedded/MCU trong bảng nền tảng.
Bắt Đầu Với ExecuTorch
Cài đặt gói Python bằng `pip install executorch`. Đó là toàn bộ lệnh cần cho gói lõi. Các bước thiết lập riêng cho Android, iOS, hay hệ thống nhúng không được README trình bày chi tiết từng bước; README trỏ tới một tài liệu Quick Start riêng cho việc đó. Để export một model cần import `torch`, `executorch.exir`, và một partitioner tương ứng với backend, ví dụ XnnpackPartitioner cho CPU hay CoreMLPartitioner cho iOS, đều xuất hiện trong đoạn mã export mẫu của README.
Triển Khai Model PyTorch On-Device
Quy trình mà README trình bày gồm ba bước. Đầu tiên, nắm bắt đồ thị model bằng torch.export.export() trên một model đã gọi eval() cùng dữ liệu đầu vào mẫu. Thứ hai, gọi to_edge_transform_and_lower() với một partitioner đã chọn, rồi .to_executorch(), bước này lượng tử hóa, tối ưu và phân vùng đồ thị thành một file .pte để ghi ra đĩa. Thứ ba, nạp file .pte đó on-device: C++ Module API, class Module của Swift trên iOS, hay Module.load() của Kotlin trên Android đều gọi forward() theo cùng một cách. Riêng với LLM, README trỏ tới script export_llm hoặc lệnh optimum-cli export executorch của Optimum-ExecuTorch, rồi chạy kết quả qua một LLM runner API tương ứng, như create_llama_runner trong C++ hay TextRunner trong Swift.
Điểm mạnh
- ✓Export thẳng từ PyTorch bằng torch.export(), không cần bước chuyển đổi ONNX hay TFLite riêng để giữ đồng bộ với mã huấn luyện.
- ✓Dung lượng runtime cơ bản 50KB, thu nhỏ được tới cả vi điều khiển, không chỉ điện thoại.
- ✓Một lần export có thể nhắm tới hơn 12 backend phần cứng khác nhau chỉ bằng cách đổi một tham số partitioner.
- ✓Đã chạy trong môi trường production tại các ứng dụng và thiết bị của Meta — Instagram, WhatsApp, Quest 3, và Ray-Ban Meta Smart Glasses, theo README.
- ✓Có sẵn script export cho các model thật, đang được dùng — Llama 3.2, 3.1 và 3, Qwen 3, Phi-4-mini, Whisper, YOLO26 — chứ không chỉ demo minh hoạ.
Phạm Vi Hiện Tại Và Lưu Ý
- △README không nêu số phiên bản hay chu kỳ phát hành, nên không có cách nào để đánh giá độ chín của một bản snapshot cụ thể ngoài danh sách backend đã công bố.
- △Bảng nền tảng đã đánh dấu MPS là deprecated trên cả iOS lẫn macOS, còn CUDA (Linux/Windows) và Metal (macOS) được gắn nhãn experimental, nghĩa là vài backend trong bảng chưa sẵn sàng cho production.
- △Phần Quick Start của README không hướng dẫn trọn vẹn từng bước cho Android, iOS, hay hệ thống nhúng; nó dẫn sang một trang tài liệu riêng cho mọi thứ ngoài lệnh pip install cơ bản.
- △Trường license của repo trong dữ kiện có ở đây không phải một mã SPDX cụ thể; README chỉ ghi 'BSD licensed', nên cần kiểm tra kỹ điều khoản trong file LICENSE trước khi dùng cho sản phẩm.
- △Toàn bộ pipeline phụ thuộc vào việc torch.export() chạy thành công trên đồ thị model của bạn trước, và README không nói rõ điều gì xảy ra khi một đồ thị không export trót lọt.
So Sánh Các Framework ML On-Device
Câu Hỏi Thường Gặp Về ExecuTorch
ExecuTorch được phát hành theo giấy phép BSD, theo README, cho phép sử dụng vào mục đích thương mại. Hãy kiểm tra điều khoản chính xác trong file LICENSE của repo trước khi dùng cho sản phẩm thương mại.
ExecuTorch triển khai LLM, model thị giác, giọng nói và multimodal bằng các API PyTorch tiêu chuẩn, theo README, với script export mẫu cho Llama, Qwen 3, Phi-4-mini, Llava, Voxtral, MobileNetV2 và Whisper.
README của ExecuTorch liệt kê hơn 12 backend phần cứng, gồm XNNPACK, Apple CoreML, Qualcomm QNN, Samsung Exynos, MediaTek, Vulkan, ARM Ethos-U, NXP và Cadence DSP, phủ Android, iOS, Linux, Windows, macOS và các mục tiêu embedded/MCU.
ExecuTorch dùng biên dịch trước (AOT): nó nắm bắt đồ thị model bằng torch.export(), rồi lượng tử hóa, tối ưu và phân vùng thành file .pte trước khi model chạy on-device, theo README.
ExecuTorch cung cấp runtime API cho C++, Swift trên iOS, và Kotlin trên Android, theo README, nên một ứng dụng mobile hiện có có thể nạp file .pte và gọi forward() bằng chính ngôn ngữ nó đang dùng.
ExecuTorch tự mô tả trong README của mình là giải pháp thống nhất của PyTorch cho việc triển khai on-device. Nó được duy trì dưới tổ chức GitHub pytorch và dùng lại chính các API PyTorch đã dùng để huấn luyện.
Vấn đề ExecuTorch giải quyết
Đưa một model PyTorch đã huấn luyện lên điện thoại hay vi điều khiển thường đòi hỏi chuyển đổi sang định dạng khác như ONNX hoặc TFLite, tự viết lại phần suy luận bằng C++, rồi gắn chặt vào SDK của một hãng phần cứng cụ thể. README của ExecuTorch đóng khung lý do tồn tại của dự án đúng quanh vướng mắc đó: giữ nguyên các API PyTorch từ lúc huấn luyện đến lúc triển khai, bỏ qua bước chuyển đổi định dạng, và tránh bị khoá chặt vào bộ công cụ của một hãng chip.
Ai nên dùng — và ai nên bỏ qua
Hãy thử ExecuTorch nếu bạn đã huấn luyện model bằng PyTorch và cần đưa chúng lên điện thoại, thiết bị đeo, hoặc vi điều khiển mà không phải duy trì thêm một pipeline chuyển đổi thứ hai — luồng một-lần-export-nhiều-backend cùng các runtime API cho C++/Swift/Kotlin được xây dựng đúng cho việc bàn giao đó. Bỏ qua nếu model của bạn đến từ TensorFlow hay framework khác, vì khi đó bạn lại phải thêm vào đúng bước chuyển đổi mà ExecuTorch sinh ra để né tránh cho người dùng PyTorch. Cũng nên bỏ qua nếu bạn cần một runtime đã có bề dày sử dụng thực tế bên ngoài các ứng dụng của Meta, vì README không nói tới các bên áp dụng độc lập.
Repo liên quan
Vẫn đang phân vân về executorch?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về executorch.
