TopGit
Đánh giá repo GitHub

XiaoZhi AI Chatbot: Trợ lý giọng nói trên ESP32

78/xiaozhi-esp32
XTopGit review image for 78/xiaozhi-esp32
Review by Topgit.dev for 78/xiaozhi-esp32, with GitHub repository stats and README context.
Nhận định nhanh

XiaoZhi AI Chatbot chạy AI giọng nói trên ESP32, dùng MCP làm mặt phẳng điều khiển cho cả thiết bị IoT lẫn mở rộng AI đám mây. Firmware miễn phí theo MIT và có sẵn 171 bản firmware dựng sẵn, nên chỉ cần một board được hỗ trợ là dùng được. Đáng dùng nếu bạn muốn một tác tử giọng nói nhúng với giao thức thực sự để mở rộng; bỏ qua nếu hệ thống của bạn không có LLM đám mây, vì bản thân thiết bị chỉ xử lý vào ra âm thanh và tin nhắn MCP.

Sao
★ 33.5k
Fork
⑂ 8.0k
Người đóng góp
👥 165
Ngôn ngữ
C++
Giấy phép
MIT
Chủ đề
AI Tools
Cập nhật
Nov 2026
Trang chủ
GitHub

XiaoZhi AI Chatbot là gì

XiaoZhi AI Chatbot là firmware ESP32 mã nguồn mở biến board thành tác tử AI giọng nói. Nó dùng Model Context Protocol (MCP) để giao tiếp với LLM đám mây và truy cập phần cứng cục bộ cùng lúc. Một câu hỏi như 'tắt đèn phòng ngủ' có thể gửi tới server MCP nhà thông minh, trong khi cuộc trò chuyện định tuyến tới Qwen hoặc DeepSeek. Nhận diện wake word và người nói chạy nội bộ qua ESP-SR; đám mây xử lý mọi thứ còn lại. Binary được dựng sẵn cho 171 tổ hợp board/chip, và dự án được cấp phép MIT cho mọi mục đích sử dụng.

Tính năng chính được triển khai

  • ✓Hai phương thức truyền — WebSocket hoặc MQTT kết hợp UDP — tự chuyển đổi khi gặp sự cố, phù hợp với điều kiện mạng và cấu hình server khác nhau.
  • ✓Nhận diện wake word offline qua ESP-SR với từ khóa tùy chỉnh; nhận diện người nói qua 3D Speaker xác định ai đang nói mà không cần往返 đám mây.
  • ✓Pipeline giọng nói song công: ASR → LLM → TTS với truyền stream âm thanh Opus. Phần cứng có hỗ trợ AEC cho phép trò chuyện thời gian thực không tạm dừng giữa gửi và nhận.
  • ✓MCP phía thiết bị lộ Speaker, LED, Servo, GPIO và nhiều hơn cho LLM đám mây. MCP phía đám mây mở rộng AI với điều khiển nhà thông minh, vận hành máy tính, tìm kiếm và email.
  • ✓Firmware dựng sẵn cho 138 cổng board (ESP32, C3, C5, C6, S3, P4) kết nối xiaozhi.me mặc định; các tùy chọn server tự host bằng Python, Java, Go do cộng đồng duy trì.
  • ✓Xuất hình ảnh OLED/LCD với emoji và biểu cảm phong phú; đầu vào camera tùy chọn trên một số board cho tương tác có thị giác.
Số sao GitHub của repo này thay đổi thế nào theo thời gian. Nguồn: star-history.com.Xem lịch sử sao ↗

Tại sao AI giọng nói trên vi điều khiển

Đặt một trợ lý AI hữu ích lên phần cứng nhúng đòi hỏi nhiều hơn một mô hình speech-to-text. Bạn cần pipeline âm thanh ổn định, cách mở rộng khả năng AI tới thiết bị thực (đèn, servo, GPIO), và kênh truyền chịu được Wi-Fi không ổn định, tất cả mà không tiêu tốn băng thông đám mây đắt đỏ cho mỗi lần wake word. Các dự án âm thanh ESP32 thông thường giải quyết bài toán đầu tiên và bỏ qua hai cái còn lại. XiaoZhi giải quyết cả ba bằng cách định tuyến âm thanh qua LLM đám mây trong khi dùng MCP để lộ điều khiển thiết bị theo cả hai hướng.

Flash firmware không cần môi trường phát triển

Nếu muốn flash mà không cần bộ công cụ phát triển, tải binary dựng sẵn từ trang phát hành — README liên kết tới hướng dẫn Feishu cho một số board phổ biến (M5Stack, ESP32-S3-BOX-3, và ESP32-S3 generic). Kết nối board, flash firmware, và nó sẽ kết nối tới server chính thức xiaozhi.me nơi bạn đăng ký và dùng mô hình realtime của Qwen miễn phí. Để phát triển, cài ESP-IDF v6.1 (tối thiểu v6.0.1, v5.x không được hỗ trợ), plugin ESP-IDF cho VSCode/Cursor, và clone repo — Linux được khuyến nghị thay vì Windows để build nhanh hơn và ít vấn đề driver hơn.

Các board được hỗ trợ và trường hợp sử dụng

  • •Trợ lý giọng nói cho người mới bắt đầu — flash binary vào ESP32-S3-BOX-3 hoặc M5Stack CoreS3, đăng ký tại xiaozhi.me, và nói chuyện với Qwen trong vài phút mà không cần viết code.
  • •Bộ điều khiển IoT bằng giọng nói — MCP phía thiết bị cho phép LLM bật tắt đèn, điều khiển servo, hoặc đọc trạng thái GPIO, kết nối ngôn ngữ tự nhiên với phần cứng mà không cần hub riêng.
  • •Robot AI nhúng — kết hợp nhận diện người nói, wake-up offline, và đầu vào camera trên ESP32-P4 để tạo robot nhận diện người và phản hồi theo ngữ cảnh.
  • •Mở rộng MCP nhà thông minh — trỏ xiaozhi tới server MCP đám mây gói API nhà thông minh, cho phép bất kỳ LLM nào điều khiển thiết bị thực qua đối thoại.
  • •Mẫu thử nghiệm sản phẩm có giọng nói — giấy phép MIT cho phép sử dụng thương mại không hạn chế; phát hành firmware nguyên trạng hoặc build phiên bản tùy chỉnh cho board riêng.

Điểm mạnh

  • ✓Tích hợp giao thức MCP cả phía thiết bị (điều khiển Speaker, LED, Servo, GPIO) lẫn phía đám mây (nhà thông minh, vận hành PC, tìm kiếm tri thức) — kết nối phần cứng cục bộ với khả năng LLM mở rộng.
  • ✓Ma trận board rộng: 138 thư mục board và 171 biến thể phát hành trên nền tảng ESP32, ESP32-C3/C5/C6, ESP32-S3 và ESP32-P4, với firmware dựng sẵn cho người mới bắt đầu không muốn cài ESP-IDF.
  • ✓Đa phương thức trên phần cứng được hỗ trợ: giọng nói với wake-up offline qua ESP-SR (từ khóa tùy chỉnh), stream Opus, nhận diện người nói qua 3D Speaker, đầu vào camera thị giác, và màn hình OLED/LCD với hỗ trợ emoji.
  • ✓Hai phương thức truyền — WebSocket và MQTT kết hợp UDP — cho phép nhà phát triển đánh đổi giữa độ trễ và độ tin cậy tùy trường hợp sử dụng.
  • ✓Cấp phép MIT kèm gói miễn phí trên xiaozhi.me cung cấp truy cập mô hình realtime của Qwen, cộng thêm triển khai server bằng Python, Java và Go để tự host.

Những hạn chế đã biết

  • △ESP-IDF v6.1 là phiên bản tối thiểu hiện tại; ESP-IDF 5.x không được hỗ trợ, nhiều biến thể ESP32 cũ không thể build được.
  • △Biên dịch trên Windows chậm đáng kể và thường gặp vấn đề driver; Linux là lựa chọn được tài liệu hóa cho phát triển.
  • △Suy luận LLM chạy trên API đám mây (Qwen, DeepSeek), nên chi phí vận hành phát sinh liên tục — firmware miễn phí nhưng AI thì không.
  • △Tính năng âm thanh nâng cao (song công, thời gian thực đầu cuối) yêu cầu phần cứng có AEC; không phải board nào cũng có.
  • △Tính năng camera và hiển thị phụ thuộc vào phần cứng board cụ thể — không phải bảo đảm phổ quát cho tất cả 138 biến thể.

Dự án chatbot AI ESP32 thay thế

ESP32-S3-BOX-Lite — board trợ lý giọng nói chính hãng từ Espressif; đi kèm lệnh AT và dịch vụ đám mây thay vì firmware MCP mã nguồn mở.ReSpeaker USB 6-Mic Array — dãy mic chất lượng cao cho Pi hoặc x86, mô hình firmware khác, không có màn hình hay pin tích hợp.AI-Thinker ESP32-S3-WIFI-LAMP — ESP32 với màn hình và cảm ứng; hỗ trợ giọng nói nhưng thiếu lớp IoT MCP có cấu trúc mà dự án này cung cấp.

Câu hỏi thường gặp

XiaoZhi esp32 hỗ trợ những chip ESP32 nào (ESP32-S3, C6, P4)?

XiaoZhi AI Chatbot hỗ trợ ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3 và ESP32-P4. ESP32-S3 và ESP32-P4 cung cấp khả năng giọng nói và camera tốt nhất, trong khi các biến thể ESP32-C phù hợp cho bản dựng tiêu thụ điện thấp.

XiaoZhi esp32 có hoạt động với DeepSeek hoặc Qwen không?

Có. README cho biết XiaoZhi AI Chatbot dùng Qwen và DeepSeek làm LLM đám mây chính. Server chính thức xiaozhi.me cung cấp mô hình realtime của Qwen miễn phí cho tài khoản cá nhân.

XiaoZhi esp32 dùng giao thức truyền thông nào (MQTT, WebSocket, UDP)?

XiaoZhi AI Chatbot cung cấp hai phương thức truyền: MQTT kết hợp UDP cho truyền tin lai, và WebSocket như lựa chọn thay thế. MQTT+UDP là phương thức chính, với mã mật mã đã chuyển sang PSA Crypto trong các bản cập nhật IDF 6 gần đây.

XiaoZhi esp32 có thể chạy không cần internet (wake word offline)?

Một phần. Công cụ wake word và nhận diện người nói chạy hoàn toàn nội bộ bằng ESP-SR, không cần internet để kích hoạt thiết bị hay nhận diện người nói. AI hội thoại đầy đủ vẫn cần往返 đám mây tới LLM.

Có bao nhiêu biến thể board và bản phát hành cho xiaozhi esp32?

Dự án duy trì 138 thư mục board và 171 biến thể phát hành cho phần cứng phổ biến bao gồm M5Stack CoreS3, ESP32-S3-BOX-3, LILYGO T-Circle-S3, SenseCAP Watcher, và hàng chục loại khác. Binary được dựng sẵn cho hầu hết tổ hợp.

XiaoZhi esp32 có miễn phí cho sử dụng thương mại theo giấy phép MIT không?

Có. XiaoZhi AI Chatbot được phát hành theo giấy phép MIT, cho phép sử dụng bao gồm ứng dụng thương mại mà không tốn phí. Đánh đổi là gọi API LLM đám mây (Qwen, DeepSeek) có mức giá riêng, tách biệt với giấy phép của dự án này.

Ai nên thử — và ai nên bỏ qua

Chọn dự án này nếu bạn muốn AI giọng nói nhúng với giao thức thực sự để mở rộng và ngưỡng vào thấp để thử (171 bản binary dựng sẵn). Người đam mê phần cứng xây dựng sản phẩm IoT, giáo viên trình diễn AI giọng nói trên phần cứng thực, và nhà phát triển muốn có MCP trên vi điều khiển sẽ tận dụng được nhiều nhất. Tránh xa nếu bạn cần trải nghiệm đầy đủ với ngân sách hạn hẹp (chi phí API LLM), board không nằm trong ma trận 138 biến thể, hoặc đang dùng Windows và không muốn đối phó với các quirk khi biên dịch IDF.

Repo liên quan

Nguồn & ghi công

Repository: https://github.com/78/xiaozhi-esp32 — cấp phép MIT, dự án C++ trên ESP-IDF.

Dữ liệu GitHub · đồng bộ lần cuối 20 thg 10, 2026Đánh giá bởi Henry
← Về TopGit

Vẫn đang phân vân về xiaozhi-esp32?

Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về xiaozhi-esp32.

GitHub