TopGit
Đánh giá repo GitHub

VibeVoice: nhận dạng giọng nói ASR cho audio dài

microsoft/VibeVoice
VTopGit review image for microsoft/VibeVoice
Review by Topgit.dev for microsoft/VibeVoice, with GitHub repository stats and README context.
Nhận định nhanh

VibeVoice là bộ mô hình giọng nói mã nguồn mở của Microsoft, và phần ASR là phần vẫn dùng được đầy đủ hiện nay: một mô hình duy nhất chuyển bản ghi dài thành văn bản trong một lượt xử lý, kèm nhãn người nói và mốc thời gian. Hãy chọn VibeVoice nếu bạn cần bản ghi dài, nhiều người nói, và có thể chạy mô hình 7B hoặc bản BitNet chạy CPU. Bỏ qua nếu bạn tìm bản demo TTS — Microsoft đã gỡ mã đó khỏi repo sau khi phát hiện bị lạm dụng.

Sao
★ 56.9k
Fork
⑂ 6.4k
Ngôn ngữ
Python
Giấy phép
MIT
Chủ đề
Developer Tools
Cập nhật
Oct 2026
Trang chủ
GitHub

VibeVoice là gì?

VibeVoice là bộ mô hình giọng nói mã nguồn mở của Microsoft, gồm cả nhận dạng giọng nói (ASR) và chuyển văn bản thành giọng nói (TTS), dù chỉ phần ASR còn mã hoạt động trong repo này. VibeVoice-ASR nhận vào tới 60 phút audio trong một lượt và trả về bản ghi có cấu trúc đánh dấu Ai nói, Khi nào, và Nói gì, cùng hotword tuỳ chỉnh để bắt tên riêng hay thuật ngữ chuyên ngành.

Tính năng chính của VibeVoice ASR

  • ✓Xử lý một lượt các bản ghi dài — tới một giờ — thay vì cắt đoạn khiến việc theo dõi người nói bị reset liên tục.
  • ✓Đầu ra có cấu trúc đánh dấu Ai nói (Who), Khi nào (When), Nói gì (What) cho từng lượt thoại.
  • ✓Hotword tuỳ chỉnh cho phép nhập trước tên riêng, từ viết tắt, hoặc thuật ngữ chuyên ngành trước khi nhận dạng.
  • ✓Đa ngôn ngữ theo mặc định — README ghi hỗ trợ hơn 50 ngôn ngữ.
  • ✓VibeVoice-ASR-BitNet nén mô hình từ 4.62 GB xuống 1.58 GB để chạy trên CPU, với real-time factor dưới 1 trên 3 luồng CPU trở lên.
  • ✓Chạy speech tokenizer liên tục ở tần số khung 7.5 Hz qua kiến trúc next-token diffusion dựa trên một LLM nhỏ, đồng thời có sẵn dưới dạng mô hình Hugging Face Transformers chuẩn.
  • ✓Hỗ trợ inference qua vLLM để phục vụ nhanh hơn, tài liệu riêng tại docs/vibevoice-vllm-asr.md.
  • ✓Có sẵn mã finetuning nếu bạn cần huấn luyện thêm cho dữ liệu audio riêng.
Số sao GitHub của repo này thay đổi thế nào theo thời gian. Nguồn: star-history.com.Xem lịch sử sao ↗

VibeVoice dùng để làm gì?

  • •Ghi lại các cuộc họp hoặc podcast dài hàng giờ, cần biết ai nói gì và vào lúc nào.
  • •Xây kho lưu trữ cuộc gọi hoặc phỏng vấn có thể tìm kiếm, với bản ghi gắn nhãn người nói.
  • •Chạy ASR trên phần cứng edge chỉ có CPU qua bản BitNet khi không có GPU.
  • •Đưa tên sản phẩm hay thuật ngữ theo lĩnh vực vào trước khi nhận dạng để giảm lỗi phiên âm.

Bắt đầu với VibeVoice

Phần README được cung cấp ở đây không có lệnh pip install cụ thể. Thay vào đó nó trỏ tới tích hợp Hugging Face Transformers (VibeVoice-ASR có sẵn dưới dạng mô hình Transformers chuẩn), hướng dẫn tại docs/vibevoice-asr.md, và finetuning-asr/README.md cho việc huấn luyện. Với bản chạy CPU, Microsoft tách riêng thành dự án VibeASR.cpp thay vì binding Python trong repo này.

Chạy VibeVoice ASR trên audio của bạn

Muốn thử nhanh mà không cài gì, README dẫn tới Playground trực tuyến tại aka.ms/vibevoice-asr. Để chạy cục bộ, VibeVoice-ASR đã tích hợp vào thư viện Hugging Face Transformers, nên load qua pipeline Transformers chuẩn thay vì script riêng — đoạn code cụ thể không nằm trong phần README được cung cấp ở đây. Cần phục vụ nhanh hơn? docs/vibevoice-vllm-asr.md hướng dẫn chạy qua vLLM. Đường CPU-only là VibeVoice-ASR-BitNet, chạy qua dự án riêng VibeASR.cpp thay vì mã Python trong repo này.

Điểm mạnh

  • ✓Xử lý một lượt tới cả giờ audio, tốt hơn các pipeline cắt-rồi-ghép trong việc giữ đúng danh tính người nói.
  • ✓Bản BitNet chạy CPU là lựa chọn thật cho đội không có ngân sách GPU, không chỉ là demo cho vui.
  • ✓Đầu ra Who/When/What có cấu trúc sẵn giúp bạn khỏi phải tự ráp code theo dõi người nói.
  • ✓Giấy phép MIT giữ điều khoản sử dụng đơn giản, ít nhất là với phần mã nguồn.

Hạn chế của VibeVoice và sử dụng có trách nhiệm

  • △Mã VibeVoice-TTS đã bị gỡ khỏi repo này vào tháng 9/2025 sau khi Microsoft phát hiện nó bị dùng sai mục đích nghiên cứu ban đầu. Đường mã đó không còn nữa.
  • △Chính README của Microsoft nói rõ không khuyến nghị dùng VibeVoice trong ứng dụng thương mại hay thực tế nếu chưa kiểm thử thêm — định vị là công cụ nghiên cứu và phát triển.
  • △Mô hình kế thừa thiên lệch và lỗi từ mô hình nền (Qwen2.5 1.5B), và README cảnh báo rủi ro deepfake, tin giả từ giọng nói tổng hợp chất lượng cao.
  • △Các bước cài đặt để chạy cục bộ không được nêu rõ ngoài việc trỏ tới Transformers, vLLM, hoặc dự án riêng VibeASR.cpp — bạn sẽ phải lục tài liệu liên kết.

Lựa chọn thay thế cho VibeVoice

Câu hỏi thường gặp

VibeVoice có miễn phí và mã nguồn mở không?

VibeVoice phát hành theo giấy phép MIT, và phần mã ASR còn lại trong repo được tự do sử dụng và chỉnh sửa. Microsoft đã gỡ mã VibeVoice-TTS vào tháng 9/2025, và README định vị toàn bộ dự án là công cụ nghiên cứu và phát triển, chưa phải sản phẩm thương mại hoàn chỉnh.

VibeVoice so với OpenAI Whisper thì thế nào?

VibeVoice-ASR và Whisper đều làm nhiệm vụ chuyển giọng nói thành văn bản, nhưng VibeVoice-ASR xử lý tới 60 phút audio trong một lượt và có sẵn diarization cùng mốc thời gian, trong khi Whisper thường chạy theo từng đoạn ngắn và cần công cụ diarization riêng để gắn nhãn người nói. README không công bố số liệu độ chính xác so đầu-đối-đầu với Whisper.

VibeVoice có chạy được trên CPU mà không cần GPU không?

VibeVoice-ASR-BitNet là hướng chạy CPU-only: bản nén từ 4.62 GB xuống 1.58 GB mà Microsoft nói đạt real-time factor dưới 1 trên 3 luồng CPU trở lên, không cần GPU. Nó được đóng gói thành dự án riêng tên VibeASR.cpp thay vì nằm trong mã Python chính.

VibeVoice ASR hỗ trợ những ngôn ngữ nào?

VibeVoice-ASR đa ngôn ngữ theo mặc định, README ghi hỗ trợ hơn 50 ngôn ngữ, với danh sách chi tiết tại docs/vibevoice-asr.md phần phân bố ngôn ngữ. VibeVoice-TTS và mô hình Realtime hỗ trợ một tập ngôn ngữ riêng nhỏ hơn, nên kiểm tra tài liệu của từng mô hình trước khi giả định độ phủ giống nhau.

Vì sao VibeVoice TTS bị gỡ khỏi repo?

Microsoft gỡ mã VibeVoice-TTS khỏi repo vào tháng 9/2025 sau khi phát hiện nó bị dùng theo cách không đúng với mục đích nghiên cứu ban đầu. README dẫn nguyên tắc AI có trách nhiệm của Microsoft và nêu rủi ro giọng nói tổng hợp chất lượng cao bị lợi dụng để làm deepfake hoặc tin giả là lý do.

Làm sao dùng VibeVoice với Hugging Face Transformers?

VibeVoice-ASR đã được tích hợp vào thư viện Hugging Face Transformers từ một bản phát hành năm 2026, nên bạn có thể load qua pipeline Transformers chuẩn thay vì runtime riêng. Đoạn code load cụ thể không nằm trong phần README được cung cấp ở đây, nên hãy xem docs/vibevoice-asr.md để lấy đoạn mã hiện hành.

Ai nên dùng — và ai nên bỏ qua

Hãy chọn VibeVoice-ASR nếu bạn phiên âm các bản ghi dài — cuộc họp, podcast, phỏng vấn — và muốn có nhãn người nói cùng mốc thời gian mà không phải tự ghép pipeline diarization, đồng thời chấp nhận triển khai mô hình 7B hoặc biến thể BitNet chạy CPU trên hạ tầng bạn tự quản. Bỏ qua nếu bạn tìm demo TTS (mã đó không còn), nếu bạn cần triển khai thương mại sẵn sàng sản xuất (Microsoft nói rõ là chưa nên), hoặc nếu bạn ngại lục tài liệu rải rác giữa docs/vibevoice-asr.md, phần tích hợp Transformers, và tài liệu vLLM để chạy được.

Repo liên quan

Nguồn & ghi công

Thông tin lấy từ repo GitHub microsoft/VibeVoice (github.com/microsoft/VibeVoice), gồm README và tài liệu liên kết.

Dữ liệu GitHub · đồng bộ lần cuối 14 thg 8, 2026Đánh giá bởi Henry
← Về TopGit

Chưa chắc VibeVoice có hợp với bạn?

Để ChatGPT, Claude hoặc Perplexity tìm hiểu giúp — bấm bên dưới và xem AI nói gì về VibeVoice.

GitHub