LiveKit Agents: Framework AI Giọng Nói Thời Gian Thực

LiveKit Agents Framework Là Gì?

LiveKit Agents là framework Python mã nguồn mở để xây dựng các participant thời gian thực, có thể lập trình được, chạy trên server — nói theo README, đây là các agent hội thoại, đa phương thức, có thể nhìn, nghe và hiểu. Nó xoay quanh ba đối tượng cốt lõi: một Agent giữ instructions và tools, một AgentSession quản lý tương tác với người dùng, và một AgentServer lo việc lên lịch job và khởi chạy agent cho từng session.

Tính Năng Chính Cho AI Hội Thoại

• ✓Cấu hình session không phụ thuộc nhà cung cấp: một AgentSession nhận bất kỳ tổ hợp VAD, STT, LLM, TTS nào, hoặc một Realtime API duy nhất — ví dụ trong README tự chuyển qua lại giữa LiveKit Inference và các plugin Deepgram/OpenAI/Cartesia trực tiếp chỉ bằng vài dòng comment.
• ✓Job scheduling và dispatch API định tuyến người dùng cuối tới một instance agent đang chạy, thay vì bạn phải tự viết hàng đợi và tầng định tuyến.
• ✓Tích hợp điện thoại qua chính SIP stack của LiveKit, nên một agent có thể gọi đi hoặc nhận cuộc gọi mà không cần thêm nhà cung cấp khác.
• ✓Semantic turn detection dùng một transformer model để nhận biết khi nào người dùng thực sự đã nói xong, thay vì dựa vào một khoảng lặng cố định.
• ✓Hỗ trợ MCP gốc: một tool từ MCP server cắm vào agent chỉ với một dòng code, theo README.
• ✓Một test framework tích hợp sẵn — test session dựa trên pytest cộng thêm các 'judge' bằng LLM để kiểm tra câu trả lời của assistant so với một intent đã mô tả.
• ✓Trao đổi dữ liệu với client đã kết nối qua RPC và các Data API khác của LiveKit, bên cạnh chính session voice/video.
• ✓Tiếp cận phía client qua hệ sinh thái WebRTC SDK của LiveKit, nên cùng một agent có thể được gọi từ browser, mobile hoặc desktop client.

Ví Dụ Thực Tế Và Use Case

• •Một agent nhận đặt món hoặc đặt chỗ qua điện thoại — ví dụ chính trong repo có hẳn một flow đặt món và đặt chỗ nhà hàng đầy đủ.
• •Một outbound caller agent tự gọi đi qua điện thoại, dùng lại đúng phần tích hợp gọi điện đó.
• •Một assistant có khả năng nhìn, ví dụ Gemini Live vision trong README (kèm app iOS), nơi agent có thể nhìn qua camera của client.
• •Một flow multi-agent handoff — một agent thu thập thông tin người dùng qua function_tool, rồi chuyển session sang một agent chuyên biệt khác.
• •Một tích hợp chỉ dùng text, tái sử dụng cùng code agent mà không cần voice, cho các bề mặt chat-first.

Cài Đặt Và Thiết Lập

Cài package lõi cùng các plugin nhà cung cấp dưới dạng extras: pip install "livekit-agents[openai,deepgram,cartesia]" kéo theo framework cùng các plugin STT/LLM/TTS được nêu tên. Tài liệu nằm ở docs.livekit.io/agents; README không mô tả chi tiết hơn ngoài trang đó. Nếu bạn build bằng một AI coding agent, README khuyến nghị thêm LiveKit Docs MCP server để có context API mới nhất, cùng gói LiveKit Agent Skill — cài qua npx skills add livekit/agent-skills --skill livekit-agents — để có hướng dẫn kiến trúc về workflow, handoff, task và testing.

Xây Dựng Và Chạy Agent Của Bạn

Một AgentServer bọc quanh app; bạn đăng ký một entrypoint bằng @server.rtc_session(), dựng một AgentSession với vad/stt/llm/tts bạn chọn (hoặc dùng Inference API hợp nhất của chính LiveKit), gắn một Agent với instructions và các tools gắn decorator @function_tool, rồi gọi session.start() và session.generate_reply(). Một session cần ba biến môi trường: LIVEKIT_URL, LIVEKIT_API_KEY và LIVEKIT_API_SECRET. Ba chế độ chạy bao trọn vòng làm việc: python myagent.py console chạy cục bộ với audio I/O qua terminal, không cần server ngoài, dùng để test nhanh; python myagent.py dev khởi động server với hot reload và kết nối tới LiveKit Cloud hoặc một server tự host, test được qua Agents Playground hoặc bất kỳ LiveKit client SDK nào; python myagent.py start chạy nó "with production-ready optimizations" (tối ưu sẵn sàng cho production), theo README. Để test tự động, framework có sẵn tích hợp pytest gốc — một test có thể chạy một session với user_input dựng sẵn và assert trên các event trả về, kể cả một lệnh gọi judge() dựa trên LLM để kiểm tra câu trả lời của assistant so với một intent đã mô tả.

Các Framework AI Agent Thay Thế

Câu Hỏi Thường Gặp

Vấn đề nó giải quyết

Xây một agent AI giọng nói tốt nghĩa là phải giải quyết nhiều vấn đề nằm ngoài một lệnh gọi API tới LLM cùng lúc: nhận biết khi nào người gọi thực sự nói xong (chứ không chỉ đang ngừng lại) thay vì cắt ngang họ, giữ session sống xuyên suốt một cuộc gọi điện thoại hay một room WebRTC, đổi tổ hợp STT/LLM/TTS theo từng lần triển khai mà không phải viết lại app, và test kết quả khi LLM trong vòng lặp không xác định (non-deterministic). LiveKit Agents đóng gói sẵn đúng những mảnh đó — semantic turn detection, một abstraction tên AgentSession, các tích hợp nhà cung cấp có thể cắm được, và một framework test tích hợp sẵn dựa trên pytest kèm judges — thay vì để một developer tự nối một thư viện VAD, một SDK nhà cung cấp, và một script định tuyến cuộc gọi lại với nhau bằng tay.

Ai nên dùng — và ai nên bỏ qua

Chọn LiveKit Agents nếu bạn đang xây một voice agent cần chạy liên tục như một tiến trình server, cắm được nhiều nhà cung cấp STT/LLM/TTS khác nhau theo từng use case, và sau này còn muốn nhận cuộc gọi điện thoại hoặc đưa lên một WebRTC client thật. Bỏ qua nếu bạn chỉ cần một lệnh gọi LLM dạng request/response từ một script hay một serverless function — mô hình AgentServer/AgentSession, cùng LiveKit Cloud hoặc server tự host mà nó cần bên dưới, là hạ tầng nhiều hơn mức một chatbot text dùng một lần cần tới.

Repo liên quan