ARTEMIS: tự động hóa Android bằng AI trên thiết bị thật
/artemis
ARTEMIS đáng dùng nếu nhóm của bạn chấp nhận điều khiển thiết bị Android thật thay vì chỉ mô phỏng giao diện. Flash xử lý tác vụ thường ngày nhanh; Pro phù hợp hơn với quy trình dài cần lập kế hoạch và kiểm chứng. Điểm yếu rõ ràng là chỉ hỗ trợ Android và cách chuẩn bị còn khá nặng.
ARTEMIS tự động hóa những gì
ARTEMIS là trợ lý Android dựa trên AI, biến chỉ dẫn bằng ngôn ngữ tự nhiên thành thao tác trên điện thoại đã kết nối và trình mô phỏng. Công cụ dùng cho quy trình liên ứng dụng, kiểm thử, chạy thử khám phá, thu thập Logcat và kiểm tra bằng ảnh chụp màn hình. Kết nối MCP cùng thư viện Python cho phép trợ lý lập trình và bộ kiểm thử điều khiển cùng một lớp thiết bị.
Định vị, thực thi và chẩn đoán
- ✓Chạy liên ứng dụng bằng ngôn ngữ tự nhiên: ARTEMIS chuyển chỉ dẫn như mở Settings và kiểm tra mức pin thành các thao tác trên thiết bị Android đã kết nối.
- ✓Định vị phần tử ưu tiên chỉ số sẵn có, sau đó chuyển sang cấu trúc truy cập, OCR, mô hình thị giác và tọa độ cho giao diện Canvas, Compose hoặc Flutter tùy chỉnh.
- ✓Chế độ Flash dùng vòng lặp quan sát-hành động với lịch sử đã nén; chuỗi hành động giúp xử lý điều khiển chỉ xuất hiện trong thời gian ngắn.
- ✓Chế độ Pro tập trung lập kế hoạch, duy trì các cột mốc, kiểm tra đối tượng trước khi thao tác, ghi nhận sự cố để khôi phục và xác minh các mốc kiểm tra so với mục tiêu ban đầu.
- ✓Tích hợp MCP cho phép các IDE có hỗ trợ điều khiển thiết bị, thu thập Logcat, ảnh chụp màn hình, trạng thái tác vụ, dấu vết và thông tin chẩn đoán.
- ✓Nén lịch sử dùng chung thay ảnh chụp cũ bằng tóm tắt trực quan và các đoạn có thể tìm kiếm, giảm nhu cầu mang mọi bước đã hoàn thành vào bước tiếp theo.
Các quy trình tự động hóa Android thực tế
- •Kiểm tra các thao tác thiết bị hằng ngày bằng chỉ dẫn ngôn ngữ tự nhiên.
- •Chạy kiểm thử liên nhiều ứng dụng như Maps, YouTube, Settings và các ứng dụng đã cài trên cùng một thiết bị Android.
- •Tái hiện lỗi đăng nhập, hộp thoại bất thường và hộp thoại sập ứng dụng, đồng thời lưu ảnh chụp cùng Logcat để điều tra.
- •Thực hiện các phiên khám phá và kiểm tra độ ổn định bằng ARTEMIS Pro, gồm xác minh mốc kiểm tra và theo dõi quy trình dài.
- •Kết nối Codex, Antigravity, Claude Code hoặc Windsurf qua máy chủ MCP của ARTEMIS để lập trình và kiểm thử trực tiếp trên thiết bị.
Cài ARTEMIS và công cụ Android
Sao chép kho mã, kết nối thiết bị Android với USB Debugging đã bật rồi chạy trình khởi chạy. Trình này phát hiện và cài đặt ADB, scrcpy, FFmpeg cùng các thư viện Python được quản lý qua `uv`. Bắt đầu bằng một thiết bị. macOS và Linux: bash git clone https://github.com/google/artemis.git && cd artemis ./start.sh Windows PowerShell: powershell git clone https://github.com/google/artemis.git cd artemis .\start.bat Trình khởi chạy mở `http://localhost:8000`, nơi có các điều khiển kết nối, phản chiếu màn hình, câu lệnh và phát lại. Để dùng CLI trên toàn hệ thống, README cũng hướng dẫn chạy `uv tool install -e .` từ thư mục gốc dự án.
Chạy ARTEMIS qua bốn giao diện
**CLI:** Chạy trực tiếp một tác vụ bằng `uv run artemis run "Open Settings, find Battery and tell me current level" --profile flash`. Thay `flash` bằng `pro` để dùng lập kế hoạch và kiểm chứng. **Bảng điều khiển web:** Khởi động bằng `uv run artemis ui`. Giao diện hiển thị truyền hình trực tiếp màn hình, dữ liệu theo dõi suy luận, lịch sử hành động, bản phát lại lần chạy, hàng đợi tác vụ và cách giao tác vụ bằng ngôn ngữ tự nhiên. **MCP:** Cài cấu hình máy chủ bằng `uv run artemis mcp --install all`, hoặc chọn một trợ lý như `uv run artemis mcp --install antigravity`. Sau đó yêu cầu trợ lý đã kết nối biên dịch, cài đặt, chạy, kiểm tra và chẩn đoán một quy trình trên thiết bị đính kèm. **Python SDK:** Cài thư viện với `uv add "artemis-client @ git+https://github.com/google/artemis.git#subdirectory=packages/artemis-client"`. Dùng `ArtemisClient` với mã thiết bị và `default_profile="flash"` hoặc `default_profile="pro"`, sau đó gọi `client.run(...)` và kiểm tra `result.succeeded`, `result.error` và `result.trace_id`.
Điểm mạnh
- ✓Giao diện bằng ngôn ngữ tự nhiên giúp mô tả tác vụ thiết bị thường ngày nhanh hơn chuỗi dài gồm bộ chọn và câu lệnh shell do người dùng tự viết.
- ✓Cơ chế định vị không dừng ở các phần tử truy cập cơ bản, điều quan trọng với giao diện tùy chỉnh không có chỉ số hoặc đường dẫn cấu trúc ổn định.
- ✓Máy chủ MCP của ARTEMIS đưa thao tác thiết bị và dữ liệu chẩn đoán vào trợ lý lập trình AI mà không bắt buộc mọi quy trình phải đi qua dòng lệnh.
- ✓Pro cung cấp cấu trúc kiểm thử cụ thể gồm kế hoạch, kiểm tra trước khi thực thi, ghi nhận sự cố, xác minh mốc kiểm tra và rà soát cuối.
- ✓Flash và Pro phục vụ hai nhu cầu khác nhau rõ rệt: phản hồi nhanh cho công việc thường ngày và kiểm chứng sâu hơn cho quy trình quan trọng.
Giới hạn nền tảng và cách thực thi
- △ARTEMIS hiện chỉ hỗ trợ Android; thiết bị và trình mô phỏng iOS vẫn nằm trong lộ trình.
- △Flash không có kế hoạch tác vụ, lớp kiểm tra an toàn trước khi thực thi, xác minh mốc kiểm tra, báo cáo cuối hoặc quyền truy cập shell qua ADB. Giới hạn số lượt theo mặc định của chế độ này cũng không bị giới hạn.
- △Pro chậm hơn: README ước tính khoảng 15–40 giây mỗi bước, so với khoảng 3–5 giây với Flash.
- △Môi trường làm việc cần thiết bị thật hoặc trình mô phỏng, USB Debugging và các công cụ trên máy chủ. Công cụ dựa trên UiAutomation có thể chặn trợ giúp, buộc ARTEMIS chuyển sang UIAutomator2.
- △Tỷ lệ hoàn thành trên AndroidWorld được báo cáo là 99%+ và chỉ bao phủ 20+ ứng dụng cùng 100+ tác vụ nhiều bước của bộ đánh giá; không nên hiểu kết quả này là bảo đảm cho mọi ứng dụng vận hành thực tế.
Quy trình trực tiếp với ADB và UIAutomator2
Câu hỏi về ARTEMIS
ARTEMIS dùng Apache License 2.0. Kho mã cũng chứa mã của bên thứ ba trong `third_party/`; mỗi thành phần gốc có tệp LICENSE và METADATA riêng để ghi rõ điều khoản cùng siêu dữ liệu của nó.
ARTEMIS cung cấp cấu hình MCP cho Codex, Antigravity, Claude Code và Windsurf. Trình khởi chạy cũng có thể cấu hình các trợ lý được hỗ trợ khác như Cursor, VS Code, Cline/Roo và OpenClaw, kèm quy tắc trợ lý áp dụng toàn cục.
ARTEMIS Flash là vòng lặp phản hồi nhanh dành cho tác vụ thường ngày, thường mất khoảng 3–5 giây mỗi bước, nhưng không có kế hoạch, lớp kiểm tra an toàn, xác minh mốc kiểm tra, báo cáo cuối hoặc shell ADB. Pro bổ sung lập kế hoạch, kiểm tra trước hành động, ghi nhận sự cố để khôi phục và kiểm chứng, với khoảng 15–40 giây mỗi bước.
ARTEMIS báo cáo tỷ lệ hoàn thành 99%+ trên bộ đánh giá AndroidWorld của Google Research. README mô tả bộ đánh giá gồm 20+ ứng dụng và 100+ tác vụ nhiều bước.
ARTEMIS cài Artemis Accessibility Helper lên điện thoại. Trợ giúp này đọc bố cục màn hình tại chỗ, có thể cài trước bằng `uv run artemis helper install` và gỡ bằng `uv run artemis helper uninstall`.
ARTEMIS hiện không hỗ trợ thiết bị hoặc trình mô phỏng iOS. Lộ trình đề cập việc mở rộng sang nền tảng iOS trong tương lai, còn phần triển khai hiện tại dành cho Android.
Ai nên dùng và ai nên bỏ qua
Hãy thử ARTEMIS nếu nhóm của bạn đã làm việc với thiết bị hoặc trình mô phỏng Android và muốn tự động hóa bằng ngôn ngữ tự nhiên, kiểm thử Android có hỗ trợ AI hoặc truy cập thiết bị từ trợ lý lập trình AI. Pro hợp hơn cho kiểm thử hồi quy khi cần kiểm chứng; Flash hợp hơn cho các lượt kiểm tra nhanh. Nên bỏ qua nếu bạn cần hỗ trợ iOS ngay lúc này, bắt buộc có kịch bản xác định không đưa mô hình vào vòng lặp hoặc không thể cho phép trợ giúp truy cập trên thiết bị.
Repo liên quan
Vẫn đang phân vân về artemis?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về artemis.