Trong cuộc đua phát triển các AI Agent có khả năng tự chủ điều khiển máy tính (Computer Use), hầu hết các giải pháp hiện nay đều dựa vào việc chụp ảnh màn hình liên tục rồi dùng Vision Model đoán tọa độ pixel. Cách làm này vừa tốn kém hàng nghìn token thị giác mỗi giây, vừa chậm và rất dễ bấm trượt nút bấm khi giao diện thay đổi.
Để giải quyết triệt để vấn đề này, Vercel Labs đã phát triển Agent Desktop (vercel-labs/agent-desktop) — công cụ mã nguồn mở viết bằng Rust, cho phép AI Agent đọc trực tiếp cây trợ năng (Accessibility Tree) của hệ điều hành thay vì nhìn màn hình qua ảnh chụp.
Khi người dùng thao tác trên máy tính, hệ điều hành (macOS, Windows, Linux) luôn duy trì một cây cấu trúc phân cấp các thành phần giao diện gọi là Accessibility Tree:
[Giao diện OS] ──> [Accessibility API] ──> [JSON Tree: Các thẻ @ref] ──> [AI Agent gửi lệnh chính xác]
Agent Desktop trích xuất cây này thành định dạng JSON cực nhẹ. Mỗi phần tử (nút bấm, ô nhập văn bản, menu) được gán một mã tham chiếu duy nhất (ví dụ: @e12, @e45). Thay vì đoán tọa độ $(x, y)$, AI chỉ cần phát lệnh tương tác trực tiếp lên ref ID đó:
agent-desktop click --ref @e12
agent-desktop type --ref @e45 "Metoolzy developer tools"
Agent Desktop là bước đột phá mở đường cho các quy trình kiểm thử E2E tự động, tự động hóa tác vụ văn phòng và trợ lý cá nhân thông minh.
👉 Kho lưu trữ GitHub: github.com/vercel-labs/agent-desktop
👉 Khám phá danh mục mã nguồn mở tại Metoolzy Open Source Directory.
🌟 Khám phá thêm hàng chục dự án mã nguồn mở & MCP Server đỉnh cao tại Metoolzy Open Source