Android Automation Agent

Установка

git clone https://github.com/Mohd-Mursaleen/android-automation-agent
cd android-automation-agent
chmod +x setup.sh && ./setup.sh

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Проект получает задачу обычной фразой и выполняет ее на подключенном Android-устройстве. Внутри работает цепочка узлов: планировщик делит цель на подзадачи, контекстор снимает скриншот и дерево интерфейса с точными координатами, модель выбирает действие, исполнитель отправляет тапы, свайпы и ввод через ADB, а отдельный узел проверяет, что шаг удался. SKILL.md превращает это в скилл для OpenClaw: агент передает цель без пересказа, уточняет недостающие детали, хранит предпочтения пользователя и дробит сложные сценарии на отдельные запуски. Работает и прямо в Termux на телефоне.

Для кого. Для энтузиастов автоматизации и QA-инженеров, которым нужно управлять Android-приложениями без написания сценариев.

Пример запроса к агенту

Открой YouTube на телефоне, найди последнее видео канала и поставь лайк

Ограничения

Нужны Python 3.10+, ADB, включенная отладка на устройстве и ключ OpenRouter, по умолчанию используются модели Gemini. Каждый шаг отправляет скриншот экрана во внешнюю модель. Скилл написан под OpenClaw, для уведомлений в онбординге используется Telegram-бот. Доступность OpenRouter и моделей Google из России не гарантирована.

Как отключить. Удалите папку скилла из рабочего пространства OpenClaw и клон репозитория, отключите отладку по USB или по Wi-Fi на телефоне.

Проверка безопасности

• Выполняет любые действия в приложениях телефона, включая оплату и отправку сообщений
• Отправляет скриншоты экрана во внешнюю модель

Коротко о README

README объясняет цепочку из шести узлов и то, как скриншот вместе с uiautomator dump дает модели точные координаты. Описаны установка на Linux, macOS, Windows и в Termux, запуск через run.py с опциями числа шагов и выбора устройства, настройка моделей и Python API. Лицензия MIT.

SKILL.md

---
name: android-automation-agent
description: Use android-automation-agent to run precise Android UI automation tasks via ADB and LLM vision on the connected Android device. Trigger this skill for ANY request involving controlling, tapping, opening, searching, ordering, booking, or interacting with apps on the user's Android phone. Also trigger for "what's on my screen" or "show me the phone".
metadata:
  { "clawdbot": { "emoji": "📱", "requires": { "bins": ["adb", "python3"] } } }
---

# android-automation-agent

Automates real Android UI via ADB + LLM vision. One goal string in, one JSON result out.

---

## SECTION 1 — GOLDEN RULES (never violate these)

### Rule 1: Never rewrite the user's words

You are a DISPATCHER, not an interpreter. Your job is to pass the user's
intent to the android agent as faithfully as possible.

- User says "bike ride" → goal says "bike ride". NOT "Uber Moto".
- User says "order food" → goal says "order food". NOT "order butter chicken on Swiggy".
- User says "Instamart" → goal says "Open Instamart". NOT "Open Swiggy, navigate to Instamart".
- User says "milk" → goal says "milk". NOT "Amul Toned Milk 500ml".

The android agent reads the screen visually. It will find the right element.
You MUST trust it. Do NOT "help" by guessing UI labels, product names, or app flows.

### Rule 2: Never assume — ask first

If the user's request is missing critical information, ASK before running.

Похожие