Tapilot — плагин
Плагин для Codex и Claude Code: агент смотрит экран Android-телефона, нажимает и печатает по Wi-Fi, без ADB и USB.
- 137 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Агент управляет настоящим телефоном и всеми его приложениями через службу доступности, а по умолчанию действует без подтверждений.
- Скриншоты экрана и тексты задач уходят провайдеру визуальной модели.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add plugins/tapilotОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Агент управляет настоящим телефоном и всеми его приложениями через службу доступности, а по умолчанию действует без подтверждений.
- Скриншоты экрана и тексты задач уходят провайдеру визуальной модели.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Tapilot — приложение для Android, которое выполняет задачи на телефоне по описанию на естественном языке. Оно построено на Midscene и работает по скриншотам. Плагин `plugins/tapilot` подключает уже спаренный телефон к Codex, Claude Code или другому локальному агенту с оболочкой и просмотром изображений. Агент вызывает CLI `tapilot` (`setup`, `pair`, `preview`, `devices`, `connect`), смотрит скриншоты и сам решает каждое действие, а отчет со скриншотами и планами пишет Midscene. Связь идет по Wi-Fi с закрепленным TLS-сертификатом телефона, без ADB, USB, публичного сервера и туннеля. Телефон должен быть разблокирован, а в настройках Android включена служба доступности Tapilot.
Для кого. Разработчики и тестировщики мобильных приложений, которые хотят поручить агенту сценарий на реальном телефоне.
Подходит, если
- Сценарий нужно прогнать на реальном Android-устройстве без ADB.
- Агент проверяет, как экран выглядит и ведет себя после правок в приложении.
- Рутинное действие в нескольких приложениях описывают словами.
- Нужен отчет прогона со скриншотами каждого шага.
Не подходит, если
- Нужен iPhone или телефон не на arm64.
- На телефоне открыты банковские и другие защищенные экраны.
- Скриншоты экрана нельзя отправлять внешней модели.
Пример запроса к агенту
Открой на телефоне Калькулятор, посчитай 12 × 8 и пришли скриншот результата вместе с отчетом о шагах.Ограничения
Нужен телефон на arm64 с Android 11 или новее, бета-сборка приложения и Node.js 22.19 или новее для плагина. Проект экспериментальный: модель может неверно прочитать экран, а защищенные и заблокированные экраны и нестандартные поля ввода не поддерживаются. В приложении по умолчанию включено автоматическое выполнение (YOLO) без подтверждений, режим подтверждения выбирают до первой задачи. Скриншоты и тексты задач уходят выбранному провайдеру визуальной модели.
Как отключить. Отключите доступ командой `tapilot disconnect --device-id <id>`, а запись телефона на компьютере удалите `tapilot forget --device-id <id>`. Службу доступности Tapilot выключают в настройках Android.
Частые вопросы
Нужен ли ADB или USB?
Нет. Связь идет по Wi-Fi через спаренное приложение с закрепленным TLS-сертификатом, ADB, USB, публичный сервер и туннель не используются.
Что делать, если сменился адрес компьютера?
Следующее наблюдение переподключается само и перебирает найденные адреса. Если поиск заблокирован, на экране восстановления выберите «Scan to reconnect» и отсканируйте код в приложении.
Чем режим `steps` отличается от `ai`?
В режиме `steps`, по умолчанию, агент сам смотрит скриншоты и решает каждое действие. Режим `ai` требует отдельной авторизации OpenAI.
Можно ли не давать агенту полный доступ?
Да. В приложении выберите подтверждение критичных операций или каждого действия вместо автоматического режима. Кнопка «Take over» останавливает задачу и возвращает управление вам.
Какие модели подходят?
Нужна поддерживаемая визуальная модель по HTTP или HTTPS API, совместимому с OpenAI, либо подключение ChatGPT (SIWC), где оно доступно. Для модели в локальной сети укажите ее адрес вида `http://192.168.1.100:8000/v1`: `localhost` на телефоне указывает на сам телефон.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныСкилл и CLI для управления Android-телефоном через ADB и vision-модели: агент открывает приложения, ищет, заказывает и проверяет результат
Приложение, CLI, MCP и скилл дают Claude Code и Codex смотреть на неизмененный iPhone и нажимать на нем, без джейлбрейка и кабеля.
Плагин Callstack показывает симуляторы и устройства рядом с чатом агента и дает ему управлять мобильным приложением.
Скиллы и CLI, чтобы Claude Code, Codex и OpenCode управляли Android-телефоном: открывали приложения, нажимали, вводили текст и тестировали сценарии
Awesome Android Agent Skills
awesome-android-agent-skills
Скиллы по современной разработке под Android для Copilot, Claude, Gemini и Cursor: Kotlin, Jetpack Compose, архитектура, Hilt, Room
MCP-сервер управления Android через ADB и scrcpy: агент видит экран, нажимает, вводит текст и открывает приложения.
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| Tapilot (эта карточка) | нет | 137 | ||
| Midscene Skills | да | 321 | скиллы Midscene управляют браузером и устройствами из агента; Tapilot ставит приложение на сам телефон и управляет им по Wi-Fi без ADB | |
| Appium MCP | да | не нужна | 517 | Appium ведет сеансы через сервер и драйверы; Tapilot работает по скриншотам через службу доступности без отдельного сервера |
Коротко о README
В README описаны приложение, цикл «действие и проверка по скриншоту», установка APK, настройка модели и голосового ввода. Плагин в `plugins/tapilot` имеет собственный README, `SKILL.md` и манифесты для Codex и Claude.