OpenGUI — скилл
Скиллы и CLI, чтобы Claude Code, Codex и OpenCode управляли Android-телефоном: открывали приложения, нажимали, вводили текст и тестировали сценарии
- 1 803 ★ репозитория
- Последний коммит
Широкий доступ
Почему такой уровень
- Агент нажимает, вводит текст и открывает приложения на реальном телефоне, где доступны личные сообщения, банковские и другие аккаунты
- Скриншоты экрана уходят в выбранную модель, а клиент получает службу специальных возможностей и отладку по USB
- Установщик плагина выполняется командой curl с передачей в bash и готовит среду на вашей машине
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/openguiОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Агент нажимает, вводит текст и открывает приложения на реальном телефоне, где доступны личные сообщения, банковские и другие аккаунты
- Скриншоты экрана уходят в выбранную модель, а клиент получает службу специальных возможностей и отладку по USB
- Установщик плагина выполняется командой curl с передачей в bash и готовит среду на вашей машине
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
OpenGUI дает ИИ-агенту возможность видеть экран реального Android-телефона по скриншотам и работать с интерфейсом приложений. Агент открывает программы, нажимает, листает, вводит текст, возвращается назад и проходит многошаговые сценарии. Задачи формулируются обычным языком: проверить функцию в приложении и записать ошибки с шагами и скриншотами, прочитать содержимое экрана, заполнить форму или подготовить черновик публикации для соцсети. Для агентов в репозитории два скилла. Скилл `open-gui-bootstrap` по просьбе вроде «подними OpenGUI» ставит и настраивает бэкенд и клиент для Android, а человека просит только о действиях на телефоне. Скилл `open-gui-remote-control` управляет телефоном через CLI репозитория: `pnpm opengui -- devices --json` показывает подключенные устройства, `do` запускает задачу и возвращает `executionId`, `status` проверяет ход, `cancel` останавливает. Использовать сырой `adb shell input` документация запрещает. Есть и готовые плагины для хостов WorkBuddy и DeepSeek Harness: телефон подключается по USB, полный бэкенд не нужен. Модель в роли исполнителя должна принимать изображения и вызывать инструменты.
Для кого. Для разработчиков и тестировщиков мобильных приложений, которые хотят поручить Claude Code или Codex прогонять сценарии на настоящем Android-телефоне.
Подходит, если
- Нужно прогнать сценарий в мобильном приложении на реальном телефоне и получить отчет с шагами воспроизведения и скриншотами
- Агент должен открыть настройки телефона, прочитать значение и вернуться на домашний экран
- Требуется подготовить черновик публикации в приложении соцсети и остановиться перед отправкой
- Нужен запуск задач на телефоне из Claude Code, Codex или OpenCode командой `pnpm opengui -- do`
- Вы пользуетесь WorkBuddy или DeepSeek Harness и хотите добавить им управление телефоном плагином
Не подходит, если
- Нужна лицензия, открытая по критериям OSI, или коммерческое использование: код доступен по BUSL 1.1 и запрещает производственное и коммерческое применение без отдельной лицензии
- У вас нет Android-телефона с включенной отладкой по USB: для работы нужны ADB и авторизация устройства
- Нужен iPhone: проект описан только для Android
- Нельзя отправлять скриншоты экрана в модель: задачи идут через модель с поддержкой изображений
Пример запроса к агенту
Через OpenGUI открой на телефоне Настройки, найди версию Android и верни на главный экран. Ничего не меняйОграничения
- Лицензия BUSL 1.1: исходники можно копировать, менять и использовать в непроизводственных целях. Производственное и коммерческое применение, хостинг и встраивание в коммерческие продукты требуют отдельной лицензии Core-Mate. Дата перехода на Apache 2.0 назначена на 30 апреля 2030 года, до нее это не открытый код по критериям OSI.
- Для полного стека нужен клиент Android 11 (API 30) или новее, отладка по USB, служба специальных возможностей, разрешение показа поверх окон и исключение из экономии батареи.
- Плагин WorkBuddy работает на macOS с WorkBuddy 5.5.3 или новее и находится в предрелизном тестировании. Плагин DeepSeek Harness требует Node.js 22.19 или 24.
- Выполнение требует модели с вводом изображений и вызовом инструментов, качество, задержки и стоимость автор советует оценивать на своих задачах.
- При входе в WorkBuddy по SMS используется учетная запись CoreMate, а скриншоты задач уходят в выбранную модель.
- Документация и часть руководств написаны по-китайски.
Как отключить. Остановите бэкенд и клиент, затем отзовите отладку по USB и разрешения службы специальных возможностей на телефоне. Для плагинов WorkBuddy и DeepSeek Harness отключите или удалите плагин в настройках хоста. У установщика DSH для macOS есть скрипт `uninstall-macos.sh`.
Частые вопросы
Как запустить OpenGUI из Claude Code?
Откройте Claude Code, Codex или OpenCode в корне склонированного репозитория и отправьте: «Read ./skills/open-gui-bootstrap/SKILL.md and help me run OpenGUI. Only ask me for phone-side actions.» Скилл сам поставит бэкенд и клиент, а у вас попросит только действия на телефоне.
Как отправить задачу на телефон командой?
Из папки `server` выполните `pnpm opengui -- do "Observe the current Android screen, summarize what you see, and stop" --json`. Команда сразу вернет `executionId`, по которому `status` покажет прогресс, а `cancel` остановит выполнение.
Какие права нужны на телефоне?
Для полного стека клиенту нужны Android 11 (API 30) или новее, отладка по USB, служба специальных возможностей, разрешение показа поверх окон и исключение из экономии батареи. Плагинам WorkBuddy и DeepSeek Harness хватает авторизованной отладки по USB.
Можно ли использовать OpenGUI в коммерческом проекте?
Только по отдельной лицензии. Исходники под BUSL 1.1 разрешают непроизводственное использование, а производственное, коммерческое, хостинг и встраивание в коммерческие продукты требуют разрешения Core-Mate.
Нужен ли полный бэкенд для работы?
Нет, если вы пользуетесь WorkBuddy или DeepSeek Harness: плагин ставится отдельно, телефон подключается по USB, а скриншоты уходят в текущую модель хоста. Бэкенд нужен для самостоятельного развертывания, постановки задач через Feishu, Telegram, Discord или REST.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыСкилл и CLI для управления Android-телефоном через ADB и vision-модели: агент открывает приложения, ищет, заказывает и проверяет результат
Открытая модель и фреймворк агента для смартфона: видит экран и сам нажимает в приложениях Android, HarmonyOS и iOS по текстовой команде
Awesome Android Agent Skills
awesome-android-agent-skills
Скиллы по современной разработке под Android для Copilot, Claude, Gemini и Cursor: Kotlin, Jetpack Compose, архитектура, Hilt, Room
Официальные 30 скиллов команды Android: Jetpack Compose, обновление AGP 9, R8, профилирование Perfetto, Navigation 3, CameraX и политики Google Play
Дает Claude Code и Codex управлять настоящим iPhone: читать экран, нажимать, вводить текст и листать в любом приложении
Консольный отладчик Android на протоколе JDWP: агент ставит точки останова и читает переменные, ответы приходят в JSON
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| OpenGUI (эта запись) | нет | 1 803 | ||
| Mobile MCP | нет | не нужна | 10 095 | MCP-сервер для управления устройствами, а OpenGUI дает скиллы и CLI с задачами, статусами и отменой |
| Android MCP | нет | не нужна | 907 | MCP-сервер для Android, а OpenGUI ставит собственный бэкенд и клиент и выдает задачи асинхронно через executionId |
Коротко о README
Главная страница представляет OpenGUI как фреймворк мобильного GUI-агента для Android и сразу предлагает два простых пути: плагин для WorkBuddy и плагин для DeepSeek Harness. Дальше идут таблица типичных команд, пошаговая установка плагинов, запуск полного стека через скилл начальной настройки и CLI для удаленного управления. Завершают страницу требования, ограничения, дорожная карта, схема системы и условия лицензии.
Бейдж для README
Исходный SKILL.md
--- name: open-gui-remote-control description: Control an Android phone through OpenGUI from an AI coding agent such as Claude Code, Codex, or OpenCode. Use when an agent should list online devices, run a natural-language mobile task, check execution status, pause, resume, or cancel through the local OpenGUI backend and CLI. --- # OpenGUI Remote Control Use this skill when an AI coding agent such as Claude Code, Codex, or OpenCode needs to operate an Android phone through OpenGUI. The agent should not drive the phone with raw `adb shell input` commands. The supported path is: ```text Claude Code / Codex / OpenCode -> server CLI or REST API -> OpenGUI backend task/execution services -> standby dispatch -> Android client -> execution socket action loop ``` ## Trigger Guidance Start this skill when the user asks for any of these: - "Use OpenGUI to control my phone" - "Use OpenCode to control my phone through OpenGUI" - "Run this task on the Android device" - "Use the OpenGUI CLI" - "List OpenGUI devices" - "Check / pause / resume / cancel an OpenGUI execution" If the user asks to install or bootstrap OpenGUI from scratch, use `open-gui-bootstrap` first. After backend and Android client are running, return to this skill for task execution. ## Core Rules - First obtain or locate a runnable OpenGUI checkout. The CLI cannot work without the repository. - Use the repository CLI first: `cd server && pnpm opengui -- ...`. - Use `--json` whenever the result will be parsed by the coding agent. - Do not ask the user to run terminal commands that the agent can run. - Ask the user only for physical phone actions, Android permissions, or missing secrets. - Do not change Android socket event names or payloads. - Do not use IM commands for this workflow. - Do not bypass OpenGUI with coordinate-only `adb shell input` scripts.