Open-AutoGLM CLI
Открытая модель и фреймворк агента для смартфона: видит экран и сам нажимает в приложениях Android, HarmonyOS и iOS по текстовой команде
- 26 497 ★ репозитория
- Последний коммит
- Apache-2.0
Широкий доступ
Почему такой уровень
- Агент управляет телефоном и может совершать действия в приложениях
- Скриншоты экрана отправляются модели, в том числе стороннему сервису
Установка
Ручная установка
pip install -r requirements.txt
pip install -e .
adb devicesВыполняйте в папке клона репозитория. Предварительно включите режим разработчика и USB-отладку на телефоне.
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Агент управляет телефоном и может совершать действия в приложениях
- Скриншоты экрана отправляются модели, в том числе стороннему сервису
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Phone Agent на базе модели AutoGLM понимает содержимое экрана телефона через визуально-языковую модель, планирует шаги и выполняет их. Устройства Android управляются через ADB, HarmonyOS через HDC, iPhone через WebDriverAgent. Пользователь пишет задачу обычным языком, например найти ресторан в приложении, а агент открывает нужное приложение и проходит сценарий. Для чувствительных действий есть подтверждение, при входе в аккаунт или капче управление передается человеку.
Для кого. Для исследователей и разработчиков, которые экспериментируют с агентами для мобильных приложений.
Подходит, если
- Нужно автоматизировать сценарий в мобильном приложении без его API
- Изучаете агентов с управлением через интерфейс
- Нужно прогнать приложение на реальном устройстве текстовыми командами
Не подходит, если
- Нужна стабильная автоматизация для продакшена
- Нельзя давать модели видеть экран с личными данными
Пример запроса к агенту
Открой Chrome и найди прогноз погоды на завтраОграничения
Проект только для исследований и обучения. Основная модель оптимизирована под китайские приложения, для английских есть отдельная мультиязычная версия. Нужны Python 3.10+, устройство с включенной отладкой и ADB Keyboard для Android, а также своя развернутая модель или ключ сервиса BigModel или ModelScope. README основной на китайском, есть английская версия.
Как отключить. Отключите USB-отладку на телефоне и удалите клон репозитория и установленный пакет.
Частые вопросы
Нужно ли разворачивать модель самому?
Нет, README перечисляет сторонние сервисы с уже развернутой моделью, например BigModel и ModelScope.
Поддерживается ли iPhone?
Да, через WebDriverAgent, настройка описана в отдельном документе.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыСкилл и CLI для управления Android-телефоном через ADB и vision-модели: агент открывает приложения, ищет, заказывает и проверяет результат
Скиллы и CLI, чтобы Claude Code, Codex и OpenCode управляли Android-телефоном: открывали приложения, нажимали, вводили текст и тестировали сценарии
MCP-сервер для управления Android-устройством через ADB: навигация по приложениям, ввод и авто-тесты
Платформа управления Android с встроенным MCP-сервером: агент управляет устройством, автоматизирует UI, снимает трафик и работает с Frida
MCP-сервер для управления iOS и Android: симуляторы, эмуляторы и реальные устройства через дерево доступности и скриншоты
Дает Claude Code и Codex управлять настоящим iPhone: читать экран, нажимать, вводить текст и листать в любом приложении
Коротко о README
README описывает Phone Agent, ссылки на модели AutoGLM-Phone-9B и мультиязычную версию и интеграцию с Midscene.js. Пошагово разобрана подготовка Android, HarmonyOS и iPhone: отладка, ADB или HDC, ADB Keyboard. Затем установка зависимостей, выбор между сторонним сервисом и собственным развертыванием модели через vLLM или SGLang и примеры запуска main.py. Лицензия Apache-2.0.