Open-AutoGLM
Открытая модель и фреймворк агента для смартфона: видит экран и сам нажимает в приложениях Android, HarmonyOS и iOS по текстовой команде
Установка
pip install -r requirements.txt
pip install -e .
adb devicesВыполняйте в папке клона репозитория. Предварительно включите режим разработчика и USB-отладку на телефоне.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Phone Agent на базе модели AutoGLM понимает содержимое экрана телефона через визуально-языковую модель, планирует шаги и выполняет их. Устройства Android управляются через ADB, HarmonyOS через HDC, iPhone через WebDriverAgent. Пользователь пишет задачу обычным языком, например найти ресторан в приложении, а агент открывает нужное приложение и проходит сценарий. Для чувствительных действий есть подтверждение, при входе в аккаунт или капче управление передается человеку.
Для кого. Для исследователей и разработчиков, которые экспериментируют с агентами для мобильных приложений.
Подходит, если
- Нужно автоматизировать сценарий в мобильном приложении без его API
- Изучаете агентов с управлением через интерфейс
- Нужно прогнать приложение на реальном устройстве текстовыми командами
Не подходит, если
- Нужна стабильная автоматизация для продакшена
- Нельзя давать модели видеть экран с личными данными
Пример запроса к агенту
Открой Chrome и найди прогноз погоды на завтраОграничения
Проект только для исследований и обучения. Основная модель оптимизирована под китайские приложения, для английских есть отдельная мультиязычная версия. Нужны Python 3.10+, устройство с включенной отладкой и ADB Keyboard для Android, а также своя развернутая модель или ключ сервиса BigModel или ModelScope. README основной на китайском, есть английская версия.
Как отключить. Отключите USB-отладку на телефоне и удалите клон репозитория и установленный пакет.
Проверка безопасности
- Агент управляет телефоном и может совершать действия в приложениях
- Скриншоты экрана отправляются модели, в том числе стороннему сервису
Коротко о README
README описывает Phone Agent, ссылки на модели AutoGLM-Phone-9B и мультиязычную версию и интеграцию с Midscene.js. Пошагово разобрана подготовка Android, HarmonyOS и iPhone: отладка, ADB или HDC, ADB Keyboard. Затем установка зависимостей, выбор между сторонним сервисом и собственным развертыванием модели через vLLM или SGLang и примеры запуска main.py. Лицензия Apache-2.0.
Частые вопросы
Нужно ли разворачивать модель самому?
Нет, README перечисляет сторонние сервисы с уже развернутой моделью, например BigModel и ModelScope.
Поддерживается ли iPhone?
Да, через WebDriverAgent, настройка описана в отдельном документе.
Похожие
MCP-сервер и CLI от Sentry для сборки, запуска и тестирования iOS и macOS проектов Xcode из AI-агента
Скилл Пола Хадсона для ревью и написания SwiftUI под iOS 26: устаревшие API, поток данных, навигация, доступность, производительность
Официальные скиллы Expo для агентов: сборка, деплой, обновление и отладка приложений на Expo и EAS
MCP-сервер для управления iOS и Android: симуляторы, эмуляторы и реальные устройства через дерево доступности и скриншоты