Ui.Vision RPA MCP
Ui.Vision
MCP-мост и расширение браузера для RPA: агент пишет и запускает макросы, кликает по DOM, по тексту через OCR и по картинке в браузере и на рабочем столе
- 2 092 ★ репозитория
- Последний коммит
Широкий доступ
Почему такой уровень
- Управляет вашим браузером и, с компонентами XModules, рабочим столом настоящими кликами и вводом с клавиатуры, в том числе в уже открытых сессиях с вашими входами
- Агент пишет и запускает JavaScript-макросы, которые читают страницы и снимки экрана, скачивают файлы и заполняют формы
- Установщик правит конфигурацию всех найденных клиентов MCP, перед этим сохраняя копию
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/ui-visionОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Управляет вашим браузером и, с компонентами XModules, рабочим столом настоящими кликами и вводом с клавиатуры, в том числе в уже открытых сессиях с вашими входами
- Агент пишет и запускает JavaScript-макросы, которые читают страницы и снимки экрана, скачивают файлы и заполняют формы
- Установщик правит конфигурацию всех найденных клиентов MCP, перед этим сохраняя копию
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Ui.Vision RPA — расширение для Chrome, Edge и Firefox, которое записывает и воспроизводит макросы: заполняет формы, выгружает данные с сайтов, скачивает отчеты и повторяет рабочие циклы в вашей открытой сессии браузера. Макрос можно записать, собрать в таблице команд в стиле Selenium IDE или написать на JavaScript с API `uiv.*`. Для экранов, где нет HTML-селекторов, расширение находит текст через OCR и элементы по картинке. Для управления рабочим столом нужны отдельные компоненты XModules. Пакет `uivision-mcp-bridge` из каталога `mcp/` делает из расширения MCP-сервер. Это мост: клиент (Claude Code, Claude Desktop, Cursor, Windsurf, VS Code или LM Studio) запускает его по stdio, а мост по локальному WebSocket на `127.0.0.1` передает вызовы расширению, и макрос исполняется там. В документации перечислено 18 инструментов: `create_macro`, `set_macro`, `run_macro`, `browser_snapshot`, `screenshot`, `list_macros`, `open_macro`, `delete_macro`, `click_at`, `type_at` и другие. Агент читает справочник API через `get_authoring_guide`, создает макрос, запускает его, смотрит журнал и снимки экрана и правит. Команда `npx uivision-mcp-bridge --setup` один раз находит на машине установленные клиенты MCP, дописывает запись `uivision` в их конфигурацию и печатает токен сопряжения. Затем в боковой панели расширения включают мост в разделе настроек ИИ, и панель показывает, какой клиент подключен и какой инструмент выполняется.
Для кого. Для тестировщиков, аналитиков и разработчиков, которые автоматизируют рутину в браузере и в программах без API, и хотят поручить агенту писать макросы и проверять результат по журналу.
Подходит, если
- Нужно регулярно выгружать отчеты из кабинета, где есть только веб-интерфейс, и повторять это одним запуском макроса
- Программа или удаленный рабочий стол не отдает HTML, и элементы приходится искать по тексту на экране или по картинке
- Нужно проверить сайт записанными сценариями с разными входными данными в стиле Selenium IDE
- Хочется, чтобы Claude Code сам собрал макрос из описания «зайди на сайт, скачай отчет», запустил его и по журналу исправил
- Автоматизацию надо сохранить как повторно запускаемый макрос, а не как разовый ответ агента
Не подходит, если
- Нужен только DOM-сервер для разработки и отладки страниц: для этого есть Chrome DevTools MCP, а Ui.Vision рассчитан на макросы и экранное управление
- Нужен сервер без расширения браузера и боковой панели: мост работает только вместе с расширением, а при закрытой панели вызовы возвращают «extension not connected»
- Вы собираетесь встроить или изменить код расширения в закрытый продукт: лицензия AGPL требует публикации производного кода, для иного нужна коммерческая лицензия
- Управление рабочим столом нужно без установки отдельных компонентов: в репозитории их исходного кода нет, они ставятся отдельно
Пример запроса к агенту
Используй Ui.Vision: зайди на example.com, прочитай заголовок страницы и сохрани макрос, который повторяет это действиеMCP
- Транспорт
- stdio
- Авторизация
- не нужна
Переменные окружения
UIVISION_MCP_PORT- Порт локального WebSocket, по умолчанию 50888; должен совпадать с настройкой в расширении.
UIVISION_MCP_TOKENсекрет- Общий секрет для подключений без заголовка происхождения; по умолчанию создается автоматически и сохраняется в домашней папке.
Ограничения
- Лицензия двойная: AGPL-3.0 или коммерческая, текст указан в `LICENSE.txt`. Для использования, в том числе в коммерции, коммерческая лицензия не нужна, она нужна для изменений кода без публикации под AGPL. У пакета `uivision-mcp-bridge` в манифесте указана лицензия MIT.
- Исходного кода XModules, нативных модулей для управления рабочим столом, в репозитории нет: они ставятся отдельно с сайта ui.vision.
- Мост работает только пока открыта боковая панель расширения, и нужен Node.js 18 или новее для запуска пакета.
- Макросы, которые используют `uiv.browser.*` с доверенным вводом через CDP, работают только в Chrome, а в Firefox применяют `uiv.page.*` и `uiv.desktop.*`.
- Клиенты загружают серверы MCP при запуске: после `--setup` клиент нужно полностью закрыть и открыть заново. Если клиент работал во время записи конфигурации, он может стереть запись при выходе, и тогда `--setup` запускают повторно.
Как отключить. В боковой панели расширения в настройках ИИ выключите мост, а красная кнопка STOP на фиолетовой полосе MCP останавливает текущий макрос и отключает мост. Запись `uivision` удаляют из конфигурации клиента MCP, перед правкой `--setup` сохранил копию с суффиксом `.uivision-backup`. Токен сопряжения лежит в файле `~/.uivision_mcp_token`.
Частые вопросы
Чем Ui.Vision MCP отличается от серверов, которые работают только с DOM?
Автор отмечает охват экрана: страницы управляются через DOM или доверенный ввод Chrome, а все остальное, то есть программы рабочего стола, удаленные столы, Citrix, PDF, canvas и видео, управляется визуально через OCR и поиск по картинке. Серверы вроде Playwright MCP и Chrome DevTools MCP работают только с DOM.
Как проверить, что мост подключен к расширению?
Попросите агента вызвать `bridge_status`: он покажет, подключено ли расширение. В боковой панели появится фиолетовая полоса «MCP: chrome#1» с названием клиента и выполняемым инструментом. Если нужен самотест настроек автоматизации рабочего стола, запустите `run_selftest`.
Может ли агент переписать мои макросы?
Нет. Расширение применяет те же защитные правила, что и встроенный чат: пользовательские файлы макросов не перезаписываются, правки сохраняются копиями в папке «AI Generated», а удалять инструмент `delete_macro` может только макросы из этой папки. Готовые демо-макросы без явного подтверждения не запускаются.
Как подключить локальную модель, а не облачного клиента?
Начиная с версии 0.3.17 LM Studio работает клиентом MCP. В файл `~/.lmstudio/mcp.json` добавляют запись `uivision` с командой `npx -y uivision-mcp-bridge`, затем включают `mcp/uivision` на вкладке интеграций. Нужна модель с вызовом инструментов, зрением и контекстом от 64 тысяч токенов.
Что делать, если запущено несколько браузеров?
Каждый браузер и профиль держит собственное соединение, подписанное как chrome#1, chrome#2 или firefox#1. Вызовы идут к активному, по умолчанию к подключенному последним. Переключает инструмент `select_browser`, а `bridge_status` показывает все соединения.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыMCP-сервер для управления Windows: агент открывает приложения, кликает и печатает, читает состояние окон и интерфейса, работает с файлами и PowerShell
MCP-сервер для macOS: агент двигает мышь, печатает, управляет окнами и снимает экран, когда у приложения нет API
MCP-сервер на Swift дает агенту управлять любым приложением macOS: кликать, печатать и читать дерево интерфейса
MCP-сервер для Windows: агент двигает мышь, нажимает клавиши, управляет окнами и делает снимки экрана
MCP-сервер дает агенту управлять окнами и приложениями: он читает экран как структуру и действует по имени элемента
CLI и MCP-сервер для macOS: скриншоты, разбор интерфейса через accessibility и управление приложениями по кликам и вводу
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| Ui.Vision RPA (эта запись) | да | не нужна | 2 092 | |
| Chrome DevTools MCP | да | не нужна | 54 368 | официальный сервер команды Chrome DevTools: управляет живым Chrome, смотрит сеть и консоль, записывает трейсы |
| BrowserTools MCP | нет | не нужна | 7 339 | выводит консоль, сеть, снимки и аудиты Lighthouse из открытого Chrome в агент через расширение DevTools |
Коротко о README
Главная страница репозитория объясняет, что можно автоматизировать (браузер, тесты сайтов, экран через OCR и образы, рабочий стол, работа с ИИ), дает ссылки на магазины расширений Chrome, Edge и Firefox, раздел подключения MCP с командой установки и первым запросом, раздел про JavaScript API `uiv.*` с материалами для ИИ и инструкцию сборки из исходников. Отдельный файл в каталоге `mcp/` подробно описывает мост: инструменты, установку, параметры, безопасность и диагностику. В репозитории есть исходники расширения на React, команды запуска из PowerShell, Python, Node.js, VBS и bat-файлов, и сравнение с Claude for Chrome.