computer-use-linux MCP
computer-use-linux, MCP-сервер, показывает активность агента поверх рабочего стола, пропуская клики пользователя к приложению.
- 816 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Агент видит содержимое рабочего стола и может нажимать элементы, вводить текст и менять данные приложений.
Установка
- Работает в
Ручная установка
npm install -g @agent-sh/computer-use-linuxСтавит CLI из npm, который также запускает MCP-сервер с подкомандой `mcp`. Это первый вариант README для CLI и произвольного stdio-клиента.
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Агент видит содержимое рабочего стола и может нажимать элементы, вводить текст и менять данные приложений.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
computer-use-linux, MCP-сервер, связывает агента с графическим сеансом Linux. Сервер читает дерево доступности: список элементов интерфейса с их ролями и названиями. По этим сведениям агент выбирает окно, нажимает кнопки и вводит текст. После действия агент повторно получает состояние приложения и видит изменения. Сервер поддерживает X11 и Wayland, но способы ввода и выбора окон зависят от рабочего стола. Кроме MCP, в проект входят CLI и отдельные инструменты Pi. Индикатор на экране показывает активность агента и пропускает клики пользователя к приложению.
Для кого. Тестировщикам настольных Linux-приложений, которые поручают агенту действия с формами, окнами и элементами интерфейса.
Подходит, если
- Тестировщик проверяет форму через доступные элементы настольного приложения.
- Перед действием агент получает снимок выбранного окна.
- После смены Wayland-сеанса пользователь проверяет готовность ввода.
- Агент сопоставляет состояние приложения до и после клика.
Не подходит, если
- Для задачи достаточно отдельного браузерного инструмента без доступа ко всему рабочему столу.
- Агент не должен управлять мышью, клавиатурой или активным окном пользователя.
- Нужна одинаковая поддержка всех способов ввода на любом композиторе.
Пример запроса к агенту
Проверь доступность рабочего стола Linux и найди окно тестового приложения, пока без кликов и ввода.MCP
- Транспорт
- stdio
- Авторизация
- не нужна
Ограничения
Готовым бинарным файлам нужна glibc 2.28 или новее; на старой системе придется собирать программу из исходников. Для ввода нужны компоненты текущего графического сеанса: например, xdotool в X11 либо портал рабочего стола или доступ к uinput в Wayland. Установка плагина не добавляет CLI в системный путь, поэтому для команд в терминале CLI ставят отдельно. Сервер управляет настоящим рабочим столом пользователя: отдельной изолированной среды для действий агента он не создает.
Как отключить. Перед отключением проверьте результат в целевом окне. Завершите перетаскивание и отпустите удерживаемые клавиши и кнопки мыши, чтобы следующий ввод не изменил данные приложения. Затем отключите сервер в MCP-клиенте или удалите плагин.
Частые вопросы
Как установить плагин Claude Code?
Выполните `claude plugin marketplace add agent-sh/computer-use-linux`, затем `claude plugin install computer-use-linux@computer-use-linux`.
Что скачивает плагин при первом запуске?
Плагин скачивает бинарные файлы зафиксированного релиза и проверяет SHA-256. Для своей сборки задайте `COMPUTER_USE_LINUX_BIN` в окружении клиента: нужен абсолютный путь к исполняемому файлу, относительные пути игнорируются.
Есть ли вариант установки через Rust?
Да. Команда `cargo install computer-use-linux` собирает и устанавливает пакет Rust из crates.io.
Что произойдет при неоднозначном выборе окна?
Сервер отклонит вызов. Обновите список окон и выберите однозначную цель. После смены заголовка окна заново получите его идентификатор.
Можно ли подключить Pi без MCP?
Да. `pi install npm:@agent-sh/computer-use-linux` добавляет собственные инструменты Pi с отложенной загрузкой.
Работает ли выбор окон в обычной сборке labwc?
Нет. Нужен специальный IPC-патч labwc; в обычной сборке нет сокета, через который сервер выбирает окна.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыOpen Computer Use
open-computer-use
Открытый MCP-сервер для управления рабочим столом: агент читает состояние приложений и кликает, печатает, скроллит на macOS, Linux и Windows
MCP-сервер для управления Windows: агент открывает приложения, кликает и печатает, читает состояние окон и интерфейса, работает с файлами и PowerShell
MCP-сервер дает агенту управлять окнами и приложениями: он читает экран как структуру и действует по имени элемента
MCP-сервер и CLI wincli: агент управляет окнами Windows по именам кнопок и полей через UI Automation, без координат скриншота
MCP-сервер на Swift дает агенту управлять любым приложением macOS: кликать, печатать и читать дерево интерфейса
MCP-сервер для macOS: агент двигает мышь, печатает, управляет окнами и снимает экран, когда у приложения нет API
Коротко о README
Для GNOME, KDE и других окружений описаны свои способы выбора окна. Изолированный рабочий стол вынесен автором в отдельный проект и не входит в этот сервер.