mac-computer-use

Установка

npx skillfoxx add skills/mac-computer-use

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a claude-code -y

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a cursor -y

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a github-copilot -y

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a codex -y

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a gemini-cli -y

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a cline -y

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a roo -y

npx skills add to3akarin/mac-computer-use --skill mac-computer-use -a opencode -y

git clone https://github.com/To3akaRin/mac-computer-use.git
cd mac-computer-use
bash scripts/build.sh

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Скилл дает агенту инструменты, чтобы работать с реальными приложениями macOS. Агент перечисляет окна и процессы, читает дерево элементов доступности, снимает скриншоты и выполняет клики, ввод и горячие клавиши. Для встроенных страниц Chromium есть управление через протокол CDP: чтение структуры, ввод текста и проверки без побочных эффектов. Цикл работы построен на наблюдении и проверке: сначала осмотреть цель, выбрать канал, выполнить одно действие, затем прочитать результат и подтвердить его. Write-команды поддерживают предпрогон, а устаревшие ссылки на окна отклоняются.

Для кого. Для инженеров и тестировщиков, которым нужна автоматизация десктопных приложений macOS с проверкой результата.

Пример запроса к агенту

Найди окно этого приложения, впиши текст в нужное поле и прочитай его обратно для проверки

Ограничения

Работает только на macOS 14 и новее, нужны Swift 6 и права на доступность и запись экрана; для CDP еще Node.js 22.4 и выше. Первый нативный вызов компилирует бинарник, это ожидаемое ожидание. Проверены тестовое приложение и изолированный браузер, не все сторонние программы гарантированно поддержаны.

Как отключить. Удалите папку скилла mac-computer-use из каталога скиллов агента. При желании отзовите у приложения-хоста права доступности и записи экрана в системных настройках.

Проверка безопасности

• Выполняет локальные команды и управляет приложениями: кликает, печатает и меняет состояние программ
• Требует прав доступности и записи экрана хоста

Коротко о README

README представляет mac-computer-use как скилл по открытому формату Agent Skills, который дает агенту прямое управление Mac. Заявлены наблюдение за окнами и процессами, чтение и изменение элементов доступности, нативные клики и ввод, а также управление встроенным Chromium через CDP. Отдельно подчеркнуты границы исполнения: предпрогон write-команд, явные единицы координат, порядок работы с передним планом и возврат статуса, когда результат неизвестен. Есть общий вход через scripts/run.sh для разных клиентов и набор тестов. Лицензия MIT.

SKILL.md

---
name: mac-computer-use
description: 操作 macOS 桌面应用，探测窗口和自动化接口、截图、读取或修改辅助功能元素、执行鼠标键盘动作，以及通过 CDP 操作内嵌 Chromium 页面。适用于桌面应用自动化与界面验收；普通网页任务优先使用已有浏览器工具。
license: MIT
compatibility: 需要 macOS 14+、Swift 6+、可写技能构建目录，以及读取文件和执行本机命令的能力；CDP 需要 Node.js 22.4+。桌面控制需要宿主的辅助功能和屏幕录制权限。
metadata:
  author: To3akaRin
  version: "0.2.0"
---

# Mac Computer Use

本技能使用本目录中的独立工具，不需要专属 MCP 插件。所有相对路径均以本文件所在目录为基准；Agent 的当前目录可能是其他项目，执行时先解析技能根目录并使用绝对路径。

## 通用入口

本目录遵循开放的 Agent Skills 格式。使用 runtime 提供的文件读取、本机命令执行和图片查看能力；agents/openai.yaml 是可选界面元数据，不参与核心运行。

```bash
sh "$SKILL_DIR/scripts/run.sh" native doctor
sh "$SKILL_DIR/scripts/run.sh" native windows
sh "$SKILL_DIR/scripts/run.sh" cdp targets --endpoint http://127.0.0.1:9222
```

## 开始前

1. 通过统一入口运行 native doctor 检查平台与权限。
2. 明确目标应用、窗口与用户要得到的结果。
3. 先 probe 和观察。优先应用已有 CLI、脚本字典或接口，其次 AX，再考虑鼠标键盘。

## 操作循环

观察目标 选定元素或坐标 写操作预演 执行一次 读回目标状态 判断完成或重新观察。

Похожие