agent-vision-toolkit — скилл
Набор CLI-инструментов и скилл, которые дают текстовому агенту зрение: разбор изображений, OCR длинных скриншотов, восстановление UI
- 1 260 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Отправляет изображения во внешний мультимодальный API
- Запускает CLI и может автоматизировать GUI
Установка
- Работает в
Ручная установка
npx skills add Anionex/agent-vision-toolkit --skill vision-skills -gПосле установки задайте VISION_API_KEY, VISION_BASE_URL и VISION_MODEL.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Отправляет изображения во внешний мультимодальный API
- Запускает CLI и может автоматизировать GUI
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
agent-vision-toolkit добавляет зрение агентам на текстовых моделях, например DeepSeek, у которых нет мультимодальности. Он состоит из нескольких CLI и скилла, который объясняет агенту, когда какой инструмент применять: вопросы по изображению, OCR длинных скриншотов, восстановление верстки фронтенда, GUI-автоматизация. Любой агент, умеющий вызывать команды оболочки, может ими пользоваться. Отдельно есть прозрачный локальный прокси и однофайловые плагины, чтобы вставленные картинки и встроенные инструменты работы с изображениями работали без лишней настройки.
Для кого. Для тех, кто запускает агента на текстовой модели и хочет дать ему работу с изображениями.
Подходит, если
- Модель агента не видит изображения, а работать с ними надо
- Нужен OCR длинного скриншота или разбор картинки
- Хотите восстановить верстку по изображению интерфейса
Не подходит, если
- Модель агента и так мультимодальная
- Нет доступа к внешнему мультимодальному API
Пример запроса к агенту
Распознай текст на этом длинном скриншоте и опиши, что на нем изображеноОграничения
Для работы нужен мультимодальный API, совместимый с OpenAI Chat Completions, OpenAI Responses или Anthropic Messages: его базовый адрес, ключ и модель. Доступность зависит от выбранного провайдера.
Как отключить. Уберите каталог bin из PATH и удалите установленные скилл или плагины из каталога агента.
Частые вопросы
Что нужно подготовить?
Мультимодальный API, совместимый с OpenAI или Anthropic: базовый адрес, ключ и имя модели.
С какими агентами работает?
С Codex, Claude Code, Pi, Oh My Pi и OpenCode.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыОткрытый кодовый агент для терминала, браузера и десктопа, который работает с моделями от OpenAI и Claude до Ollama
Скилл, который дает зрение текстовым моделям: изображение по пути или из вставки превращается в структурированный JSON с распознанным текстом, разметкой и смысл
Agents Best Practices
agents-best-practices
Скилл проектирования агентных систем без привязки к вендору: архитектура цикла, инструменты, права, память и наблюдаемость
CLI-установщик и менеджер скиллов для кодовых агентов: одна команда ставит скиллы в разные среды и помогает собирать свои
CLI для управления несколькими кодовыми агентами: общий конфиг, консоль сессий, локальная память и набор инженерных скиллов
Многоагентная обвязка с проверкой результата по артефактам: стоп-хуки, независимый судья и журнал событий для Claude Code, Codex, Cursor и других
Коротко о README
README объясняет, что зрение агента можно вынести из модели в оснастку: набор CLI и скилл учат текстового агента разбирать изображения, делать OCR длинных скриншотов, восстанавливать UI и автоматизировать GUI. Опционально ставятся локальный прокси и однофайловые плагины для бесшовной работы с картинками. Нужен внешний мультимодальный API. Лицензия MIT.
Бейдж для README
Исходный SKILL.md
--- name: vision-skills description: >- Local vision CLIs: glance (describe/ask/OCR an image), ground (locate a target, pixel box), detect (element inventory), trace (image to SVG geometry), crop (cut a pixel box to a file), and scripts/html_shot.py (HTML file to image). Use for any task involving an image — questions, text, splitting and transcribing long screenshots or chat histories, locating elements, comparing, rebuilding as HTML/SVG, digitizing a sketch or diagram, reading values off a chart, operating a GUI from screenshots — and to re-check an image yourself when a description you were given lacks a detail. --- # vision-skills Five local CLIs that give a text-only agent eyes. They read one shared vision config (`VISION_API_KEY` / `VISION_BASE_URL` / `VISION_MODEL` / `LANG`), plus the optional Python-client settings `VISION_API_PROTOCOL`, `VISION_REASONING_EFFORT`, and `VISION_USER_AGENT` — no extra credentials. Pick the tool by the question you are answering: | Question | Tool | |---|---| | "What does this image show / say?" | `glance` | | "Where is X?" — a thing you can name | `ground` | | "Where are all the Xs?" — every instance of a kind | `detect` | | "What is its exact shape, size, offset?" | `trace` | | "Cut this box out as its own image file" | `crop` | | "OCR this long screenshot / scrolling page / chat history" | `scripts/long_screenshot_ocr.py` | | "Extract the icon/logo foreground as transparent PNG — manual region or auto (cropped+scaled screenshots)" | `scripts/extract_fg.py` | | "Turn this HTML file into a viewport or full-page screenshot" | `scripts/html_shot.py` | | "Which colours dominate a region, and which palette value fits it?" | `scripts/dominant_colors.py` | | A relation none of them return — a gap, a distance between two located things | code over the pixels (Pillow) | `glance` answers what something is; `ground` and `detect` answer where. You give `ground` a description of a particular thing; you give `detect` a kind and it enumerates the instances. Both give real coordinates, but they are not pixel-exact: the box arrives on a 0-1000 grid and is scaled to your image, so the last pixel or few are not reliable. That is accurate enough to crop with, to click, to compare positions against. When a number has to be exact, `trace` derives it from the actual pixels — offsets, sizes, shapes. ## Use the provided tools before hand-rolled pixels Everything this toolkit ships a tool for, call the tool — do not rewrite