agent-vision-toolkit — скилл

Набор CLI-инструментов и скилл, которые дают текстовому агенту зрение: разбор изображений, OCR длинных скриншотов, восстановление UI

  • 1 260 ★ репозитория
  • Последний коммит
  • MIT
Скилл

Расширенный доступ

Почему такой уровень

  • Отправляет изображения во внешний мультимодальный API
  • Запускает CLI и может автоматизировать GUI
Все причины и проверки

anionex/agent-vision-toolkit

Установка

Ручная установка

npx skills add Anionex/agent-vision-toolkit --skill vision-skills -g

После установки задайте VISION_API_KEY, VISION_BASE_URL и VISION_MODEL.

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Отправляет изображения во внешний мультимодальный API
  • Запускает CLI и может автоматизировать GUI

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

agent-vision-toolkit добавляет зрение агентам на текстовых моделях, например DeepSeek, у которых нет мультимодальности. Он состоит из нескольких CLI и скилла, который объясняет агенту, когда какой инструмент применять: вопросы по изображению, OCR длинных скриншотов, восстановление верстки фронтенда, GUI-автоматизация. Любой агент, умеющий вызывать команды оболочки, может ими пользоваться. Отдельно есть прозрачный локальный прокси и однофайловые плагины, чтобы вставленные картинки и встроенные инструменты работы с изображениями работали без лишней настройки.

Для кого. Для тех, кто запускает агента на текстовой модели и хочет дать ему работу с изображениями.

Подходит, если

  • Модель агента не видит изображения, а работать с ними надо
  • Нужен OCR длинного скриншота или разбор картинки
  • Хотите восстановить верстку по изображению интерфейса

Не подходит, если

  • Модель агента и так мультимодальная
  • Нет доступа к внешнему мультимодальному API

Пример запроса к агенту

Распознай текст на этом длинном скриншоте и опиши, что на нем изображено

Ограничения

Для работы нужен мультимодальный API, совместимый с OpenAI Chat Completions, OpenAI Responses или Anthropic Messages: его базовый адрес, ключ и модель. Доступность зависит от выбранного провайдера.

Как отключить. Уберите каталог bin из PATH и удалите установленные скилл или плагины из каталога агента.

Частые вопросы

Что нужно подготовить?

Мультимодальный API, совместимый с OpenAI или Anthropic: базовый адрес, ключ и имя модели.

С какими агентами работает?

С Codex, Claude Code, Pi, Oh My Pi и OpenCode.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы

Открытый кодовый агент для терминала, браузера и десктопа, который работает с моделями от OpenAI и Claude до Ollama

CLIШирокий доступ364Звезды репозитория

Скилл, который дает зрение текстовым моделям: изображение по пути или из вставки превращается в структурированный JSON с распознанным текстом, разметкой и смысл

СкиллРасширенный доступ4,9 тыс.Звезды репозитория

Agents Best Practices

agents-best-practices

Скилл проектирования агентных систем без привязки к вендору: архитектура цикла, инструменты, права, память и наблюдаемость

СкиллМинимальный доступ2,4 тыс.Звезды репозитория

CLI-установщик и менеджер скиллов для кодовых агентов: одна команда ставит скиллы в разные среды и помогает собирать свои

CLIРасширенный доступ1,2 тыс.Звезды репозитория

CLI для управления несколькими кодовыми агентами: общий конфиг, консоль сессий, локальная память и набор инженерных скиллов

CLIШирокий доступ1,7 тыс.Звезды репозитория

Многоагентная обвязка с проверкой результата по артефактам: стоп-хуки, независимый судья и журнал событий для Claude Code, Codex, Cursor и других

CLIШирокий доступ1,4 тыс.Звезды репозитория

Коротко о README

README объясняет, что зрение агента можно вынести из модели в оснастку: набор CLI и скилл учат текстового агента разбирать изображения, делать OCR длинных скриншотов, восстанавливать UI и автоматизировать GUI. Опционально ставятся локальный прокси и однофайловые плагины для бесшовной работы с картинками. Нужен внешний мультимодальный API. Лицензия MIT.

Бейдж для README

Исходный SKILL.md

---
name: vision-skills
description: >-
  Local vision CLIs: glance (describe/ask/OCR an image), ground (locate a
  target, pixel box), detect (element inventory), trace (image to SVG
  geometry), crop (cut a pixel box to a file), and scripts/html_shot.py (HTML
  file to image). Use for any task involving an image — questions, text,
  splitting and transcribing long screenshots or chat histories, locating elements,
  comparing, rebuilding as HTML/SVG, digitizing a sketch or diagram, reading
  values off a chart, operating a GUI from screenshots — and to re-check an
  image yourself when a description you were given lacks a detail.
---

# vision-skills

Five local CLIs that give a text-only agent eyes. They read one shared
vision config (`VISION_API_KEY` / `VISION_BASE_URL` / `VISION_MODEL` /
`LANG`), plus the optional Python-client settings `VISION_API_PROTOCOL`,
`VISION_REASONING_EFFORT`, and `VISION_USER_AGENT` — no extra credentials.

Pick the tool by the question you are answering:

| Question | Tool |
|---|---|
| "What does this image show / say?" | `glance` |
| "Where is X?" — a thing you can name | `ground` |
| "Where are all the Xs?" — every instance of a kind | `detect` |
| "What is its exact shape, size, offset?" | `trace` |
| "Cut this box out as its own image file" | `crop` |
| "OCR this long screenshot / scrolling page / chat history" | `scripts/long_screenshot_ocr.py` |
| "Extract the icon/logo foreground as transparent PNG — manual region or auto (cropped+scaled screenshots)" | `scripts/extract_fg.py` |
| "Turn this HTML file into a viewport or full-page screenshot" | `scripts/html_shot.py` |
| "Which colours dominate a region, and which palette value fits it?" | `scripts/dominant_colors.py` |
| A relation none of them return — a gap, a distance between two located things | code over the pixels (Pillow) |

`glance` answers what something is; `ground` and `detect` answer where.
You give `ground` a description of a particular thing; you give `detect` a
kind and it enumerates the instances.

Both give real coordinates, but they are not pixel-exact: the box arrives
on a 0-1000 grid and is scaled to your image, so the last pixel or few are
not reliable. That is accurate enough to crop with, to click, to compare
positions against. When a number has to be exact, `trace` derives it from
the actual pixels — offsets, sizes, shapes.

## Use the provided tools before hand-rolled pixels

Everything this toolkit ships a tool for, call the tool — do not rewrite

Сообщить о проблеме