DS Vision Skill

Дает текстовым моделям зрение: картинки идут в GLM и Agnes, OCR в Baidu и Windows, PDF в MinerU, ответ приходит в JSON

158 ★ репозитория
Последний коммит 11 нояб. 2026

Установка

Работает в: Claude Code
Codex
Koda
Coddy

В терминале, через SkillFoxx CLI

npx skillfoxx add skills/ds-vision-skill

Определит агенты на машине, покажет уровень доступа и зафиксирует версию.

Другие способы установки

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

Изображения и документы отправляются на облачные API третьих сторон по вашим ключам
Скрипты хранят ключи в пользовательской конфигурации и запускают локальные модели

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

DS Vision Skill — слой зрения для агентов на текстовых моделях, например DeepSeek. Когда пользователь присылает картинку, скриншот, фото, диаграмму, скан, PDF или математическую задачу, скилл определяет вид задачи и выбирает маршрут через `scripts/vision-router.ps1`. Понимание изображений идет в бесплатный пул GLM и Agnes, где модели запускаются наперегонки, затем в три пользовательских слота и в локальную модель. Чистый текст распознают Baidu OCR или Windows OCR, документы разбирает MinerU. Все каналы возвращают один JSON-конверт, и основная модель рассуждает уже по нему. Скилл ее не заменяет. Ключи настраиваются командой `scripts\setup.cmd -SetKey`, а свои OpenAI-совместимые эндпоинты записываются в слоты `custom-1`, `custom-2` и `custom-3`. Для локального режима `local-select.ps1` подбирает модель по видеопамяти (Ollama, LM Studio, llama.cpp). Автор приводит замеры скорости: версия 0.5.0 снизила медианное время на 44,82 процента против 0.4.1. Скрипты написаны на PowerShell, есть и вариант `vlm-vision.sh`.

Для кого. Пользователям DeepSeek и других текстовых моделей в Claude Code и Codex, которым нужно читать скриншоты, диаграммы, сканы и PDF без смены основной модели.

Подходит, если

Агент на текстовой модели получил скриншот интерфейса или ошибки и должен его понять
Из скана или фото нужно вытащить текст, а облачный OCR недоступен, и подойдет Windows OCR
Многостраничный PDF или отчет надо превратить в Markdown через MinerU
Конфиденциальные изображения должны остаться на машине, и нужен локальный маршрут

Не подходит, если

Основная модель уже мультимодальная: тогда слой зрения лишний
Нужна кроссплатформенная установка без PowerShell: скрипты ориентированы на Windows, для Linux есть только вариант `vlm-vision.sh`
Изображения нельзя отправлять третьим сторонам: облачные каналы работают только с ключами, а безопасный путь один, локальная модель

Пример запроса к агенту

Прочитай этот скриншот ошибки и объясни, что в нем не так, через ds-vision-skill

Ограничения

Облачные каналы GLM, Agnes, Baidu и MinerU получают ваши изображения и требуют собственных ключей API, а условия бесплатных пулов задают эти провайдеры. Для конфиденциальных материалов остается локальный маршрут через Windows OCR или Ollama. Скрипты написаны на PowerShell и в первую очередь рассчитаны на Windows, оболочка `cmd.exe` не принимает ключи в угловых скобках, поэтому в примерах стоят кавычки.

Качество зависит от выбранной модели, а эталонные замеры скорости сделаны на макете и на живых каналах. Локальным моделям нужна видеопамять: от 4 ГБ для небольших моделей до 8 ГБ для 7B. Обновление скилла ставится отдельным скриптом `update-skill.ps1`.

Как отключить. Удалите папку `ds-vision-skill` из каталога навыков агента. Ключи записаны скриптом `setup.cmd` в вашу пользовательскую конфигурацию, уберите их командой `scripts\setup.cmd -RemoveKey -Channel glm` до удаления папки.

Частые вопросы

Какие маршруты выбирает скилл?

Понимание картинок идет в пул GLM и Agnes, затем в три пользовательских слота и локальную модель. Текст распознают Baidu OCR или Windows OCR, документы разбирает MinerU.

Нужны ли ключи?

Для облачных каналов да: GLM, Agnes и Baidu требуют ключей API, а MinerU принимает необязательный токен. Windows OCR и локальные модели работают без ключей.

Заменяет ли скилл основную модель?

Нет, он только превращает изображение или документ в текст и JSON, а рассуждает и отвечает основная модель.

Работает ли на Linux или macOS?

Скрипты в основном на PowerShell и ориентированы на Windows. Для Linux есть `vlm-vision.sh`, остальные каналы стоит проверять на своей системе.

Как подключить свою модель?

Запишите OpenAI-совместимый эндпоинт, ключ и модель в слот командой `scripts\setup.cmd -SetCustom -Slot 1 -BaseUrl "..." -Key "..." -Model "..." -Verify`. Таких слотов три.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы

Visual Skills

Два скилла для генеративного видео и картинок: video пишет промпты для Seedance, Kling и Veo по правилам драматургии, image подбирает модель и синтаксис

СкиллМинимальный доступ658

mac-local-vision

Однофайловый инструмент macvis для macOS: OCR, координаты слов, штрихкоды и сортировка лиц на устройстве, без облака.

CLIМинимальный доступ63

PixVerse Skills

Скиллы для агента, который через CLI PixVerse делает видео, картинки, озвучку и музыку по готовым конвейерам.

СкиллРасширенный доступ65

AI Animation Skills

Двенадцать скиллов, по которым агент собирает однофайловые HTML-анимации: слайды, схемы протоколов, архитектурные диаграммы и демо для записи экрана

СкиллРасширенный доступ1,8 тыс.

Motion Video Skill

motion-video-skill

Видео 1080p с синхронизацией по ударам: HyperFrames и GSAP, озвучка, караоке-субтитры, звуки и музыка. Ключи провайдеров хранятся в конфигурации CLI

СкиллШирокий доступ141

watch-skill

Превращает видео, аудио и запись экрана в поисковые доказательства с метками времени и проверяет, получилось ли задуманное. Сервер MCP, версия 0.1.x

MCP-серверРасширенный доступ573

Коротко о README

Скилл собирает цепочку для работы с изображениями у текстовых моделей: определение задачи, гонка быстрых облачных каналов, запасные слоты и локальная модель. На выходе стандартный JSON. Автор приводит методику и сырые данные замеров в `references/benchmarks.md`.

Бейдж для README

Исходный SKILL.md

---
name: ds-vision-skill
metadata:
  version: 0.5.1
  repository: https://github.com/Sorwcyra/ds-vision-skill
description: >
  为纯文本推理模型补充视觉能力。用户提供图片、截图、照片、图表、UI 截图、代码截图、数学题图片、
  扫描件、PDF 或文档，并要求描述、理解、推理、阅读、OCR、提取文字、解析图表或分析内容时使用。
  默认调用 scripts/vision-router.ps1 做自动路由：图片理解先走免费竞速池 GLM/Agnes，再走 custom-1/custom-2/custom-3/local，文档解析走 MinerU，
  纯文字识别走 Baidu OCR 或 Windows OCR。所有工具输出标准 JSON，再交给主模型推理和总结。
---

# DS Vision Skill

这个 skill 负责把视觉输入转换成文本或结构化 JSON。它不替代主模型，只负责识别任务、选择工具、执行视觉/OCR/文档解析，并把结果交给主模型继续推理。

## 首选入口

优先使用统一路由脚本：

```powershell
powershell.exe -NoProfile -ExecutionPolicy Bypass -File scripts/vision-router.ps1 -Path "path/to/file.png" -Prompt "user request" -Intent auto -Json
```

如果 harness 默认使用 `cmd.exe`（例如 Zcode 或某些 Codex/Hermes 包装器），优先调用 `scripts/setup.cmd` 和 `scripts/vision-router.cmd`。不要把 PowerShell 专用语法或 `<KEY>` 占位符粘到 `cmd.exe` 中；`cmd.exe` 会把尖括号当成重定向符号，配置 key 时请使用 `"YOUR_KEY"` 这样的引号占位或真实引号值。

常用参数：

- `-Intent auto|reason|ocr|document`：默认 `auto`。图片默认走视觉理解免费竞速池；纯 OCR 请显式使用 `-Intent ocr`。
- `-Complex`：图表、数学、复杂 UI、代码截图、多步骤视觉推理时启用。
- `-AccurateOcr`：票据、扫描件、低清晰度文字识别时启用百度高精度 OCR。
- `-MaxTokens`：限制视觉模型输出长度，默认 `1024`；`-Complex` 未显式设置时使用 `2048`。
- `-TimeoutSec`：整场视觉竞速的最长等待时间，默认 `90` 秒。
- `-NoCache`：跳过缓存读取，也不写入本次结果。

只有在需要调试单个通道时，才直接调用底层脚本。

## 路由规则

1. PDF、论文、报告、长文档、多页扫描件：使用 `scripts/mineru-extract.ps1 -FilePath <file> -Mode flash -Json`。如果配置了 `MINERU_TOKEN` 且 flash 失败，再尝试 `-Mode extract`。
2. 图片且需要理解/推理：使用 `scripts/vision-router.ps1`，让 `agnes-2.5-flash`、`agnes-2.0-flash`、`glm`、`glm-thinking` 四个模型同时开始竞速；谁先成功返回就采用谁的结果。如果全部失败，再降级到 `custom-1`、`custom-2`、`custom-3` 和 `local`。
3. 图片默认进入视觉理解免费竞速池；需要纯文字识别时显式使用 `-Intent ocr`，优先 `scripts/baidu-ocr.ps1 -ImagePath <file> -Json`；未配置或失败时用 `scripts/windows-ocr.ps1 -ImagePath <file> -Json`。
4. 无法判断时：使用 `vision-router.ps1 -Intent auto -Complex -Json`。

## 降级链

Сообщить о проблеме