skill-validator CLI
Проверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
- 265 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Команда `validate links` отправляет HTTP-запросы по всем внешним ссылкам в скилле
- Оценка моделью передает содержимое скилла выбранному API, локальной модели или собственному сеансу Claude Code
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/skill-validatorОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Команда `validate links` отправляет HTTP-запросы по всем внешним ссылкам в скилле
- Оценка моделью передает содержимое скилла выбранному API, локальной модели или собственному сеансу Claude Code
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
skill-validator — консольная программа на Go, которая проверяет папку со скиллом до публикации. Команда `validate structure` сверяет каталог с форматом Agent Skills: поля шапки `SKILL.md`, лимиты токенов, целостность блоков кода, внутренние ссылки и файлы-сироты, на которые никто не ссылается. Команда `validate links` проверяет по HTTP и HTTPS, что внешние ссылки еще открываются. Команда `analyze content` считает метрики текста: число слов, долю кода, долю повелительных предложений, плотность информации и конкретность инструкций. Команда `analyze contamination` ищет «загрязнение» между языками: примеры на одном языке могут сбить агента, который пишет на другом. Общая команда `check` запускает все четыре проверки без оценки моделью и подходит для прогона перед публикацией. Отдельно есть `score evaluate`. Она отправляет скилл модели-судье, и та оценивает ясность, применимость и новизну. Команда `score report` сводит оценки разных моделей в один отчет. Программа умеет выводить результат в компактном виде, JSON, Markdown и аннотациях GitHub Actions. Для CI можно выбрать строгий режим, чтобы останавливать проверку и на предупреждениях.
Для кого. Для авторов скиллов и команд, которые хранят скиллы в репозитории и хотят ловить битые ссылки, раздутые файлы и слабые инструкции в CI до релиза.
Подходит, если
- Нужно перед публикацией узнать, сколько токенов скилл займет в контексте агента
- Нужно в CI получить однозначный итог: команда `check --strict` возвращает код 1 при ошибках и предупреждениях
- Нужно запускать проверку папки скиллов перед коммитом через pre-commit
- Нужно сравнить, как две модели оценивают один и тот же скилл, командой `score report`
- Нужно проверить через `analyze contamination` скилл с примерами кода на разных языках
Не подходит, если
- Нужно проверить безопасность скилла: программа смотрит на структуру и качество текста и не ищет вредоносные команды
- Нужен полный аудит без сети: выбирайте отдельные проверки структуры и текста
- Нужно проверить MCP-сервер или плагин: инструмент рассчитан на папки со `SKILL.md`
- Нужен автоматический вердикт о полезности скилла: оценка модели-судьи служит подсказкой
Пример запроса к агенту
Прогони `skill-validator check --strict` на папке `.claude/skills/` и покажи, какие скиллы весят больше всего токенов и где битые ссылкиОграничения
Для сборки из исходников нужен Go 1.25.5 или новее. Проверка ссылок требует сети: общий запуск `check` тоже обращается к адресам из скилла. Для оценки доступны API Anthropic, API с поддержкой формата OpenAI и собственный Claude Code через CLI. Облачные вызовы расходуют лимиты выбранного аккаунта; для локального Ollama задают свой адрес API и непустой ключ. Провайдер Claude Code может добавлять контекст проекта, поэтому оценки хуже воспроизводятся. Пакет `judge` экспериментальный, его интерфейс может меняться.
Как отключить. Удалите бинарник командой `brew uninstall skill-validator` или удалите файл из каталога `go/bin`. Хук pre-commit уберите из `.pre-commit-config.yaml`.
Частые вопросы
Как проверить скилл перед публикацией?
Выполните `skill-validator check /path/to/skills`, подставив путь к одному скиллу или общему каталогу. Для проверки без обращения к модели этой команды достаточно. Внешние адреса из текста при этом проверяются по сети.
Как подключить skill-validator к pre-commit?
Добавьте репозиторий в `.pre-commit-config.yaml` и выберите хук под своего агента: например, `skill-validator-claude` проверяет `.claude/skills/`. Хуки есть для Amp, Cline, Codex, Copilot, Cursor, Gemini, Goose, Kiro, Mistral Vibe, Roo Code, Trae и Windsurf. Для своего пути подойдет общий хук `skill-validator` с аргументами.
Почему модель с рассуждением не возвращает оценку?
Модель с рассуждением может потратить бюджет ответа на рассуждение. По умолчанию бюджет составляет 8192 токена; его меняет флаг `--max-response-tokens`. Отсутствие оценки в таком случае само по себе ничего не говорит о качестве скилла.
Какие коды выхода возвращает skill-validator?
Код `0` значит чистый результат, `1` значит ошибки, `2` значит предупреждения без ошибок, `3` значит неверные флаги или аргументы. С флагом `--strict` предупреждения тоже дают код 1, поэтому CI различает только прошло и не прошло.
Можно ли использовать skill-validator как библиотеку?
Да, пакеты `orchestrate`, `judge` и `evaluate` импортируются в код на Go. Для других провайдеров моделей реализуйте интерфейс `judge.LLMClient` с методами `Complete`, `Provider` и `ModelName`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI для оценки и доработки скиллов агентов: декларативные тесты в YAML, запуск на разных движках и структурированные отчеты
«Юнит-тесты» для скиллов: проверяет, что агент находит и использует ваш скилл. Нужны Node 20 и Docker, ключ модели
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
SkillEvaluator
skillevaluator
Фреймворк NVIDIA для оценки скиллов агентов: проверки качества, поиск пересечений, синтетические проверки и живая оценка агентом. Экспериментальный
Проверяет diff и переписку с агентом: ловит ошибки в коде и расхождения между вашей просьбой и тем, что агент сделал. CLI, скилл и GitHub Action
Статический линтер инструкций агента: находит двусмысленные описания инструментов и пробелы в схемах до запуска, без модели и сети
Коротко о README
Проверки можно встроить в код на Go через пакеты для запуска анализа и оценки моделью. Для собственных каталогов скиллов есть общий хук pre-commit, которому передают путь в аргументах.