SkillEvaluator CLI
skillevaluator
Фреймворк NVIDIA для оценки скиллов агентов: проверки качества, поиск пересечений, синтетические проверки и живая оценка агентом. Экспериментальный
- 560 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Экспериментальный проект версии 0.x
- Живая оценка тратит токены по вашему ключу
Установка
- Работает в
Ручная установка
git clone https://github.com/NVIDIA/SkillEvaluator.gitДальше по README. Для живой оценки нужен ключ модели (NVIDIA Build или совместимый с OpenAI).
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Экспериментальный проект версии 0.x
- Живая оценка тратит токены по вашему ключу
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
SkillEvaluator оценивает скиллы агентов в несколько уровней: детерминированные проверки качества, поиск пересечений между скиллами, синтетические наборы проверок и живая оценка запуском агента. Нужен ключ модели (NVIDIA Build или совместимый с OpenAI). Установка через `git clone https://github.com/NVIDIA/SkillEvaluator.git`. По README уровень поддержки экспериментальный, поддерживает сообщество. Версия 0.4.0 от 30.09.2026, лицензия Apache-2.0.
Для кого. Для авторов и команд, которые пишут много скиллов и хотят измерять их качество и находить дубли.
Подходит, если
- Нужно проверить качество своих скиллов автоматически
- Нужен поиск пересечений между скиллами
- Нужна живая оценка скилла запуском агента
Не подходит, если
- Нужна стабильная поддержка: проект экспериментальный
- Нет ключа модели: без него часть уровней не работает
Пример запроса к агенту
Оцени мой набор скиллов, найди пересекающиеся по назначению и покажи, какие проверки не прошлиОграничения
Уровень поддержки экспериментальный, версия 0.x. Живая оценка запускает агента на ваших скиллах и тратит токены по вашему ключу, поэтому доступ расширенный. Начните с детерминированных проверок, они ключа не требуют.
Как отключить. Удалите клон репозитория и отзовите ключ модели там, где он выдан.
Частые вопросы
Что оценивает SkillEvaluator?
Качество скиллов, пересечения, синтетические проверки и результат живого запуска агента.
Нужен ли ключ?
Для живой оценки да: NVIDIA Build или совместимый с OpenAI.
Насколько зрелый проект?
Экспериментальный, версия 0.4.0.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI для оценки и доработки скиллов агентов: декларативные тесты в YAML, запуск на разных движках и структурированные отчеты
«Юнит-тесты» для скиллов: проверяет, что агент находит и использует ваш скилл. Нужны Node 20 и Docker, ключ модели
Swift Testing Agent Skill
swift-testing-agent-skill
Скилл по Swift Testing от Антуана ван дер Ли: новые API, миграция с XCTest, параметризованные тесты и плоские тесты. Для Claude Code и других агентов
Набор QA-агентов, скиллов и MCP-сервер: генерация тестов, поиск пробелов в покрытии, нестабильные тесты, безопасность и хаос-тестирование
Скилл, с которым агент пишет и запускает скрипты Playwright: тесты страниц, формы, скриншоты, проверки ссылок
Система сценарного тестирования 1С:Предприятия с набором agent skills, которые позволяют ИИ-агенту управлять приложением как обычный пользователь
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| SkillEvaluator (эта запись) | да | 560 | |
| SkillCorpus | нет | 687 | конвейер сбора, проверки и подбора скиллов |
| upskill | да | 757 | сильная модель создает скилл по трассам, слабая его использует |
| skillgrade | нет | 721 | юнит-тесты для скиллов в контейнерах |
Коротко о README
README описывает фреймворк оценки скиллов с детерминированными проверками, поиском пересечений и живой оценкой. Лицензия Apache-2.0.