Skill Eval Harness CLI
Python-CLI замеряет, что скилл меняет в ответах: гоняет случай с ним и без него, ищет утечку ответа в промпте и сравнивает отчеты
- 79 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Прогоны запускают агентов на ваших ключах и тратят токены, а скриптовые проверки выполняют код из манифеста
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/skill-eval-harnessОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Прогоны запускают агентов на ваших ключах и тратят токены, а скриптовые проверки выполняют код из манифеста
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Skill Eval Harness — консольный инструмент на Python для проверки агентных скиллов. Он берет описание случаев из `evals/shared-benchmark.json`, готовит задания без ключей ответов, прогоняет их с навыком и без него на одной модели и в одном повторе, затем оценивает результаты локально и детерминированно, без вызова модели при оценке. Главная метрика — прирост от скилла: парные сравнения, доверительный интервал, разбиение случаев на подбор, отложенную и контрольную выборки, поиск утечки ответа в промпт и абляции, которые отключают отдельные инструкции или файлы скилла. Три команды: `skill-benchmark`, `skill-pi-trigger-eval` и `skill-trigger-matrix`, последняя измеряет, загружает ли агент скилл сам.
Для кого. Авторам скиллов для Claude Code, Codex и других агентов, которые хотят доказать пользу своего скилла числом и поймать регрессии после правок.
Подходит, если
- Вы переписали SKILL.md и хотите знать, стали ли ответы лучше, чем без скилла вообще
- Нужно найти инструкцию или справочник внутри скилла, без которого результат ломается
- Проверка в CI должна падать, если новая правка снизила долю пройденных случаев
- Агент слишком часто или слишком редко сам подгружает скилл, и вы измеряете это по моделям
- Перед тратой бюджета на прогон хочется проверить, не подсказывает ли промпт ответ
Не подходит, если
- Вы ищете общий набор метрик для оценки одного ответа по рубрике: инструмент рассчитан на разницу «со скиллом и без»
- Скилла еще нет: сначала нужны хотя бы несколько реальных случаев в манифесте
- Ожидается готовый запуск без Python 3.10 и `uv`
- Вам нужна оценка кода продукта, а не поведения скилла
Пример запроса к агенту
Подготовь парный бенчмарк моего скилла, прогони его с Claude и покажи прирост по случаям и утечки ответа в промптОграничения
Нужны Python 3.10 или новее и `uv`. Сами прогоны делают агенты: Claude, Codex, Gemini CLI, Mistral Vibe, Jetty или любой запуск, который пишет файлы по контракту вывода, и они тратят токены на ваших ключах. Поддержка Pi пока ограничена проверкой загрузки скилла и дымовыми тестами. Скрытые выборки и их хранение остаются политикой пользователя: инструмент только не дает случайно смешать все выборки. Разбор прежних запусков после обновления требует отдельной миграции манифеста и телеметрии по `docs/upgrading.md`.
Как отключить. Выполните `uv tool uninstall skill-eval-harness`. Папки `eval-runs/` и отчеты в ваших репозиториях лежат отдельно, их удаляют вручную.
Частые вопросы
Как поставить Skill Eval Harness?
Выполните `uv tool install skill-eval-harness`, после этого доступны `skill-benchmark`, `skill-pi-trigger-eval` и `skill-trigger-matrix`. Для точной воспроизводимости версию закрепляют: `uv tool install skill-eval-harness==0.6.0`.
Чем он отличается от общих фреймворков оценки?
Общие фреймворки оценивают один ответ по рубрике. Здесь сравнивается тот же случай с навыком и без, а поверхность инструмента занята тем, чтобы разница оставалась честной: парные сравнения, разбиение выборок, поиск утечек и абляции.
Нужна ли модель для оценки результатов?
Нет, проверки строк, регулярных выражений, файлов и полей JSON выполняются локально. Судья на модели подключается по желанию через `--judge-backend` или свою команду `--judge-cmd`.
Как узнать, подгружает ли агент скилл сам?
Для этого есть `skill-trigger-matrix`: он считает автономные срабатывания по парам агент и модель на случаях, где скилл должен и не должен включаться.
Есть пример без затрат на модель?
Да, `examples/demo-skill/` содержит офлайн-пример с игрушечным скиллом, абляциями и заглушкой запуска без API.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI для оценки и доработки скиллов агентов: декларативные тесты в YAML, запуск на разных движках и структурированные отчеты
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
SkillEvaluator
skillevaluator
Фреймворк NVIDIA для оценки скиллов агентов: проверки качества, поиск пересечений, синтетические проверки и живая оценка агентом. Экспериментальный
CLI и MCP для проверки скиллов: повторяемые тесты на YAML, сравнение отчетов, поиск регрессий и процесс skilled-improve
Скилл гоняет стороннюю обвязку кодинг-агента на 30 задачах бенчмарка и сравнивает пройденные задачи, стоимость и время.
Проверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
Коротко о README
README объясняет, чем инструмент отличается от обычных систем оценки, и приводит таблицу вопросов с командами для ответа. Дальше идут основной цикл из пяти шагов, описание того, что берет на себя CLI, установка из PyPI и GitHub и карта документации.