skilled CLI
CLI и MCP для проверки скиллов: повторяемые тесты на YAML, сравнение отчетов, поиск регрессий и процесс skilled-improve
- 72 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Прогоны запускают ваш движок (Codex, Claude Code и другие) и расходуют лимиты и деньги аккаунта
- Команда skilled setup записывает файлы рабочего процесса в проект, а MCP с флагом --allow-execution разрешает запускать оценки агенту
Установка
- Работает в
Ручная установка
curl -fsSL https://github.com/DeadHead04/skillEd/releases/latest/download/install.sh | bashmacOS и Linux. Затем добавьте ~/.local/bin в PATH. Для Windows используйте install.ps1 из релиза.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Прогоны запускают ваш движок (Codex, Claude Code и другие) и расходуют лимиты и деньги аккаунта
- Команда skilled setup записывает файлы рабочего процесса в проект, а MCP с флагом --allow-execution разрешает запускать оценки агенту
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Скилл может выглядеть верным и срываться на граничных случаях. skilled превращает ожидаемое поведение в повторяемые проверки, чтобы оценить изменение скилла, агента или модели до того, как на него положиться. Один установочный пакет включает CLI проверок, инструменты MCP и рабочий процесс `skilled-improve`. Используются ваши скиллы и вход в локальный движок, сборка приносит свой Node. Для скилла с `SKILL.md` и `evals/eval.yaml` команда `skilled validate` проверяет файлы без вызова модели, `skilled run --dry-run` показывает выбранные случаи, а `skilled run` запускает настроенный движок и сохраняет отчеты в JSON, HTML и JUnit. После правки скилла те же случаи гоняются снова, а `skilled compare ... --fail-on-regression` возвращает ненулевой код при регрессии. Проверки включают сценарии, утверждения, скрипты и модельных судей, многоходовые случаи и повторные запуски. Движки: Codex, Claude Code, OpenCode, Qoder CLI, Qwen Code и собственные, исполнение нативное, в Docker или OpenSandbox. Команда `skilled setup --host codex` (или `claude-code`) включает в проекте рабочий процесс `skilled-improve`: агент добавляет граничные случаи, сохраняет базовую линию, улучшает скилл и перепроверяет на независимых отложенных случаях. Команда `skilled mcp --workspace` запускает сервер MCP по stdio: `skilled_start`, `skilled_status`, `skilled_results`, `skilled_compare` и `skilled_cancel`, выполнение включается флагом `--allow-execution`. Автор показывает пример: скилл политики возвратов прошел 13 из 18 случаев, после правки 18 из 18 и 10 из 10 отложенных.
Для кого. Авторам скиллов и командам, которые поддерживают наборы скиллов для Codex и Claude Code и хотят ловить регрессии при смене скилла, агента или модели.
Подходит, если
- Скилл правили, и надо убедиться, что он не сломал граничные случаи и некорректные входы
- Нужны сохраненные отчеты до и после правки с кодом возврата для регрессий в CI
- Хочется проверить влияние скилла по тестам с ним и без него в изолированном Docker
- Агент должен сам добавить тесты, улучшить скилл и перепроверить на независимых случаях
Не подходит, если
- Нужен постоянный мониторинг разговоров: сравнение работает по сохраненным прогонам
- Нужна гарантия точности по результатам одного примера: автор оговаривает, что это пример одного скилла и движка
- Нужна установка через npm или Homebrew: выпуск идет только через GitHub Releases
Пример запроса к агенту
Используй skilled-improve на моем скилле в каталоге ./skills/refund-policy: добавь тесты на граничные случаи, сохрани базовую линию, улучши скилл и перепроверь на независимых случаях.Ограничения
Распространение идет через GitHub Releases, пакета npm и формулы Homebrew нет. Установщик проверяет контрольную сумму SHA-256 архива. Нативные проверки используют существующий вход в Codex или Claude Code, расход модели идет по лимитам и тарифам вашего аккаунта. Сравнивать отчеты стоит с учетом предупреждений: в отчетах нет полных отпечатков входов, поэтому совпадения случаев мало для вывода об одинаковых условиях оценки.
Сравнительные прогоны с навыком и без него требуют Docker, нативный и OpenSandbox режимы для них отклоняются. Аутентифицированный Codex внутри Docker автор считает непроверенным. Выполнение через MCP включается флагом `--allow-execution`, политика одобрения вашего хоста продолжает действовать. Лицензия Apache 2.0, последний коммит от 30 октября 2026 года.
Как отключить. Выполните `skilled setup --host codex --remove` (или с `claude-code`), чтобы убрать неизмененную управляемую копию рабочего процесса. Сам CLI удаляется по инструкции в руководстве по установке, сохраненные отчеты лежат в ваших каталогах `reports/` и удаляются вручную.
Частые вопросы
Как установить skilled?
На macOS и Linux выполните `curl -fsSL https://github.com/DeadHead04/skillEd/releases/latest/download/install.sh | bash`, добавьте `~/.local/bin` в PATH и проверьте `skilled --version`. Для Windows есть скрипт `install.ps1`, установщик проверяет SHA-256.
Как проверить скилл без вызова модели?
Выполните `skilled validate --skill .` и `skilled run evals/eval.yaml --dry-run`: файлы и выбранные случаи проверяются, модель не вызывается.
Как поймать регрессию между версиями скилла?
Прогоните `skilled run` до и после правки в разные каталоги отчетов, затем `skilled compare reports/before/iteration-1/report.json reports/after/iteration-1/report.json --fail-on-regression`. Команда вернет ненулевой код при регрессии.
Как подключить skilled через MCP?
Запустите `skilled mcp --workspace /absolute/path/to/your-project` как локальный stdio-сервер. По умолчанию доступны проверка, пробные прогоны и сравнение, а запуск оценок включается флагом `--allow-execution`.
Что такое skilled-improve?
Это рабочий процесс агента, отдельной команды терминала у него нет. После `skilled setup --host codex` агент по вашей просьбе добавляет случаи, сохраняет базовую линию, правит скилл и перепроверяет его на независимых случаях.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI для оценки и доработки скиллов агентов: декларативные тесты в YAML, запуск на разных движках и структурированные отчеты
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
Проверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
Python-CLI замеряет, что скилл меняет в ответах: гоняет случай с ним и без него, ищет утечку ответа в промпте и сравнивает отчеты
«Юнит-тесты» для скиллов: проверяет, что агент находит и использует ваш скилл. Нужны Node 20 и Docker, ключ модели
MCP-сервер каталога QASkills.sh: агент ищет, читает и ставит скиллы по тестированию, не выходя из разговора.
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| skilled (эта карточка) | нет | 72 | |
| Skill Eval Harness | нет | 79 | тестовая обвязка для оценки скиллов, этот добавляет сравнение сохраненных отчетов, MCP-сервер и рабочий процесс улучшения скилла |
| SkillEvaluator | да | 859 | оценивает скиллы, этот ведет регрессии между версиями, поддерживает несколько движков и выпускает отчеты для CI |
Коротко о README
Описание объясняет назначение проверок скиллов, установку, подключение к проекту и цикл оценки с командами. Дальше идут пример улучшения скилла политики возвратов с оговорками, таблица возможностей, подключение через MCP, документация и статус выпуска.