Superpowers Evals CLI
Лаборатория тестов поведения Quorum для проекта superpowers: запускает настоящие CLI агентов и оценивает по скрытым критериям
- 145 ★ репозитория
- Последний коммит
Широкий доступ
Почему такой уровень
- Живые прогоны запускают агентов в режимах без подтверждений, а Claude и Codex получают широкие права на выполнение
- Для некоторых прогонов копируются учетные данные оператора, и они могут утечь в логи при неверной настройке
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/superpowers-evalsОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Живые прогоны запускают агентов в режимах без подтверждений, а Claude и Codex получают широкие права на выполнение
- Для некоторых прогонов копируются учетные данные оператора, и они могут утечь в логи при неверной настройке
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Superpowers Evals — лаборатория поведенческих проверок для проекта superpowers. Инструмент `quorum` запускает и оценивает настоящие CLI агентов для кода: Claude, Codex, Antigravity, Gemini, Hermes, Kimi, OpenCode, Pi и Copilot. Новые сценарии строятся как разговор, похожий на живого пользователя, а затем свежая оценка по доказательствам сверяется со скрытыми критериями и детерминированными проверками после прогона. Авторы оговаривают назначение: лаборатория проверяет соблюдение рабочего процесса, общим набором бенчмарков она не служит. Проверяются срабатывание скиллов, поведение с рабочими деревьями, координация субагентов, привычки проверки результата, качество ревью и приемы экономии. В каталоге `arms` лежат описания сравниваемых конфигураций, например Claude Opus и Codex на ветках пул-реквеста 2258. Есть два режима. Статические проверки (`biome`, `tsc`, `bun test`) безопасны для публичного CI и не вызывают модели. Живые прогоны запускают агентов в разрешающих режимах и собирают сырые транскрипты, вызовы инструментов, состояние файлов и журналы сессий.
Для кого. Авторам скиллов и рабочих процессов для агентов, которые хотят измерять соблюдение процесса моделями, и мейнтейнерам проекта superpowers.
Подходит, если
- Нужно проверить, срабатывает ли скилл у разных агентов и моделей
- Сравниваются конфигурации агента до и после правки в пул-реквесте
- Оценивается поведение агента по ходу разговора, а один ответ ничего не решает
- Статические проверки кода нужны в публичном CI без вызова моделей
Не подходит, если
- Нужен общий бенчмарк по задачам программирования: лаборатория проверяет соблюдение процесса
- Нет доверенной изолированной машины: живые прогоны запускают агентов в опасных режимах
- Нужна простая проверка одного промпта без сценариев
Пример запроса к агенту
Запусти статические проверки quorum без вызова моделей и покажи, какие сценарии есть для проверки срабатывания скилловОграничения
Живые прогоны предназначены только для доверенных мейнтейнеров: Claude запускается с `--dangerously-skip-permissions`, Codex с `--dangerously-bypass-approvals-and-sandbox`, а Antigravity использует скопированную учетную запись оператора. Их нельзя подключать к публичному CI и нельзя держать там ключи API. Инструмент собран на Bun и TypeScript, а размер репозитория велик (больше тысячи шестисот файлов). Последний коммит датирован 11 сентября 2026 года.
Как отключить. Не запускайте `quorum run` и удалите склонированный репозиторий вместе с заготовленными копиями учетных данных агентов, которые создали прогоны.
Частые вопросы
Что такое Quorum?
Инструмент лаборатории, который запускает настоящие CLI агентов и оценивает их по скрытым критериям и детерминированным проверкам.
Какие агенты поддерживаются?
Claude, Codex, Antigravity, Gemini, Hermes, Kimi, OpenCode, Pi и Copilot.
Можно ли запускать проверки в публичном CI?
Только статические: `biome`, `tsc` и `bun test`. Живые прогоны с вызовом агентов в публичный CI добавлять нельзя.
Что оценивает лаборатория?
Соблюдение рабочего процесса: срабатывание скиллов, рабочие деревья, субагентов, привычки проверки, качество ревью и экономию.
Это универсальный бенчмарк?
Нет, авторы прямо говорят, что это лаборатория проверки процесса для superpowers.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Прогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
Набор QA-агентов, скиллов и MCP-сервер: генерация тестов, поиск пробелов в покрытии, нестабильные тесты, безопасность и хаос-тестирование
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
CLI проверяет ИИ-агентов целиком: выводит сценарии из кода, гоняет на живом агенте и отделяет непроверенное от провала.
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| Superpowers Evals (эта карточка) | нет | 145 | |
| Evals Skills | нет | 1 770 | сценарные проверки процесса с настоящими CLI агентов и скрытыми критериями |
| SkillEvaluator | да | 859 | проверяет поведение агентов в разговоре и оценщики для одного скилла не пишет |
Коротко о README
В README лаборатория подана как проверка поведения для superpowers, отдельно объяснено оформление имени `quorum`. Разделы про модель безопасности (статические и живые проверки) и про опасности живых прогонов с перечнем разрешающих флагов для каждого агента.