Coder Eval CLI
Прогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
- 158 ★ репозитория
- Последний коммит
Широкий доступ
Почему такой уровень
- Фреймворк запускает настоящих агентов, которые выполняют код и команды в песочнице, а при неверной настройке изоляции это ваша машина
- Прогоны расходуют токены платных агентов и используют их учетные данные
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/coder-evalОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Фреймворк запускает настоящих агентов, которые выполняют код и команды в песочнице, а при неверной настройке изоляции это ваша машина
- Прогоны расходуют токены платных агентов и используют их учетные данные
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Coder Eval — фреймворк на Python для оценки кодовых агентов и их скиллов. Задача описывается в YAML: промпт, файлы, критерии. Команда `coder-eval run` запускает настоящего агента в песочнице, затем оценивает файлы и команды, которые он создал, по взвешенным критериям от 0 до 1. Поддерживаются Claude Code, OpenAI Codex, Google Antigravity (Gemini), OpenCode и Pi, а смена агента сводится к полю `agent.type`. Команда `coder-eval plan` проверяет задачу без расхода токенов. Команда `coder-eval report` показывает итог. Есть критерий `skill_triggered`, который отвечает, сработал ли скилл в агенте, слой A/B-экспериментов (модель против модели, промпт против промпта, Claude Code против Codex), датасеты, телеметрия по инструментам и режим диалога. Фреймворк работает в Docker-изоляции и подключается к CI через действие GitHub Marketplace `coder_eval` и упаковку плагина Claude Code. Автор называет его «Playwright для кодовых агентов» и подчеркивает, что фиксированного рейтинга у него нет: вы приносите задачи и правила оценки.
Для кого. Авторам скиллов и CLI для агентов, командам, которые выбирают между агентами на своих задачах, и тем, кто хочет остановить слияние в CI при падении качества агента.
Подходит, если
- Вы выпускаете скилл и хотите знать, срабатывает ли он в Claude Code, Codex и OpenCode
- Нужно сравнить две модели или два промпта на ваших задачах с повторами и отчетом
- Команде нужен барьер в CI: слияние блокируется, если агент проваливает набор задач
- Бенчмарк должен брать ваши данные и ваши критерии, фиксированный набор вроде SWE-bench не подходит
Не подходит, если
- Нужен общий рейтинг моделей: у фреймворка нет единого списка лидеров, у него только ваши задачи
- Достаточно разового ручного теста одной подсказки без песочницы и отчетов
- Нужен Python ниже 3.13: пакет требует Python 3.13 или новее
Пример запроса к агенту
Проверь, срабатывает ли мой скилл в Claude Code и Codex: напиши задачу coder-eval с критерием skill_triggered и запусти оба агентаОграничения
Каждый прогон запускает настоящего агента, а значит тратит токены и время и требует собственных учетных данных агента. Claude Code ставится отдельным CLI, OpenCode тоже, для Codex и Antigravity есть дополнительные группы зависимостей при установке. Критерии оценки пишете вы, и слабые критерии дадут слабую картину.
Песочница на Docker требует Docker и рабочих прав на запуск контейнеров. Результаты прогонов зависят от модели и случайности, поэтому для выводов нужны повторы. Фреймворк оценивает файлы и команды, созданные агентом, качество диалога в целом оно не оценивает, хотя режим диалога существует.
Проект активно развивается: изменения в версиях описаны в `CHANGELOG.md`.
Как отключить. Удалите пакет командой `uv tool uninstall coder-eval` или `pip uninstall coder-eval`. Каталог `runs/` с результатами прогонов и ваши YAML-задачи останутся в проекте, их можно удалить вручную.
Частые вопросы
Как поставить Coder Eval?
Выполните `uv tool install coder-eval` или `pip install coder-eval`. Для Codex и Antigravity добавьте группы зависимостей, например `uv tool install "coder-eval[codex,antigravity]"`.
Какие агенты поддерживаются?
Claude Code, OpenAI Codex, Google Antigravity (Gemini), OpenCode и Pi. Тип агента меняется одним полем `agent.type`, а задачи и критерии остаются прежними.
Можно ли проверить задачу без расхода токенов?
Да, `coder-eval plan <файл>` проверяет описание задачи без запуска агента.
Чем это отличается от SWE-bench?
SWE-bench и SkillsBench ранжируют модели на общем наборе задач. Coder Eval требует ваших задач и ваших критериев и ничего не ранжирует заранее.
Как подключить к CI?
Через действие GitHub Marketplace `coder_eval` или упаковку плагина Claude Code. Описание лежит в `docs/CI_GATE.md` и `docs/PLUGIN.md`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
Лаборатория тестов поведения Quorum для проекта superpowers: запускает настоящие CLI агентов и оценивает по скрытым критериям
Форк Harbor для оценки кодовых агентов в песочницах: Claude Code, Codex и другие запускаются в задачах без интернета.
Python-CLI замеряет, что скилл меняет в ответах: гоняет случай с ним и без него, ищет утечку ответа в промпте и сравнивает отчеты
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| Coder Eval (эта карточка) | нет | 158 | ||
| agent-eval | да | 280 | тоже гоняет агентов по задачам, поддержки нескольких агентов и слоя A/B нет | |
| EvalView | нет | не нужна | 142 | больше заточен под регрессии поведения агентов в тестах |
Коротко о README
Фреймворк UiPath запускает разных кодовых агентов по одному описанию задачи, оценивает созданные файлы по взвешенным критериям и умеет ставить проверку в CI. Автор перечисляет сценарии: бенчмарк на своих данных, проверка срабатывания скилла, A/B-сравнение агентов и моделей, барьер качества в конвейере.