agent-eval CLI
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
- 277 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Агенты запускаются в песочнице и выполняют команды и код задач
- Ключи провайдеров и токен Vercel хранятся в .env и передаются песочнице
- Каждый прогон тратит платные токены моделей
Установка
- Работает в
Ручная установка
npx @vercel/agent-eval init my-agent-evalsСоздает проект с примерами. Затем `npm install`, `.env` с ключами и `npx @vercel/agent-eval --dry` для проверки плана.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Агенты запускаются в песочнице и выполняют команды и код задач
- Ключи провайдеров и токен Vercel хранятся в .env и передаются песочнице
- Каждый прогон тратит платные токены моделей
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
agent-eval — CLI от Vercel для проверки, как кодинг-агенты справляются с задачами на вашем фреймворке или библиотеке. Задачу вы описываете в `PROMPT.md`, проверки пишете в `EVAL.ts` на Vitest, а `npx @vercel/agent-eval` запускает агента в песочнице и сверяет результат. Эксперимент задается файлом в `experiments/`: агент, модель, число прогонов и способ изоляции, Docker или Vercel Sandbox. Проверки видят и файлы, и ход работы агента: какие команды он выполнял, какие файлы читал, сколько сделал вызовов инструментов. Для открытых критериев качества есть агентный судья, который оценивает итоговое состояние или транскрипт. Результаты складываются в `summary.json`, а команда `playground` открывает веб-просмотр. Это удобно для A/B-сравнений: с документацией и без, с MCP-сервером и без, Sonnet и Opus.
Для кого. Авторам фреймворков и библиотек, которым нужно знать, пишет ли агент рабочий код с их API и помогает ли документация или MCP-сервер.
Подходит, если
- Вышла новая версия API, и надо понять, не сломалась ли совместимость с агентами
- Вы сравниваете, повышает ли подключение MCP-сервера долю успешных задач
- Стоит выяснить, справится ли дешевая модель там, где вы берете дорогую
- В CI должен идти набор типовых задач, а повторные запуски брать готовые результаты из кэша
- Нужно утверждение о поведении агента: не слишком ли много вызовов, ту ли команду scaffold он запустил
Не подходит, если
- Оценивать надо сами скиллы по качеству и пересечениям: для этого есть SkillEvaluator от NVIDIA
- Задача не проверяется тестами: каждой задаче нужен `EVAL.ts` с проверками
- Нужно сравнить модели в обычном чате, без кода: инструмент рассчитан на задачи по коду в песочнице
Пример запроса к агенту
Создай проект оценок командой `npx @vercel/agent-eval init my-agent-evals` и добавь задачу «компонент Button» с проверкой на VitestОграничения
Для запуска нужен ключ агента (`ANTHROPIC_API_KEY`, `OPENAI_API_KEY` и аналоги или `AI_GATEWAY_API_KEY`) и песочница: Docker либо токен `VERCEL_TOKEN`. Каждый прогон тратит токены, поэтому сначала запускайте с флагом `--dry`. Классификатор, который отсекает сбои инфраструктуры и лимитов, включается только при `AI_GATEWAY_API_KEY` или `VERCEL_OIDC_TOKEN`. OpenCode и fx работают лишь через Vercel AI Gateway.
Как отключить. Удалите пакет командой `npm uninstall @vercel/agent-eval` и папку проекта с экспериментами. Токены из `.env` отзовите у провайдера, если они нужны были только для оценки.
Частые вопросы
Как проверить настройку, не тратя деньги?
Флаг `--dry` показывает, что будет запущено, и не обращается к API. Флаг `--smoke` берет первую по алфавиту задачу и запускает ее по одному разу на модель.
Какие агенты поддерживаются?
Напрямую работают claude-code, codex, gemini и cursor. Через Vercel AI Gateway доступны также opencode, fx и pi-coding-agent, а своего агента можно описать самостоятельно.
Можно ли обойтись без аккаунта Vercel?
Да. Укажите ключ провайдера, например `ANTHROPIC_API_KEY`, и в конфиге эксперимента поставьте `sandbox: 'docker'`. Тогда `VERCEL_TOKEN` не нужен.
Что произойдет при повторном запуске?
Результаты с совпадающим отпечатком используются заново и не оплачиваются второй раз. Флаг `--force` игнорирует кэш и перезапускает все.
Как судья оценивает результат?
Матчер `toSatisfyCriterion` возвращает да или нет по текстовому критерию, а `toScoreAtLeast` сравнивает оценку от 0 до 1 с порогом. Объект оценки выбирают: `environment` для итогового состояния или `transcript` для хода работы.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыagentevals оценивает поведение ИИ-агента по его OpenTelemetry-трассам и отдает MCP-инструменты и навыки /eval и /inspect.
Локальный отладчик TypeScript-агентов: дерево шагов, проверка траектории в CI и архив доказательств без аккаунта.
Проверяет diff и переписку с агентом: ловит ошибки в коде и расхождения между вашей просьбой и тем, что агент сделал. CLI, скилл и GitHub Action
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
Набор QA-агентов, скиллов и MCP-сервер: генерация тестов, поиск пробелов в покрытии, нестабильные тесты, безопасность и хаос-тестирование
33 скилла инженерной дисциплины для Claude Code, Codex и Gemini CLI плюс vibe-cli для CI: ревью, тесты, покрытие, выкладка и откат
Коротко о README
Подробный README на английском: быстрый старт, флаги CLI, структура задач и примеры проверок, справка по конфигурации эксперимента, A/B-сравнения, формат результатов, переменные окружения и советы. Раздел с примерами показывает, как утверждать поведение агента и как подключить судью.