agentevals CLI
agentevals оценивает поведение ИИ-агента по его OpenTelemetry-трассам и отдает MCP-инструменты и навыки /eval и /inspect.
- 168 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Сервер читает файлы трасс и сессии агентов, где могут быть тексты запросов и ответов.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/agentevalsОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Сервер читает файлы трасс и сессии агентов, где могут быть тексты запросов и ответов.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
agentevals принимает трассы OpenTelemetry, которые агент уже пишет, и сравнивает действия с эталонным набором проверок: порядок вызовов инструментов, итоговый ответ, рубрики качества. Оценка идет по записанным данным, поэтому агента не перезапускают и токены не тратят. Есть CLI для CI, веб-интерфейс для просмотра сессий и MCP-сервер `agentevals mcp` с инструментами `list_metrics`, `evaluate_traces`, `list_sessions`, `summarize_session` и `evaluate_sessions`. Навыки `/eval` и `/inspect` в `.claude/skills/` объясняют результаты в Claude Code.
Для кого. Командам, которые строят агентов на Google ADK, LangChain или OpenAI Agents SDK и хотят ловить регрессии поведения до выкладки.
Подходит, если
- Агент перестал вызывать нужный инструмент, а причина неясна.
- В CI надо остановить выкладку, если траектория вызовов разошлась с эталоном.
- Две сессии агента сравнивают на регрессию относительно образцовой.
- Результаты оценки нужны в существующем конвейере телеметрии как события `gen_ai.evaluation.result`.
Не подходит, если
- Агент не пишет трассы OpenTelemetry и добавлять их не планируется.
- Нужна платформа с размещением и панелями: agentevals запускается локально, а UI встроен.
- Достаточно проверить один ответ модели без трассировки.
Пример запроса к агенту
Оцени трассу samples/helm.json по эталонному набору и объясни, почему траектория вызовов не прошла.Ограничения
Проект в активной разработке, и авторы предупреждают о возможных ломающих изменениях. Трассы должны следовать семантическим соглашениям OpenTelemetry GenAI; иначе turn, вызовы инструментов и токены не распознаются. Для оценок рубриками и судей-моделей нужен доступ к LLM. MCP-сервер входит в дополнение `[live]`, без него инструментов для ассистента нет. Для запуска из клона используется `uv`. Трассы могут содержать тексты запросов и ответов, поэтому закрытые сессии держите на своей машине.
Как отключить. Удалите запись `agentevals` из `.mcp.json` и навыки `/eval` и `/inspect`, а пакет снимите командой `pip uninstall agentevals-cli`.
Частые вопросы
Нужно ли перезапускать агента для оценки?
Нет. Оценка читает уже записанные трассы, поэтому стоит ноль токенов агента и повторяется на тех же данных. Живые сессии принимает `agentevals serve`.
Как запустить проверку в CI?
Команда `agentevals run trace.json --eval-set eval_set.json -m tool_trajectory_avg_score` вернет код выхода по порогу. Ключ `--output json` дает машиночитаемый результат.
Как подключить к Claude Code?
Файл `.mcp.json` в корне репозитория запускает `agentevals mcp`. Навыки `/eval` и `/inspect` лежат в `.claude/skills/` и строятся на его инструментах.
Можно ли написать свою метрику?
Да. Любая программа, которая читает JSON из stdin и пишет оценку в stdout, подключается как `type: code`. Заготовку делает `agentevals evaluator init`.
Работает ли оценка без сервера?
Да. Команда `agentevals run` работает офлайн по файлам. Сервер нужен для веб-интерфейса, живых OTLP-сессий и MCP-инструментов, которые читают сессии.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Локальный отладчик TypeScript-агентов: дерево шагов, проверка траектории в CI и архив доказательств без аккаунта.
Скилл учит Claude Code и Cursor подключать трассировку Tracely и превращать провальные запуски агента в тесты для CI
MCP-сервер, который проверяет, правда ли агент закончил: гоняет реальное приложение и возвращает вердикт прошло, не прошло, неясно с указанием файла и строки
CLI, MCP-сервер и типизированный Node.js API, чтобы агент проверял свои правки в живом мобильном приложении на iOS, Android и других платформах
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| agentevals (эта карточка) | нет | не нужна | 168 | |
| agent-eval | да | 277 | другой проект оценки агентов; agentevals считает оценки по трассам OpenTelemetry и отдает MCP-инструменты | |
| Langfuse Skills | да | 333 | навыки для платформы наблюдаемости Langfuse; agentevals локальный и принимает стандартный OTLP |
Коротко о README
agentevals работает как приемник OTLP: трассы и логи уходят в него, а результаты возвращаются событиями OpenTelemetry. Режим без сервера годится для CI.