EvalView MCP
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
- 142 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Проверка запускает вашего агента, а вызовы платных API и действия агента выполняются на самом деле
- Судья на основе LLM отправляет тексты ответов внешнему провайдеру
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/evalviewОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Проверка запускает вашего агента, а вызовы платных API и действия агента выполняются на самом деле
- Судья на основе LLM отправляет тексты ответов внешнему провайдеру
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
EvalView фиксирует, что агент делает сейчас: какие инструменты вызывает, в каком порядке, с какими параметрами и что возвращает. Команда `evalview snapshot` записывает этот образ как эталон, а `evalview check` после любой правки сравнивает с ним всю траекторию, а не только итоговую строку. Результат: `PASSED`, `TOOLS_CHANGED` или `REGRESSION` при падении качества. Детерминированное сравнение инструментов и последовательности работает офлайн и без ключей, а судью на основе LLM добавляют для оценки качества ответа. Агенты подключаются из LangGraph, CrewAI, OpenAI, Claude, Mistral, Ollama, MCP или по любому HTTP API. Для CI есть GitHub Action с комментарием к pull request. MCP-сервер запускается командой `evalview mcp serve`, и среди его инструментов `create_test`, `run_check`, `run_snapshot`, `list_tests`, `validate_skill`, `run_skill_test`, `compare_agents` и `replay`.
Для кого. Разработчикам агентов на LangGraph, CrewAI и собственных стеках, которые хотят ловить молчаливые регрессии после смены модели или правки промпта.
Подходит, если
- Модель или провайдер обновились, и нужно убедиться, что агент вызывает те же инструменты в том же порядке
- Правка одной строки промпта могла сломать уточняющий вопрос, и тесты на строки этого не видят
- Каждый pull request должен блокироваться при регрессии и получать комментарий с различиями
- Навыки агента проверяются командами `validate_skill` и `run_skill_test` из MCP
Не подходит, если
- Нужны точные утверждения о содержимом ответов: инструмент ловит дрейф поведения, а не проверяет правильность
- Агента еще нет: снимать нечего, сначала нужен работающий агент
- Нужны бенчмарки моделей на общих датасетах: EvalView проверяет вашего агента, а не модели вообще
Пример запроса к агенту
Запиши текущее поведение агента как эталон, внеси правку в промпт и покажи, какие тесты изменили вызовы инструментовMCP
- Транспорт
- stdio
- Авторизация
- не нужна
Переменные окружения
OPENAI_API_KEYсекрет- Ключ для судьи на основе LLM, без него работает детерминированное сравнение.
ANTHROPIC_API_KEYсекрет- Ключ Anthropic для судьи, необязателен.
Ограничения
Запуск агента по-прежнему может стоить денег в бэкенде: `--no-judge` отключает судью, а не обращения к вашему агенту. Сравнение на основе эмбеддингов подключается отдельно. Адаптер OpenAI Assistants устарел, так как API закрылся 26 августа 2026 года, а миграция на Responses API в опубликованной версии 0.8.1 еще не вышла и есть только в исходниках. Проект молодой и создан в основном одним разработчиком. В отчете о внутренних запусках есть предупреждения о доверии, которые авторы считают поводом для проверки, а не доказательством. Установка `pip install evalview`, лицензия Apache 2.0.
Как отключить. Удалите запись `evalview` из `.mcp.json` или выполните `claude mcp remove evalview`, а пакет снимите командой `pip uninstall evalview`.
Частые вопросы
Как работает снимок поведения?
`evalview snapshot` записывает траекторию агента как эталон, а `evalview check` сравнивает с ней текущую: инструменты, параметры, порядок и вывод. Результат `PASSED`, `TOOLS_CHANGED` или `REGRESSION`.
Нужен ли ключ API?
Нет, детерминированное сравнение инструментов и последовательности работает офлайн. Судья на основе LLM для оценки качества ответа требует ключ, например `OPENAI_API_KEY`.
Как подключить MCP-сервер?
Командой `claude mcp add evalview -- evalview mcp serve` после `pip install evalview`. Транспорт stdio.
Как подключить к CI?
Через GitHub Action `hidai25/eval-view@v0.8.1`: он добавляет к pull request комментарий с различиями, дельтой стоимости и задержки и барьер по результату.
Какие агенты поддерживаются?
LangGraph, CrewAI, OpenAI, Claude, Mistral, Ollama, MCP и любой HTTP API, например `evalview check --agent http://localhost:8000/invoke`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыagentevals оценивает поведение ИИ-агента по его OpenTelemetry-трассам и отдает MCP-инструменты и навыки /eval и /inspect.
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Девять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
Прогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
Набор скиллов для оценки качества ИИ-продукта: рубрика, датасет, коды ошибок, код-проверки и LLM-судьи с калибровкой.
Локальный отладчик TypeScript-агентов: дерево шагов, проверка траектории в CI и архив доказательств без аккаунта.
Коротко о README
Заголовок и предыстория: агент выглядит исправным, но после правки молча меняет поведение. Дальше быстрый старт со `snapshot` и `check`, сравнение со снимками Jest, замечания о миграции OpenAI, настройка CI, использование как библиотеки и список дополнительных возможностей.