OpenEval CLI
OpenEval гоняет кодовых агентов по вашим задачам с правилами оценки и записывает стоимость, токены и надежность инструментов
- 79 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Запускает агентов в контейнерах Docker, они выполняют код и команды из заданий
- Использует ваши подключенные модели и тратит токены на кандидатов и судью
Установка
- Работает в
Ручная установка
bun add --exact @hona/openevalНужны Bun 1.4.2+, Docker и подключенные модели OpenCode; затем `bunx --bun @hona/openeval image`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Запускает агентов в контейнерах Docker, они выполняют код и команды из заданий
- Использует ваши подключенные модели и тратит токены на кандидатов и судью
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
OpenEval — типизированный SDK, CLI и просмотрщик доказательств для проверки агентов на OpenCode. Бенчмарк состоит из проверок: к каждой относятся `prompt.md` с задачей для кандидата, `judge.md` с правилами оценки по названным критериям для судьи на LLM, `judge.ts` с обычной функцией, возвращающей баллы и JSON, и необязательный `eval.ts` для подготовки рабочей папки и раннего завершения. Функциональный судья получает ответ, события, историю сообщений, вызовы инструментов и снимки рабочей папки. Булевы значения превращаются в 0 или 1, числа берутся от 0 до 1, `null` означает нерешенный критерий. Бенчмарки только из кода обходятся без судейской модели. Стоимость, токены, надежность инструментов и время бегун записывает сам. В `benchmark.ts` задаются модели, судья и число повторов. Команды `bunx --bun @hona/openeval image`, `plan`, `run` и `view` собирают образ, показывают план, запускают и открывают просмотрщик на `http://127.0.0.1:4173`. Повторный `run` продолжает тот же результат и сохраняет уже полученные баллы. В `.opencode/skills/eval-writing` лежит скилл для составления проверок.
Для кого. Разработчикам агентов и инструментов на OpenCode, которым нужно сравнивать модели и подсказки на своих задачах с воспроизводимой оценкой.
Подходит, если
- Три модели надо сравнить на задачах вашего проекта и увидеть стоимость каждой
- Оценка агента строится по рубрике критериев, например «спрашивает диалект SQL»
- Проверка однозначна, и хватает функции в `judge.ts` без судейской модели
- Прерванный прогон должен продолжиться без потери уже полученных баллов
Не подходит, если
- Агенты работают не на OpenCode: бегун и модели привязаны к нему
- На машине нет Docker или Bun: для запуска нужны оба
- Нужен быстрый разовый тест одного ответа: хватит ручной проверки
Пример запроса к агенту
Создай проверку по рубрике «спрашивает диалект SQL перед запросом» и запусти ее на двух моделях по три повтораОграничения
- Нужны Bun 1.4.2 или новее, Docker и подключенные модели в OpenCode.
- Боевые пакеты OpenCode закреплены на версии 2.0.22, после обновления надо выполнить команду `image`.
- Судейская модель обязательна, если в проверке есть `judge.md`.
- Просмотрщик открывается локально на `127.0.0.1:4173`, прерванный бегун ждет, пока его сигнал не устареет на две минуты.
- Оценка судейской моделью стоит токенов, число повторов и моделей задаете вы в `benchmark.ts`.
Как отключить. Удалите пакет командой `bun remove @hona/openeval` и файлы `evals/` и `benchmark.ts` из проекта; образ Docker снимите командой `docker rmi`.
Частые вопросы
Какие файлы нужны для одной проверки?
`prompt.md` с задачей, `judge.md` с рубрикой или `judge.ts` с функцией, при необходимости `eval.ts` для подготовки рабочей папки.
Нужна ли судейская модель?
Только если в проверке есть `judge.md`. Бенчмарк из одних функций обходится без нее.
Что записывает бегун?
Стоимость, токены, надежность инструментов, время, источник и ссылки на записи.
Как посмотреть результаты?
Командой `bunx --bun @hona/openeval view`: просмотрщик откроется на `http://127.0.0.1:4173` с радарной диаграммой, тепловой картой и сводной таблицей.
Что делать с прерванным прогоном?
Запустите `run` снова: он подождет, пока сигнал прежнего бегуна устареет на две минуты, сохранит записи и соберет недостающее.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыПрогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Девять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
Бенчмарк проверяет браузерных агентов на 281 повседневной задаче на живых сайтах и записывает прогон в пять слоев.
Python SDK и CLI оценивают методы самоулучшения агентов на готовых бенчмарках: кандидат идет в evaluate(), оценки возвращаются.
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| OpenEval (эта карточка) | нет | 79 | |
| agent-eval | да | 280 | CLI Vercel считает долю успешных задач для Claude Code и Codex, а OpenEval строит оценку по рубрикам на OpenCode |
| Evals Skills | нет | 1 770 | скиллы курса по оценкам, готового бегуна и просмотрщика в них нет |
Коротко о README
README показывает связку prompt и judge, два вида судей, словарь терминов, настройку моделей в `benchmark.ts` и команды `image`, `plan`, `run`, `view`. Дальше описаны удаление модели из агрегата и повторные оценки.