Reforge AI Evals — плагин
Набор скиллов для оценки качества ИИ-продукта: рубрика, датасет, коды ошибок, код-проверки и LLM-судьи с калибровкой.
- 98 ★ репозитория
- Последний коммит
- MIT
Минимальный доступ
Почему такой уровень
- Скиллы работают с обычными файлами проекта: Markdown, CSV, JSON и HTML.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add plugins/reforge-ai-evalsОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемМинимальный доступИнструмент ничего не запускает и не ходит в сеть.
- Скиллы работают с обычными файлами проекта: Markdown, CSV, JSON и HTML.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Набор из девяти скиллов ведет агента по циклу работы с эвалами. Скилл `eval-guide` определяет, на каком вы этапе, и подгружает нужный. Дальше агент пишет рубрику в PRD (`eval-rubric`), строит разнообразный датасет по сетке пользовательских вводов (uig), группирует ваши заметки в именованные коды сбоев (`trace-codes`), пишет код-проверки и промпты LLM-судей, измеряет судью по вашей разметке через TPR и TNR (llm-align) и превращает обращения в поддержку в строки регрессионного датасета (`ticket-to-eval`). Чтение трасс и разметка выборки остаются за человеком: скиллы готовят все вокруг этих двух шагов.
Для кого. Продакт-менеджерам и инженерам ИИ-функций, которые хотят измерять качество ответов модели по данным и разметке.
Подходит, если
- В PRD ИИ-функции нет рубрики, по которой решают, что считать хорошим ответом.
- Надо собрать тестовые входы так, чтобы закрыть редкие и пограничные случаи.
- Судья на LLM спорит с разметкой людей, и нужны метрики согласия.
- Плохие трассы из прода хочется превратить в регрессионные примеры.
Не подходит, если
- Нужен запуск эвалов на датасете: скилл `eval-run` в списке «скоро».
- Оценивать нечего: у продукта нет трасс и пользовательских сценариев.
- Нужна платформа с дашбордами и мониторингом продакшена.
Пример запроса к агенту
Напиши первую версию рубрики эвалов из моего PRD для ассистента по подбору товаров.Ограничения
Скиллы дают структуру и черновики, но ключевые шаги остаются за вами: читать трассы своими словами и размечать 20–40 ответов как прошел или не прошел, иначе судью нельзя откалибровать. Запуск агента и оценщиков на датасете, разбор многошаговых трасс и мониторинг продакшена пока объявлены как следующие скиллы. Скилл `trace-review-app` помечен как черновик. Материалы основаны на курсе Reforge AI Evals, и контентная лицензия лежит отдельным файлом LICENSE-CONTENT.
Как отключить. Удалите плагин командой `claude plugin uninstall ai-evals@calibre-labs` или папки скиллов из каталога агента. Созданные рубрики и датасеты остаются в проекте как обычные файлы.
Частые вопросы
С какого скилла начинать?
С `eval-guide`. Он смотрит, что уже есть в проекте, и подгружает нужный следующий скилл.
Что остается за человеком?
Чтение трасс и разметка выборки: по 20–40 ответов вручную, примерно половина прошла, половина нет. По этой разметке считаются TPR и TNR судьи.
Нужен ли аккаунт в платформе эвалов?
Нет. Скиллы читают и пишут обычные файлы: Markdown, CSV, JSON и HTML.
Когда код-проверка лучше LLM-судьи?
Для структурных и детерминированных свойств: число пунктов, обязательные разделы, ссылки, формат. Судью берут для смысла: корректности, тона, обработки пограничных случаев.
Как поставить в Claude Code?
Командами `claude plugin marketplace add Calibre-Labs/reforge-ai-evals` и `claude plugin install ai-evals@calibre-labs`. Для Codex есть свой манифест плагина.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныДевять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
Python SDK и CLI оценивают методы самоулучшения агентов на готовых бенчмарках: кандидат идет в evaluate(), оценки возвращаются.
Скиллы TruLens ведут агента через трассировку LLM-приложения, настройку оценок, разбор низких баллов и блокирующие ограничители
Набор Microsoft для проверки RAG-систем: генерирует вопросы к данным и оценивает ответы моделью-судьей, есть три скилла
Прогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
Коротко о README
Репозиторий упаковывает курс Reforge AI Evals в скиллы с шаблонами: готовые PRD, рубрики v1 и v2, размеченные трассы для трех учебных агентов и страницы результатов с примерами оценщиков.