Evals Skills — плагин
Девять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
- 1 770 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Скилл запускает локальный сервер Python для приложения разметки и читает файлы с трассами, где могут быть пользовательские данные.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add plugins/evals-skillsОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Скилл запускает локальный сервер Python для приложения разметки и читает файлы с трассами, где могут быть пользовательские данные.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Набор из девяти скиллов ведет агента по построению оценок для ИИ-продукта. Речь о проверках под вашу задачу, бенчмарки базовых моделей остаются за рамками. Входом служит `evals-start`: он смотрит на вашу ситуацию и направляет к нужному скиллу. `eval-audit` проверяет уже готовый конвейер оценок и ставит найденным проблемам приоритет, а `error-discovery` разбирает трассы, пока вы еще не знаете, где модель ошибается. `error-discovery` берет файл JSONL, CSV или JSON с ответами или трассами, определяет тип данных и собирает одностраничное приложение для просмотра на стандартном сервере Python без зависимостей. Затем он выбирает разнообразную выборку: представителей кластеров и случайные примеры. Вы читаете и оставляете свободные заметки, агент раскладывает их по типам сбоев, следит за покрытием и подбирает новые примеры. Остальные скиллы создают синтетические тестовые входы, пишут проверки кодом и промпты для LLM-судьи, калибруют судью по человеческим меткам и оценивают RAG.
Для кого. Командам, которые запускают LLM-продукт или агента и хотят строить оценки по реальным трассам, а не по общим бенчмаркам.
Подходит, если
- Накоплены трассы агента, но их никто не разбирал, и неясно, где он ошибается.
- Конвейер оценок уже есть, и нужен аудит с приоритетами найденных проблем.
- Нужно построить интерфейс для ручной разметки трасс без написания приложения.
- LLM-судью надо сверить с человеческими метками по TPR и TNR.
- Для RAG требуется отдельно оценить качество поиска и генерации.
Не подходит, если
- Нужен публичный бенчмарк базовых моделей: скиллы рассчитаны на оценки под конкретный продукт.
- Трасс или выходов модели пока нет: сначала соберите данные, иначе разбирать нечего.
- Нужны мониторинг в проде, регрессионные наборы и учет затрат: автор относит их к курсу.
Пример запроса к агенту
Помоги разобрать ошибки в traces.jsonl: построй приложение для разметки, выбери разнообразные примеры и сгруппируй мои заметки по типам сбоев.Ограничения
Скиллы покрывают общую работу над оценками и не знают вашей предметной области, поэтому авторы советуют дописать свои. Мониторинг в проде, регрессионные наборы и затраты в набор не входят и относятся к курсу авторов. Приложение для разметки собирается на стандартном сервере Python, трассы читаются из локального файла. Оценки пишут только после анализа ошибок на ваших данных, иначе метрики измеряют не то. Последний коммит сделан 24 октября 2026 года, версия плагина 0.3.1.
Как отключить. Удалите скиллы командой `npx skills` или каталоги из папки скиллов агента и откройте новую сессию. Для плагина в Claude Code отключите его в окне `/plugin`.
Частые вопросы
Как установить скиллы?
`npx skills add https://github.com/ai-evals-course/evals-skills`. Один скилл ставят флагом `--skill error-discovery`, обновления проверяют командами `npx skills check` и `npx skills update`.
С какого скилла начать?
С `evals-start`: он определяет ситуацию. При готовом конвейере он отправит к `eval-audit`, при непроанализированных трассах к `error-discovery`.
Что делает error-discovery?
Читает файл JSONL, CSV или JSON, строит одностраничное приложение для просмотра, выбирает разнообразную выборку и раскладывает ваши заметки по типам сбоев, отслеживая покрытие.
Нужны ли зависимости для приложения разметки?
Нет. Оно собирается в один HTML-файл и раздается стандартным сервером Python.
Как калибровать LLM-судью?
Скилл `validate-evaluator` делит данные на выборки, сравнивает судью с человеческими метками по TPR и TNR и вводит поправку на смещение.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныНабор скиллов для оценки качества ИИ-продукта: рубрика, датасет, коды ошибок, код-проверки и LLM-судьи с калибровкой.
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
Навык run-assert-eval превращает описание слабых мест вашего агента в тесты, прогон и отчет с примерами нарушений по трассам.
Скиллы TruLens ведут агента через трассировку LLM-приложения, настройку оценок, разбор низких баллов и блокирующие ограничители
OpenEval гоняет кодовых агентов по вашим задачам с правилами оценки и записывает стоимость, токены и надежность инструментов
Проверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
Коротко о README
Авторы собрали скиллы на опыте работы с более чем пятьюдесятью компаниями и преподавания в курсе AI Evals. Цель набора: уберечь от типичных ошибок, например от написания оценок до анализа трасс.