Caliper CLI
Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
- 228 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Запускает реальных агентов на задачах и тратит токены; код из `assert:` выполняется локально
- Спецификация и результаты сохраняются в проекте, анонимная телеметрия отключается по документации
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/caliperОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Запускает реальных агентов на задачах и тратит токены; код из `assert:` выполняется локально
- Спецификация и результаты сохраняются в проекте, анонимная телеметрия отключается по документации
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Caliper проверяет скилл агента на повторяемость. Рядом со скиллом лежит файл `.eval.yaml`: в нем перечислены скиллы для установки (ваш и соседние, которые могут перехватывать те же запросы) и список задач. У каждой задачи есть промпт, необязательный шаг `setup:` и хотя бы одна проверка. Проверка `expect:` оценивается моделью-судьей, `assert:` выполняется локально как код на Python в рабочей папке попытки с лимитом 30 секунд, `activates:` проверяет, какие скиллы агент выбрал. Скилл ставится туда, где агент его ищет, а не вставляется в промпт, поэтому проверяется настоящая установка. Команда `caliper run` повторяет каждую задачу k раз (по умолчанию 3) и считает долю успешных прогонов отдельно от доли срабатываний скилла. С флагом `--ablate` прогон повторяется без скилла, а `caliper compare` показывает разницу в успехе, токенах и времени. Спецификация не называет движок: ее запускают на Claude Code, Codex, Pi или Hermes, переключая модель при запуске. В репозитории есть и два скилла для самого агента: `grill-skill` выспрашивает у вас сценарии, пишет спецификацию и сам запускает ее с вашим скиллом и без него, `evaluate-skill` разбирает результаты. Результаты прогонов лежат в `.caliper/results/` в формате JSON.
Для кого. Авторам скиллов для Claude Code и Codex, которые хотят проверить, что скилл срабатывает вовремя и окупает свой вес в контексте, и командам, у которых скиллы ломаются после смены модели.
Подходит, если
- Скилл сработал при вашей проверке, а вы хотите знать, сколько раз из десяти он срабатывает на самом деле
- Два скилла претендуют на один запрос, и нужно проверить, какой из них агент выберет через проверку `activates:`
- Перед правкой текста скилла нужен замер с флагом `--ablate`: если результат тот же, скилл зря занимает контекст
- После обновления модели надо убедиться, что скилл по-прежнему проходит свои задачи
- Вы подозреваете, что скилл подвержен инъекции промпта, и хотите завести под это отдельную задачу в спецификации
Не подходит, если
- Нужно проверить сам код приложения: Caliper гоняет агента с его скиллами, а юнит-тестов не заменяет
- Бюджет на токены ограничен: каждая задача выполняется k раз, плюс прогон судьи и прогон без скилла
- Скилл еще в наброске: пока нет стабильных сценариев, спецификация быстро устареет
Пример запроса к агенту
Проверь скилл inbox-triage: напиши спецификацию, прогони ее с флагом --ablate и покажи, на сколько скилл поднимает успех и сколько токенов экономитОграничения
- Каждая задача запускает реального агента k раз, а с `--ablate` вдвое больше, поэтому прогон тратит заметное число токенов.
- Проверка `expect:` зависит от модели-судьи и может ошибиться, для точных фактов в README советуют писать `assert:`.
- Код из `assert:` выполняется на вашей машине с лимитом 30 секунд, чужие спецификации перед запуском прочитайте.
- Анонимная телеметрия использования описана в docs/telemetry.md вместе со способом отключения.
Как отключить. Выполните `pipx uninstall caliper-eval`, чтобы убрать CLI, и удалите папку `.caliper/` в проекте вместе с результатами. Скиллы `grill-skill` и `evaluate-skill` удаляются из папки скиллов вашего агента.
Частые вопросы
Чем Caliper отличается от promptfoo?
promptfoo сравнивает промпты и модели по наборам проверок. Caliper ставит скилл в агента как обычную установку и проверяет, выбрал ли агент этот скилл и выиграл ли он от него, в том числе против прогона без скилла.
Как проверить, что скилл вообще нужен?
Запустите `caliper run файл.eval.yaml --ablate имя-скилла` с k=3, затем обычный прогон и сравните через `caliper compare`. Если успех и токены совпадают, скилл не оправдывает место в контексте.
На каких агентах работает Caliper?
На Claude Code, Codex, Pi и Hermes. Движок выбирается флагом `--model` при запуске, по умолчанию скилл идет на Claude Code, а судья на том же бэкенде.
Что такое проверка activates?
Это утверждение о том, какие скиллы агент загрузил на запрос. Судья ей не нужен, поэтому она стоит заметно дешевле оцениваемой задачи.
Что делает grill-skill?
Выспрашивает у вас сценарии, пишет спецификацию `.eval.yaml` и запускает ее с вашим скиллом и без него. Вызов: `/grill-skill ./inbox-triage/SKILL.md` после установки скиллов командой `npx skills@latest add edonadei/caliper`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI для оценки и доработки скиллов агентов: декларативные тесты в YAML, запуск на разных движках и структурированные отчеты
Проверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
Скилл гоняет стороннюю обвязку кодинг-агента на 30 задачах бенчмарка и сравнивает пройденные задачи, стоимость и время.
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
«Юнит-тесты» для скиллов: проверяет, что агент находит и использует ваш скилл. Нужны Node 20 и Docker, ключ модели
Скилл ведет Claude Code и Codex через пишущий и чинящий цикл автотестов API на pytest с проверкой реальным запуском.
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| Caliper (эта карточка) | нет | 228 | |
| Promptfoo | нет | 26 908 | сравнивает промпты и модели, скиллы в агента не устанавливает |
| agent-eval | да | 277 | оценивает кодинг-агентов на вашем фреймворке, отдельные скиллы не разбирает |
Коротко о README
README открывается тезисом о том, что скилл мало проверить один раз, и сравнением успеха с навыком и без него на примере inbox-triage. Дальше идут быстрый старт для агента и для терминала, разбор формата `.eval.yaml` с тремя видами проверок и вывод `caliper run` на шести задачах. Раздел о примерах содержит шесть готовых сценариев типичных сбоев агента, а таблица документации ведет к справке по формату, бэкендам и результатам.