FrontierHarness Eval — скилл
Скилл гоняет стороннюю обвязку кодинг-агента на 30 задачах бенчмарка и сравнивает пройденные задачи, стоимость и время.
- 332 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Прогон создает облачные среды Runta и тратит деньги на токены модели, ключ провайдера передается через секреты Runta.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/frontierharness-evalОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Прогон создает облачные среды Runta и тратит деньги на токены модели, ключ провайдера передается через секреты Runta.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
FrontierHarness Eval сравнивает обвязки кодинг-агентов (harness) на одной модели Kimi K3 и 30 задачах из Terminal-Bench и DeepSWE. В репозитории лежат определения задач, агрегированные результаты девяти обвязок в 12 конфигурациях и скилл `frontierharness-eval`. Скилл ведет агента через весь прогон: создает чистую среду Runta, замораживает контрольный снимок, запускает каждую задачу из одинакового восстановления, считает стоимость токенов и собирает диаграмму и отчет. Результат можно поставить рядом с опубликованными базовыми прогонами.
Для кого. Авторам и командам, которые разрабатывают свой кодинг-агент или обвязку и хотят измерить ее на публичном наборе задач.
Подходит, если
- Новая обвязка готова, и нужно сравнить ее по пройденным задачам и цене с Codex, Claude Code и Pi.
- Перед релизом агента требуется воспроизводимый отчет с траекториями как доказательствами.
- Стоимость прогона на задачу растет, и нужно понять, в чем разница: в кэше, скорости или проценте успеха.
- Эксперимент проверяет, как смена политики сетевого доступа влияет на результат.
Не подходит, если
- Нужна единичная проверка кода в проекте, а не бенчмарк обвязки.
- Нет учетной записи Runta и ключа провайдера моделей для оплаты прогонов.
- Результат собираются публиковать как лидерборд без контрольного прогона в тех же условиях.
Пример запроса к агенту
Используй скилл frontierharness-eval и оцени https://github.com/acme/my-harness, начав с одной задачи Terminal-Bench и одной DeepSWE.Ограничения
Для прогона нужны CLI `runta` с входом в аккаунт, `jq`, Node.js 18 или новее и Python 3.9 или новее. Установка скилла прогон не стартует, задачи и базовые результаты берутся из клона репозитория. Прогоны тратят деньги за токены модели и вычисления. Новые прогоны получают `methodology_comparable: false` и не попадают в рейтинг без контрольного запуска. У репозитория нет объявленной лицензии. Последний коммит в сентябре 2026.
Как отключить. Удалите папку `frontierharness-eval` из каталога скиллов агента и снесите созданные среды командой `runta rm`. Ключи провайдера, сохраненные как секреты Runta, удалите отдельно.
Частые вопросы
Что измеряет бенчмарк?
Процент пройденных задач, медианную стоимость прохода, долю кэша и время при одной модели и одинаковых задачах. Меняется только обвязка.
Какую модель используют?
Базовые прогоны сделаны на Kimi K3. Ключ провайдера хранится как секрет Runta.
Запускает ли установка скилла прогон?
Нет. Установка добавляет скилл и скрипты. Прогон начинается, когда агента просят оценить обвязку.
Можно ли обойтись без агента?
Да. Скрипты скилла запускаются вручную: подготовка контрольного снимка, `run-trials.sh`, расчет стоимости и отчет.
Почему мой результат не попал в рейтинг?
Базовые прогоны не фиксировали список разрешенных хостов, поэтому новый прогон получает `methodology_comparable: false`. Нужен контрольный запуск в тех же условиях.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыCaliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит
Набор скиллов и хуков, с которым Gemini в Antigravity и OpenCode закрывает задачу только после пройденной проверки
CLI для оценки и доработки скиллов агентов: декларативные тесты в YAML, запуск на разных движках и структурированные отчеты
SkillEvaluator
skillevaluator
Фреймворк NVIDIA для оценки скиллов агентов: проверки качества, поиск пересечений, синтетические проверки и живая оценка агентом. Экспериментальный
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Проверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
Коротко о README
Репозиторий намеренно содержит результаты, определения задач и рабочий процесс прогона. Внутренняя инфраструктура и ключи в него не входят.