ClawBench CLI
Бенчмарк проверяет браузерных агентов на 281 повседневной задаче на живых сайтах и записывает прогон в пять слоев.
- 1 278 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Агент ходит по живым сайтам и заполняет формы, поэтому перехват итогового запроса важен: не отключайте его.
- В контейнер передаются ключи моделей, храните их отдельно от рабочих.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/clawbenchОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Агент ходит по живым сайтам и заполняет формы, поэтому перехват итогового запроса важен: не отключайте его.
- В контейнер передаются ключи моделей, храните их отдельно от рабочих.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
ClawBench — открытый бенчмарк для браузерных ИИ-агентов, опубликованный в Findings of EMNLP 2026. Задачи взяты из обычной жизни: забронировать поездку, заказать еду, откликнуться на вакансию, разобрать почту. В версии V1 152 задачи на 143 сайтах, в V2 129 задач на 63 сайтах, всего 281 задача на 163 живых сайтах и 15 категорий. Для каждого запуска поднимается изолированный контейнер Docker или Podman с Chromium и агентом. Перехватчик фиксирует действия по пяти слоям: запись экрана, запросы, действия, сообщения агента и сведения о перехвате. Оценка двухступенчатая: сначала детерминированно проверяется, что итоговый HTTP-запрос совпал с адресом и методом задачи, затем ответ оценивает LLM-судья. На таблице лидеров публикуются результаты разных моделей и оболочек. Запуск идет через пакет `clawbench-eval` из PyPI: команда `clawbench` открывает интерфейс в терминале, где добавляют модель и выбирают задачу. Для разработчиков агентов есть воспроизведение опубликованных результатов, трассы запусков в наборе данных на Hugging Face и руководство для добавления своих задач.
Для кого. Разработчикам и исследователям браузерных агентов, которым нужно сравнить модель или оболочку на реальных задачах, а не на синтетических страницах.
Подходит, если
- Выбираете модель для браузерного агента и хотите сравнить ее на повседневных задачах с публичной таблицей лидеров.
- Нужно воспроизвести опубликованный результат по трассам запуска.
- Разрабатываете свою оболочку агента и ищете, на каких задачах она ломается.
- Хотите добавить новый тест: большинство вкладов это один JSON-файл.
- Нужна запись экрана и запросов для разбора ошибок агента.
Не подходит, если
- Нужен инструмент для работы своего агента, а не для его оценки: ClawBench только измеряет.
- Нет Docker или Podman: контейнер обязателен.
- Требуются стабильные тесты на постоянных страницах: сайты живые и меняются.
Пример запроса к агенту
Запусти ClawBench с моей моделью на одной задаче из V2 без оценки судьей и покажи запись прогона.Ограничения
Нужны Python 3.11, uv и работающий Docker или Podman. Задачи идут на живых сайтах, поэтому результаты зависят от изменений сайтов и описаны в FAQ как ограничения. Стандартный судья требует ключ модели, прогон без оценки возможен. Авторы отмечают, что в историческом тесте V1 самый сильный агент выполнил около трети задач. Для некоторых задач нужны учетные записи на сайтах, порядок описан в FAQ проекта. Перехват останавливает итоговый запрос, но следите за расходом токенов модели.
Как отключить. Выполните `uv tool uninstall clawbench-eval`, остановите и удалите контейнеры Docker или Podman, созданные запусками, и папку с результатами.
Частые вопросы
Что измеряет ClawBench?
Способность браузерного агента довести до конца повседневную задачу на живом сайте. Первая ступень проверяет итоговый HTTP-запрос, вторая отдает ответ LLM-судье.
Сколько в нем задач?
281 задача на 163 живых сайтах: 152 в V1 и 129 в V2, 15 категорий жизненных сценариев.
Что записывается при запуске?
Пять слоев: видео, запросы, действия, сообщения агента и сведения о перехвате.
Можно ли добавить свою задачу?
Да, большинство вкладов это один JSON-файл, см. `CONTRIBUTING.md`.
Где смотреть результаты?
На таблице лидеров claw-bench.com и в Hugging Face, там же трассы для воспроизведения.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыOpenEval гоняет кодовых агентов по вашим задачам с правилами оценки и записывает стоимость, токены и надежность инструментов
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Прогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
Один бинарник для автоматизации браузера агентом: CLI со скиллами browser и check, MCP-сервер и клиенты для JS, Python и Java
CLI проверяет веб-страницу в Chromium: находит все элементы управления, нажимает их и сообщает, что сломано. Без тестов и без LLM.
MCP-сервер, который запускает несколько браузерных агентов и проверяет сайт на битые ссылки, ошибки интерфейса и доступность
Коротко о README
Авторы описывают ClawBench как бенчмарк браузерных агентов на повседневных задачах, с пятью слоями записи и двухступенчатой оценкой. Лицензия Apache-2.0, есть статья, таблица лидеров и документация.