CodSpeed CLI

CLI для замеров производительности и поиска регрессий; в репозитории лежит плагин с двумя скиллами и MCP для Claude Code и Cursor

  • 385 ★ репозитория
  • Последний коммит
  • Apache-2.0
CLIОфициальный

Расширенный доступ

Почему такой уровень

  • Установка идет скриптом через `curl | bash`, который ставит бинарник в систему
  • CLI запускает ваши программы и бенчмарки, а результаты и метаданные отправляет в сервис CodSpeed
  • Скилл `codspeed-optimize` автономно правит код в цикле, пока вы его не остановите
Все причины и проверки

codspeedhq/codspeed

Установка

Работает в

Ручная установка

curl -fsSL https://codspeed.io/install.sh | bash

Официально поддерживаются Ubuntu 22.04, 24.04, 26.04 и Debian 12. После установки выполните `codspeed auth login`.

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Установка идет скриптом через `curl | bash`, который ставит бинарник в систему
  • CLI запускает ваши программы и бенчмарки, а результаты и метаданные отправляет в сервис CodSpeed
  • Скилл `codspeed-optimize` автономно правит код в цикле, пока вы его не остановите

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

CodSpeed CLI запускает любую программу или набор бенчмарков и снимает показатели производительности. Команда `codspeed exec` измеряет произвольный исполняемый файл без правок кода, а `codspeed run` подключается к существующим бенчмаркам: `pytest` с флагом `--codspeed`, `cargo codspeed run` для criterion, `vitest bench`. Бенчмарки можно описать в файле `codspeed.yml` и запустить одной командой. Инструменты измерения три: симуляция процессора, которая по заявлению авторов дает разброс менее 1% независимо от нагрузки, память с отслеживанием выделений в куче на базе eBPF и измерение реального времени. В CI результаты сравниваются между коммитами, CodSpeed показывает дифференциальные флеймграфы и оставляет комментарии к pull request. Для агентов в репозитории лежат манифесты плагина Claude Code и Cursor. Плагин содержит скиллы `codspeed-setup-harness`, который подбирает и настраивает бенчмарки под язык проекта, и `codspeed-optimize`, который в цикле измеряет, анализирует флеймграф, правит код и сравнивает. Через MCP-адрес `https://mcp.codspeed.io/mcp` агент читает результаты.

Для кого. Разработчикам на Python, Rust, Node.js, Go и C/C++, которые ловят замедления в pull request и хотят, чтобы агент настраивал бенчмарки и ускорял код по замерам.

Подходит, если

  • Нужно измерить время скрипта или бинарника без правок и без подключения фреймворка бенчмарков
  • В CI надо блокировать pull request, который замедляет код больше порога
  • Проекту не хватает бенчмарков, и агент должен их создать по языку и сборке
  • Горячий путь тормозит, и агент должен итерациями ускорить его по флеймграфам

Не подходит, если

  • Система не Ubuntu 22.04, 24.04, 26.04 или Debian 12: официальной поддержки нет, другие дистрибутивы могут не заработать
  • Нужна офлайн-проверка без аккаунта: CLI просит войти командой `codspeed auth login` для связи результатов с аккаунтом
  • Замер времени на обычной виртуальной машине без выделенных раннеров даст нестабильные данные, поэтому для него возьмите режим симуляции
  • Нужно оптимизировать вручную без внешнего сервиса: скиллы плагина требуют, чтобы все замеры шли через CodSpeed

Пример запроса к агенту

Подключи codspeed к проекту, добавь бенчмарки для горячих функций и найди, что замедляет обработку по флеймграфу

Ограничения

Официально CLI поддерживает Ubuntu 22.04, 24.04, 26.04 и Debian 12, остальные дистрибутивы Linux могут работать без гарантий. Для результатов с аккаунтом нужен вход через `codspeed auth login`. Режим реального времени на обычных виртуальных машинах дает нестабильные данные, авторы советуют свои выделенные раннеры. Плагин для агентов требует, чтобы замеры шли только через CodSpeed, а при сбое CLI скилл просит помощи у пользователя. Установка идет скриптом через `curl | bash`, поэтому перед запуском прочитайте его.

Как отключить. Удалите бинарник `codspeed` из `PATH`, файл `codspeed.yml` из проекта и шаг CodSpeed из конфигурации CI. Плагин отключите в менеджере плагинов агента.

Частые вопросы

Как замерить программу без изменения кода?

Выполните `codspeed auth login`, затем `codspeed exec -- ./my-binary --arg1 value`. Режим выбирают флагом, например `--mode walltime` для реального времени.

Какие языки и фреймворки поддержаны?

Python (`pytest`), Rust (`divan`, `criterion.rs`, `bencher`), C/C++ (`google-benchmark`), Node.js (`vitest`, `tinybench`, `benchmark.js`) и Go (встроенный `testing`). Для Zig есть общественная интеграция.

Что делает скилл `codspeed-optimize`?

Он работает циклом: измеряет через CLI, читает флеймграф, вносит изменение и сравнивает результат. Цикл идет, пока есть выигрыш или пока вы не остановите работу.

Как подключить MCP CodSpeed вручную?

Укажите в конфигурации агента удаленный сервер `https://mcp.codspeed.io/mcp` без ключей, как в файле `.mcp.json` репозитория. Авторизация идет на стороне CodSpeed.

Как запустить CodSpeed в GitHub Actions?

Используйте официальное действие `CodSpeedHQ/action@v5` с параметрами `mode` и `run`. В описании есть образцы для GitHub Actions, GitLab CI и CircleCI.

Обсуждение

Вопросов и отзывов пока нет.

Caliper прогоняет задачи агента с вашим скиллом и без него и показывает, помогает ли скилл и сколько токенов он стоит

CLIРасширенный доступ228Звезды репозитория
Официальный

kogiQA MCP дает агенту браузер, который находит элементы страницы без селекторов, для отладки веб-приложений и e2e-тестов

MCP-серверРасширенный доступ88Звезды репозитория

Оценка от 0 до 10 для CLAUDE.md и AGENTS.md: Reporails находит размытые правила, повторы и битые импорты

CLIРасширенный доступ112Звезды репозитория
Выбор редакции

CLI для тестирования и ред-тиминга LLM-приложений: сравнение моделей, автоматические проверки в CI и поиск уязвимостей

CLIРасширенный доступ26,9 тыс.Звезды репозитория
Официальный

MCP-сервер, агент и скиллы для сквозных UI-тестов: агент управляет компьютером через компьютерное зрение на облачных машинах

MCP-серверШирокий доступ386Звезды репозитория

Коротко о README

Описание открывается списком возможностей и командой установки, затем показывает быстрый старт с `codspeed exec` и `codspeed run`. Дальше идут таблица интеграций по языкам, настройка через `codspeed.yml`, описание трех инструментов измерения и примеры запуска в GitHub Actions, GitLab CI и CircleCI.

Бейдж для README

Сообщить о проблеме

Foxx AICodSpeed CLI
Foxx AI

Я Foxx AI и уже разобрал этот инструмент. Спросите про установку, настройку или что угодно еще, отвечу простыми словами.