agentperf-local CLI
agentperf-local меряет, как быстро ваш компьютер обслуживает ИИ-агента, на записанных диалогах: скорость и задержки
- 132 ★ репозитория
- Последний коммит
- Apache-2.0
Минимальный доступ
Почему такой уровень
- Скачивает большие файлы моделей и запускает локальный сервер на localhost, но с файлами проекта и аккаунтами не работает
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/agentperf-localОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемМинимальный доступИнструмент ничего не запускает и не ходит в сеть.
- Скачивает большие файлы моделей и запускает локальный сервер на localhost, но с файлами проекта и аккаунтами не работает
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Инструмент от Artificial Analysis проигрывает записанные разговоры агентов на сервере с OpenAI-совместимым API и сообщает пропускную способность и задержки. Каждый запрос несет весь прежний диалог, как у настоящего агента. Качество ответов инструмент не оценивает, только скорость. Он замеряет уже запущенный у вас сервер llama.cpp, LM Studio, vLLM, SGLang или Ollama либо сам скачивает закрепленную модель, запускает сервер и мерит его. Стандартный прогон `agentperf-default-v1` состоит из восьми записанных задач и 168 ходов модели с политикой вывода `exact`: каждый ход генерирует записанное число токенов. Команда `managed-run` скачивает модель в кеш Hugging Face, сверяет SHA-256 каждого файла, поднимает сервер на localhost, прогоняет и останавливает его. Интерфейс в терминале проведет через выбор модели и запуск, а рецепты лежат в `recipes/` по модели и железу.
Для кого. Тем, кто запускает локальные модели для Claude Code, Codex или OpenCode и выбирает между железом, моделью и движком по реальной скорости агентной работы.
Подходит, если
- Выбираете между llama.cpp, vLLM и SGLang для локальной модели и хотите сравнить их на нагрузке агента
- Ваша видеокарта или Mac тянет длинный диалог с инструментами, и хочется знать, насколько быстро
- Результаты прогона сравниваются между машинами: модель закреплена версией и проверена по SHA-256
- Сервер с OpenAI-совместимым API уже запущен, и скачивать модели заново не хочется
Не подходит, если
- Вам нужна оценка качества ответов: инструмент меряет только скорость
- Модель размещена у облачного провайдера: сценарий рассчитан на ваш сервер и ваше железо
- Нет `uv` и нельзя поставить Python 3.12: инструмент запускается через `uv`
Пример запроса к агенту
Запусти agentperf-local managed-run для профиля qwen38-27b-q4-k-m на llama.cpp и покажи скорость и задержкиОграничения
- Нужен `uv`, он сам подтянет Python 3.12. Docker и Rust необязательны. Поддерживаются macOS, Linux и Windows.
- Инструмент не ставит движки. Рецепты используют `llama-server` из PATH, vLLM или SGLang на видеокартах NVIDIA либо Splash на Apple Silicon, версия каждого закреплена в рецепте.
- В Windows управляемые запуски требуют NVIDIA и llama.cpp, а vLLM и SGLang работают только на Linux.
- Splash требует Apple Silicon M3 или новее и macOS 26.4 или новее, кеш KV в этом рецепте всегда восьмибитный.
- Прогон скачивает большие файлы моделей в кеш Hugging Face и занимает заметное время.
Как отключить. Удалите инструмент командой `uv tool uninstall agentperf-local`. Скачанные модели лежат в кеше Hugging Face, результаты в папке `--output-dir`, их удаляют вручную.
Частые вопросы
Что измеряет agentperf-local?
Скорость обслуживания агента: пропускную способность и задержки на записанных диалогах. Качество ответов не оценивается.
Как запустить без установки?
Выполните `uvx agentperf-local`. Для установки есть `uv tool install agentperf-local` и `pipx install agentperf-local`.
Что делает managed-run?
Скачивает закрепленную модель в кеш Hugging Face, проверяет SHA-256 файлов, запускает сервер на localhost, прогоняет запись и останавливает сервер.
Из чего состоит стандартный прогон?
Из `agentperf-default-v1`: восемь записанных задач агента и 168 ходов модели с политикой вывода `exact`.
Какие движки поддерживаются?
Рецепты используют llama.cpp, vLLM, SGLang и Splash на Apple Silicon. Уже запущенный сервер с OpenAI-совместимым API (LM Studio, Ollama и другие) можно мерить напрямую.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный ИИ-агент, который работает на своем железе через llama.cpp, водит браузер, правит файлы, выполняет разрешенные команды и помнит контекст между сессиям
Late — кодовый ИИ-агент на Go в одном бинарнике: оркестратор планирует, одноразовые субагенты пишут и ищут, работает с llama-server и облачными моделями
Agent Memory Benchmark гоняет системы памяти агентов по открытым датасетам и считает точность, скорость и расход токенов.
mi — агентный кодинг в 30 строках: цикл, два инструмента и модель; работает с любым API, совместимым с OpenAI, и в Docker.
Открытый кодовый агент для терминала, браузера и десктопа, который работает с моделями от OpenAI и Claude до Ollama
iFixAi проверяет поведение ИИ-агента в модельных ситуациях, оценивает ответы и сохраняет доказательства ошибок в отчете.
Коротко о README
README объясняет задачу и быстрый старт через `uv`, затем описывает стандартный прогон, режим `managed-run` с рецептами и работу интерфейса в терминале. Отдельным абзацем идет рецепт для Splash на Apple Silicon.