Promptfoo CLI
CLI для тестирования и ред-тиминга LLM-приложений: сравнение моделей, автоматические проверки в CI и поиск уязвимостей
- 27 080 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Выполняет сетевые запросы к API моделей и может расходовать платные токены
- Red team режим отправляет тестовые атаки в ваше LLM-приложение
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/promptfooОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Выполняет сетевые запросы к API моделей и может расходовать платные токены
- Red team режим отправляет тестовые атаки в ваше LLM-приложение
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Promptfoo запускает наборы тестов для промптов, агентов и RAG-пайплайнов и сравнивает ответы разных моделей по заданным критериям. Отдельный режим red team имитирует атаки на LLM-приложение и ищет уязвимости вроде утечки промпта или обхода ограничений. Тесты описываются декларативным YAML-конфигом, результаты открываются в локальном веб-интерфейсе или встраиваются в CI. Для Claude Code есть отдельный плагин со скиллом, который помогает писать и вести наборы оценок прямо в разговоре с агентом.
Для кого. Для разработчиков и инженеров, которые проверяют качество и безопасность промптов и LLM-приложений перед релизом.
Подходит, если
- Нужно сравнить ответы нескольких моделей на одном наборе промптов
- Нужно добавить регрессионные проверки качества ответов в CI
- Нужно проверить приложение на промпт-инъекции и другие уязвимости
Не подходит, если
- Нужна разовая проверка одного промпта без сохранения истории
- Нет доступа к API моделей, которые нужно сравнивать
Пример запроса к агенту
Собери promptfoo-конфиг для сравнения GPT и Claude на моих системных промптах и запусти оценкуОграничения
Для сравнения моделей нужны отдельные API-ключи провайдеров (OpenAI, Anthropic и других), часть из них недоступна из России без VPN. Красная команда и часть проверок требуют настройки целей и могут расходовать заметный объем токенов при больших наборах тестов.
Как отключить. Удалите пакет promptfoo (npm uninstall -g promptfoo или аналог для brew либо pip) и файлы promptfooconfig.yaml из проекта. Для плагина Claude Code удалите его через /plugin.
Частые вопросы
Чем promptfoo отличается от обычного тестирования промптов вручную?
Он прогоняет один и тот же набор тестов по нескольким моделям и провайдерам автоматически и хранит историю сравнений, а не разовые проверки в чате.
Нужен ли аккаунт promptfoo для работы?
Нет, оценки выполняются локально с вашими собственными ключами API моделей, без обязательной регистрации.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI проверяет ИИ-агентов целиком: выводит сценарии из кода, гоняет на живом агенте и отделяет непроверенное от провала.
TesterArmy CLI и MCP запускают в облаке сквозные тесты браузера и мобильных приложений по описанию шагов простыми словами.
CLI проверяет веб-страницу в Chromium: находит все элементы управления, нажимает их и сообщает, что сломано. Без тестов и без LLM.
Набор QA-агентов, скиллов и MCP-сервер: генерация тестов, поиск пробелов в покрытии, нестабильные тесты, безопасность и хаос-тестирование
Лаборатория тестов поведения Quorum для проекта superpowers: запускает настоящие CLI агентов и оценивает по скрытым критериям
Qlty CLI показывает дубли и сложные участки кода до рефакторинга; автоматическое форматирование запускается отдельно.
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| Promptfoo (эта карточка) | нет | 27 080 | |
| OpenART | нет | 275 | Скилл-проводник по OpenART: исполняемому бенчмарку, который проверяет безопасность кодовых агентов в долгих изменяющихся средах |
| Overmind | да | 757 | CLI и MCP-сервер Overmind |
| iFixAi | нет | 45 036 | iFixAi проверяет поведение ИИ-агента в модельных ситуациях, оценивает ответы и сохраняет доказательства ошибок в отчете. |
Из блога
Коротко о README
README описывает promptfoo как CLI и библиотеку для оценки и ред-тиминга LLM-приложений. Основные сценарии: сравнение моделей и провайдеров, регрессионные проверки в CI, сканирование на уязвимости и генерация отчетов о безопасности. Устанавливается через npm, brew или pip, оценки выполняются локально без отправки промптов на серверы promptfoo. Проект перешел в состав OpenAI, но остается open source с лицензией MIT.