rook CLI
CLI проверяет ИИ-агентов целиком: выводит сценарии из кода, гоняет на живом агенте и отделяет непроверенное от провала.
- 81 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Состязательные сценарии идут против живого агента, и его реальные действия могут иметь побочные эффекты.
- Запуск тратит кредиты платного тарифа и отправляет данные сервису TestMu AI.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/rookОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Состязательные сценарии идут против живого агента, и его реальные действия могут иметь побочные эффекты.
- Запуск тратит кредиты платного тарифа и отправляет данные сервису TestMu AI.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
rook, продукт TestMu AI (бывшая LambdaTest), проверяет, как агент ведет себя в сценариях, инструментах и действиях. Тесты он выводит сам: команда `/explore` читает код и находит агентов, `/generate` создает сценарии, `/run` запускает их на живом агенте. Профиль `/profile add` описывает вызов агента: через curl, команду, HTTP или MCP. Сценарии делятся на функциональные, нефункциональные (расход токенов, качество) и состязательные: внедрение промптов, джейлбрейк, утечка данных и персональной информации, галлюцинации, перехват задачи. Состязательные сценарии привязаны к OWASP Top 10 для LLM-приложений и агентов и к MITRE ATLAS. Рассказ агента о своих действиях rook доказательством не считает: он сверяет его с вызовами инструментов и побочными эффектами, о которых сообщают ваши хуки.
Для кого. Командам, которые готовят ИИ-агента к релизу и хотят проверить его поведение и защиту от внедрения промптов в CI.
Подходит, если
- Агент сам создает тикеты и пишет файлы, и вы проверяете, действительно ли он это сделал, а не только сказал.
- Перед релизом нужен набор состязательных сценариев по джейлбрейку и утечке персональных данных.
- Сравнивайте процент прохождения между двумя запусками и смотрите, какие сценарии начали падать.
- Проверку нужно встроить в CI с понятным кодом завершения.
Не подходит, если
- Нет аккаунта TestMu AI с тарифом Agent Assurance.
- Агент вызывает реальные платные или необратимые действия, а изолированной среды для тестов нет.
- Нужна оценка качества текста моделью-судьей без проверки побочных эффектов.
Пример запроса к агенту
Используй rook, чтобы проверить моего агента на соответствие политике возвратов и на внедрение промптов, затем покажи непроверенные критерии.Ограничения
Без аккаунта TestMu AI с тарифом Agent Assurance rook отказывает до первого вызова модели. Разведка, генерация, профили и запуск расходуют кредиты тарифа. На тарифе без облака rook работает локально: `rook sync` отклоняется, `rook run` держит результаты у вас. Пакет npm требует Node.js 20 или новее, Homebrew и установочный скрипт приносят собственную среду. Сценарии идут против живого агента, поэтому действия цели нужно одобрить заранее, как и расход кредитов.
Как отключить. Удалите CLI: `npm uninstall -g @testmuai/rook`, `brew uninstall lambdatest/rook/rook` или файлы `~/.local/bin/rook` и `~/.testmuai/rook-*/`. Вход и настройки лежат в `~/.testmuai/rook/`, этот каталог стирайте отдельно.
Частые вопросы
Как установить rook?
Первый вариант из README: `npm install -g @testmuai/rook@latest`. Есть и `brew install lambdatest/rook/rook` с полным именем тапа, и установочный скрипт, который проверяет контрольную сумму.
Что значит непроверяемый результат?
Это критерий, который rook не смог подтвердить доказательствами. Он учитывается отдельно, не считается ни успехом, ни провалом, и сценарий с таким критерием не может быть пройденным.
Как подключить rook к Claude Code или Codex?
Выполните `npx @testmuai/rook-skill`: скилл ставится для Claude Code, Codex и Gemini CLI на уровне пользователя. Затем попросите агента проверить вашего агента через rook.
Как запустить проверку без облака?
Пропустите `rook sync` и используйте `rook run --test`. На тарифе без облака, например Starter, это единственная форма, и результаты остаются локальными.
Какие сценарии генерирует rook?
Три класса: функциональные, нефункциональные (расход токенов, качество) и состязательные. Вместе это шестнадцать категорий, от внедрения промптов до утечки персональных данных.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный отладчик TypeScript-агентов: дерево шагов, проверка траектории в CI и архив доказательств без аккаунта.
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Скилл и MCP-сервер платформы Rhesis: агент проектирует, запускает и разбирает наборы тестов для вашего ИИ-агента
CLI для тестирования и ред-тиминга LLM-приложений: сравнение моделей, автоматические проверки в CI и поиск уязвимостей
MCP-сервер, который проверяет, правда ли агент закончил: гоняет реальное приложение и возвращает вердикт прошло, не прошло, неясно с указанием файла и строки
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| rook (эта карточка) | нет | 81 | ||
| agentevals | нет | не нужна | 169 | оценивает поведение агента по трассам OpenTelemetry; rook гоняет сценарии на живом агенте и сверяет заявленные действия с побочными эффектами |
| agent-qa | нет | 856 | QA-агент для веба и мобильных приложений; rook тестирует самих ИИ-агентов, включая состязательные сценарии по OWASP и MITRE ATLAS |
Коротко о README
Терминальный инструмент с командами `/explore`, `/generate`, `/profile`, `/sync`, `/run` и `/ui`. Результаты показывают по каждому критерию с цитатой, динамику между запусками и список непроверенного.