Waza CLI
Официальный CLI Microsoft прогоняет градуированные тесты скиллов и агентов, проверяя доказательства, а не только факт успеха.
- 1 509 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Авторизованная оценка воркфлоу делает реальные, в том числе платные, вызовы к сервисам при явном включении.
Установка
- Работает в
Ручная установка
Установи опубликованный бинарный релиз версии `v0.40.0` со страницы Releases или выполни `waza update`. Начни с офлайн-гарнесса (`Quick Start` из документации), затем переходи к авторизованной оценке воркфлоу по разделу `getting-started`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Авторизованная оценка воркфлоу делает реальные, в том числе платные, вызовы к сервисам при явном включении.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Waza это CLI на Go для оценки агентных воркфлоу, скиллов и собственных агентов: описывает сценарии, запускает градуированные испытания и дает инспектировать доказательства решения, не просто флаг «прошло-не прошло». Инструмент охватывает авторинг сценариев, предварительную проверку (`preflight`), выборочные доказательства по файлам, профили уверенности и контролируемую политику релизов. Проект разделяет уровни строгости: простая проверка на моках (`mock success`) проверяет сам харнесс, не качество агента и не безопасность реального сервиса. Для настоящей проверки нужен авторизованный запуск с реальными вызовами. Установка идет через готовый бинарный релиз или `waza update`; собрать из исходников можно, но это отдельный путь из-за LFS-артефактов, которые блокируют `go install`.
Для кого. Командам, которые публикуют агентские скиллы или MCP-сценарии и хотят градуированное испытание с доказательствами, а не просто да-нет проверку.
Подходит, если
- Нужно оценить качество скилла или агента градуированным испытанием, а не бинарным прошло-не прошло.
- В CI нужны регрессионные гейты на основе зафиксированных сценариев и доказательств.
- Для платных вызовов нужны явные ограничения и согласие пользователя перед запуском, а не тихий расход бюджета.
- Доказательства решения агента нужно разобрать по конкретным файлам, а не верить итоговому резюме.
Не подходит, если
- Нужна проверка исключительно без реального запуска: офлайн-гарнесс не оценивает живой сервис или качество агента по существу.
- Установка через `go install` обязательна: LFS-артефакты это блокируют, нужен бинарный релиз или клонирование репозитория.
- Публичный чат-ответчик «Ask Waza» ожидается рабочим: на момент README публичный сервис еще не настроен.
Пример запроса к агенту
Прогони градуированное испытание этого скилла офлайн-гарнессом Waza и покажи доказательства по файлам для провалившегося теста.Ограничения
Установка через `go install` не работает из-за LFS-артефактов; нужен опубликованный бинарный релиз, команда `waza update`, либо клонирование конкретного тега репозитория для сборки из исходников. Авторизованная оценка воркфлоу с платными вызовами требует явного включения (`opt-in`) и ограничений, описанных отдельно в матрице возможностей платформы. Публичный чат-ответчик «Ask Waza» на момент публикации README недоступен, пока не настроен публичный сервис; доступен только отдельно запускаемый приватный предпросмотр через `loopback`-соединение.
Как отключить. Удалите установленный бинарный файл `waza` и клонированный репозиторий, если он использовался для сборки из исходников.
Частые вопросы
Почему go install не работает?
Из-за использования LFS-артефактов в репозитории; нужно устанавливать опубликованный бинарный релиз или клонировать конкретный тег для сборки.
Что значит `mock success`?
Это успех проверки самого харнесса оценки на синтетических данных, а не подтверждение качества агента или безопасности живого сервиса.
Доступен ли публичный чат-ответчик Ask Waza?
На момент README нет: панель объясняет, что публичный сервис еще не настроен, доступен только отдельный приватный предпросмотр через `loopback`-соединение.
Нужно ли явное согласие для платных вызовов?
Да, авторизованная оценка с платными вызовами требует явного `opt-in` и соблюдения ограничений из матрицы возможностей платформы.
Какая версия CLI актуальна?
Опубликованная самостоятельная версия `v0.40.0` на 4 ноября 2026 года, с возможностями из `v0.39.0` (авторинг сценариев, `preflight`, доказательства, профили уверенности).
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI проверяет ИИ-агентов целиком: выводит сценарии из кода, гоняет на живом агенте и отделяет непроверенное от провала.
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
CLI проверяет веб-страницу в Chromium: находит все элементы управления, нажимает их и сообщает, что сломано. Без тестов и без LLM.
CLI запускает сценарии QA Wolf локально и в CI, обновляет их кеш и помогает разбирать трассировки неудачных тестов.
Лаборатория тестов поведения Quorum для проекта superpowers: запускает настоящие CLI агентов и оценивает по скрытым критериям
Набор QA-агентов, скиллов и MCP-сервер: генерация тестов, поиск пробелов в покрытии, нестабильные тесты, безопасность и хаос-тестирование
Коротко о README
Документация делит путь пользователя на четыре шага: понятия и порядок обучения, офлайн-гарнесс для быстрого старта, авторизованная оценка воркфлоу и гейты регрессии в CI.