ASSERT — скилл
Навык run-assert-eval превращает описание слабых мест вашего агента в тесты, прогон и отчет с примерами нарушений по трассам.
- 364 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Диалоги и описания систем уходят выбранным модельным провайдерам, прогоны расходуют платные токены
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/assertОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Диалоги и описания систем уходят выбранным модельным провайдерам, прогоны расходуют платные токены
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
ASSERT, локальный пакет оценки ИИ-агентов и приложений на LLM, берет требования из текста: продуктовые условия, политики, системный промпт. Из них строятся категории поведения, одно- и многоходовые тестовые диалоги, их прогоняют на целевой системе, а судья на основе модели оценивает разговор по политикам. Навык `run-assert-eval` в `.claude/skills/` проводит этот путь в чате: собирает описание угрозы от пользователя либо через MCP-сервер Clarity, изучает, как такую угрозу оценивали в литературе, пишет конфигурацию `eval_config.yaml`, после утверждения запускает прогон и сообщает долю нарушений с примерами.
Для кого. Разработчикам и тестировщикам агентов и чат-ботов, у которых есть требования и политики, но нет системных проверок на их соблюдение.
Подходит, если
- Нужно проверить, не дает ли бот поддержки юридических советов.
- Есть описание продукта или модель угроз, и из него нужны тесты.
- Хочется увидеть процент нарушений и конкретные плохие диалоги.
- Перед релизом нужен повторяемый набор проверок поведения агента.
Не подходит, если
- Нужно исправить агента, навык находит нарушения и не чинит их.
- Достаточно проверить несколько фраз руками.
- Нельзя отправлять диалоги внешней модели-судье.
Пример запроса к агенту
Проверь моего агента поддержки на нарушения бюджета: опиши угрозу, предложи конфиг, дождись утверждения и запусти прогон.Ограничения
Нужны Python 3.11 и выше и доступ к модели для генерации и оценки, что стоит денег. Поиск угроз через Clarity требует Python 3.12 и среду с поддержкой MCP, например Claude Code, Cursor или VS Code с Copilot. Оценка судьи остается оценкой модели и требует выборочной проверки. Качество тестов зависит от полноты описанных требований: расплывчатые политики дают расплывчатые проверки. Если что-то работает не так, сверяйтесь с README и открытыми обсуждениями репозитория.
Как отключить. Удалите `.claude/skills/run-assert-eval` из проекта и пакет Python из окружения. Артефакты прогонов лежат в `artifacts/`, их удалите отдельно.
Частые вопросы
Откуда берутся угрозы?
Из Clarity, рекомендуемого пути, либо от пользователя: описание, PRD, модель угроз или отчет об инциденте.
Что в отчете?
Доля прохождений и нарушений по каждому поведению и примеры провалов со ссылками на трассы.
Нужен ли Clarity?
Нет. README называет его рекомендацией, но не требованием.
Что с локальностью?
Пакет описан как local-first и не привязан к фреймворку агента. Вызовы к моделям все равно идут к выбранному провайдеру.
Какие цели можно проверять?
Описания README включают вызываемые функции и другие цели, список приведен на странице `docs/targets/callable.md`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыДевять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
agentevals оценивает поведение ИИ-агента по его OpenTelemetry-трассам и отдает MCP-инструменты и навыки /eval и /inspect.
Проверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
CLI проверяет ИИ-агентов целиком: выводит сценарии из кода, гоняет на живом агенте и отделяет непроверенное от провала.
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
Коротко о README
Навык ведет пользователя от описания угрозы к утвержденной конфигурации и отчету, проверка строится вокруг одного поведения за раз.