Agent Reliability Analyzer — плагин

Agent Reliability Analyzer статически проверяет код ИИ-агентов, находит пробелы надежности по 340 правилам и применяет исправления

  • 88 ★ репозитория
  • Последний коммит
  • Apache-2.0
Плагин

Расширенный доступ

Почему такой уровень

  • Команда enrich с флагом `--apply` меняет исходные файлы репозитория
  • Для исправлений фрагменты кода уходят выбранному провайдеру модели по вашему ключу
Все причины и проверки

trustabl/agent-reliability-analyzer

Установка

Работает в

В терминале, через SkillFoxx CLI

npx skillfoxx add plugins/agent-reliability-analyzer

Определит агенты на машине, покажет уровень доступа и зафиксирует версию.

Другие способы установки

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Команда enrich с флагом `--apply` меняет исходные файлы репозитория
  • Для исправлений фрагменты кода уходят выбранному провайдеру модели по вашему ключу

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Сканер Trustabl разбирает репозиторий агента и ищет то, что ломает агентов в проде: расплывчатые описания инструментов, из которых модель не поймет, когда их вызывать, отсутствие повторов и таймаутов, нетипизированные параметры, нет ограждений и права инструментов шире заявленной задачи. По документации правил больше 340, SDK девять, языков семь. Сканирование идет локально: без облачного сканера, аккаунта, выгрузки кода и без LLM. Результат выводится текстом, в JSON или SARIF 2.1.0, коды выхода подходят для CI. Команда `trustabl enrich --diff --apply` показывает патч и применяет исправление к исходникам, для этого нужен ваш ключ Anthropic, OpenAI или Google. Глубже всего покрыты Claude Agent SDK, OpenAI Agents SDK, Google ADK и MCP-серверы, кроме них LangChain, LangGraph, CrewAI, AutoGen, Pydantic AI и Vercel AI SDK. Плагин для Claude Code добавляет команды вроде `/trustabl:scan`, скачивает нужный бинарник при первом запуске и сверяет его контрольную сумму с `checksums.txt` релиза. Сканер работает и как локальный MCP-сервер `trustabl mcp`.

Для кого. Командам, которые пишут своих агентов на Claude Agent SDK, OpenAI Agents SDK или MCP и хотят ловить пробелы надежности до выкатки.

Подходит, если

  • Агент на Google ADK падает в проде из-за отсутствующих таймаутов, и их надо найти по всему репозиторию
  • В CI нужен отчет SARIF по репозиторию с MCP-сервером и субагентами
  • Описания инструментов слишком расплывчаты, и модель путает, какой вызвать
  • Исправления надо сначала посмотреть как патч и только потом применить

Не подходит, если

  • Нужно мерить работу агента в рантайме: сканер статический и запуск агента не наблюдает
  • Нужна защита от инъекций промпта на лету: инструмент читает код и вызовы агента не перехватывает
  • Агент написан на SDK, которого нет в таблице покрытия COVERAGE.md

Пример запроса к агенту

Просканируй этот репозиторий через Trustabl, покажи находки по инструментам агента и предложи патч

Ограничения

  • Сканер статический: поведение агента в рантайме он не проверяет.
  • Применение исправлений через `trustabl enrich` использует ваш ключ Anthropic, OpenAI или Google, и фрагменты кода уходят этому провайдеру.
  • Плагин при первом запуске скачивает бинарник для вашей платформы и запускает его после сверки контрольной суммы.
  • Покрытие SDK и языков неравномерное, подробности в `COVERAGE.md`.
  • Для первого запуска плагина нужна сеть: бинарник скачивается из релиза.

Как отключить. Снимите плагин через `/plugin` в Claude Code. Установленный из Homebrew бинарник удаляется командой `brew uninstall trustabl`.

Частые вопросы

Отправляется ли мой код в облако при сканировании?

Нет, сканирование локальное, без аккаунта и без LLM. Код уходит провайдеру только при `trustabl enrich`, по вашему ключу.

Как запустить без установки?

Командой `docker run --rm -v "$PWD:/repo" ghcr.io/trustabl/trustabl:latest scan /repo`.

Какие SDK покрывает сканер?

Глубже всего Claude Agent SDK, OpenAI Agents SDK, Google ADK и MCP-серверы, плюс LangChain, LangGraph, CrewAI, AutoGen, Pydantic AI и Vercel AI SDK.

В каких форматах выводится отчет?

Текстом для человека, JSON и SARIF 2.1.0. Коды выхода подходят для проверок в CI.

Как поставить плагин в Claude Code?

Выполните `/plugin marketplace add trustabl/claude-plugin` или найдите trustabl в разделе Plugins, Discover. Затем запускайте `/trustabl:scan`.

Обсуждение

Вопросов и отзывов пока нет.

Плагины

Локальный отладчик TypeScript-агентов: дерево шагов, проверка траектории в CI и архив доказательств без аккаунта.

CLIРасширенный доступ212Звезды репозитория

Локальная веб-панель: проверки надежности агента, генерация скиллов и пробы сетевого доступа без отдельной установки утилит

CLIРасширенный доступ62Звезды репозитория
Официальный

CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач

CLIРасширенный доступ280Звезды репозитория

CLI ставит в Claude Code и Codex проверку изменений запуском: сборка и тесты, ревью диффа и отдельный QA-агент.

CLIШирокий доступ109Звезды репозитория

Проверка кода, сгенерированного ИИ: пустые функции, несуществующие импорты и документация, которая преувеличивает.

СкиллМинимальный доступ111Звезды репозитория

MCP-сервер, который проверяет, правда ли агент закончил: гоняет реальное приложение и возвращает вердикт прошло, не прошло, неясно с указанием файла и строки

MCP-серверРасширенный доступ1,3 тыс.Звезды репозитория

Сравнение с похожими

Карточки с тем же главным запросом: чем они отличаются.

ИнструментОфициальныйЗвезды репозиторияГлавное отличие
Agent Reliability Analyzer (эта карточка)нет88
AgentLintнет156страж на лету: блокирует запись секретов и опасные команды, код агента не сканирует
agent-evalда280считает долю успешных задач запусками агентов, сканер читает только код

Коротко о README

README подает проект как детерминированный сканер надежности агентов, показывает способы установки через Docker, Homebrew и Scoop, формат вывода, пример реального отчета и список поддерживаемых SDK. Интеграции описаны отдельно: плагин Claude, VS Code, Cursor, GitHub Actions и реестр MCP.

Бейдж для README

Сообщить о проблеме