agentsre — скилл

Скилл и библиотека Python: четыре показателя качества решений агента, защита от повторной записи и предохранитель цепочки агентов

  • 309 ★ репозитория
  • Последний коммит
  • MIT
Скилл

Расширенный доступ

Почему такой уровень

  • Публикация метрик в CloudWatch использует AWS-доступ среды, где запущен агент.
  • Библиотека ставится в код продакшена и блокирует вызовы по своим порогам, поэтому неверная настройка остановит рабочие операции.
Все причины и проверки

ajay150313/agentsre

Установка

В терминале, через SkillFoxx CLI

npx skillfoxx add skills/agentsre

Определит агенты на машине, покажет уровень доступа и зафиксирует версию.

Другие способы установки

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Публикация метрик в CloudWatch использует AWS-доступ среды, где запущен агент.
  • Библиотека ставится в код продакшена и блокирует вызовы по своим порогам, поэтому неверная настройка остановит рабочие операции.

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Скилл `agentsre` учит кодового агента подключать к ИИ-системе в продакшене библиотеку agentsre. Обычные метрики остаются зелеными, даже когда агент принимает неверные решения: ответ 200, задержка в норме. Библиотека считает четыре показателя смыслового уровня: качество решений (DQR), число вызовов инструментов на задачу (TIE), долю эскалаций к человеку (HER) и рост очереди согласований (AQDD). Кроме того, в нее входят `IdempotencyGuard`, который блокирует уже выполненную запись при повторе, валидатор ответов между агентами `A2ASemanticValidator`, предохранитель `AgentChainCircuitBreaker` и модуль учета парка агентов со сроками устаревания моделей. Метрики можно отправлять в AWS CloudWatch через extra `agentsre[aws]`.

Для кого. Инженерам SRE и разработчикам, которые выводят агентные системы в продакшен и отвечают за их надежность.

Подходит, если

  • Мониторинг зеленый, а доля неверных решений агента растет, и узнают об этом по жалобам.
  • Агент повторно вызывает запись, например перевод средств, и дубль надо заблокировать.
  • Результат одного агента уходит другому, и до передачи нужна проверка схемы и порога качества.
  • Обновление фреймворка агента выкатывают с канареечной проверкой дрейфа TIE и DQR.

Не подходит, если

  • Нужны только трассировки отдельных запросов к модели: библиотека считает показатели по записям задач.
  • Защита от дублей нужна между процессами: `IdempotencyGuard` работает внутри одного, поэтому перед ним ставят условную запись в общем хранилище.
  • Проект написан не на Python.

Пример запроса к агенту

Подключи agentsre к сервису маршрутизации платежей и настрой оповещение, если TIE вырос в полтора раза.

Ограничения

Библиотека на Python, ядро без зависимостей; для CloudWatch нужен extra `aws` с boto3. Уверенность в решении (`decision_confidence`) приложение передает само, без нее DQR не посчитать. Первый вызов `collect()` не имеет базовой линии, поэтому дрейф появляется со второго. `IdempotencyGuard` работает в пределах процесса. Пороги оповещений из README (например, DQR ниже 85 процентов) стоит подстроить под свою систему.

Как отключить. Удалите каталог скилла `agentsre` из каталога скиллов агента и выполните `pip uninstall agentsre`. Вызовы библиотеки в коде проекта уберите отдельно.

Частые вопросы

Какие четыре показателя считает agentsre?

DQR показывает качество решений, TIE считает вызовы инструментов на задачу, HER измеряет долю эскалаций к человеку, AQDD отслеживает рост очереди согласований.

Как отправлять метрики в CloudWatch?

Поставьте `pip install agentsre[aws]` и передайте результаты `collector.collect(...)` в `CloudWatchPublisher`. Метрики попадут в пространство `AgentReliability`.

Что делает IdempotencyGuard?

Он блокирует повторный вызов уже выполненной записи в окне `window_seconds`, например перевода средств, и дает метрику `duplicate_action_rate`. Защита действует внутри одного процесса.

Когда срабатывают оповещения?

По таблице скилла: DQR ниже 85 процентов, TIE от 1,5 базовой линии и выше, HER выше 5 процентов, а AQDD при росте очереди относительно базовой линии.

Нужны ли библиотеке зависимости?

Ядро работает без зависимостей. Только для публикации в CloudWatch ставят `agentsre[aws]`, который добавляет boto3.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы
Официальный

Сорок пять скиллов, сценарии агентов и шаблоны CloudFormation для AWS DevOps Agent: разбор инцидентов и ревью операций

СкиллРасширенный доступ141Звезды репозитория

ANOLISA — системный стек для агентов: сжатие вывода инструментов, память, снимки рабочей папки, проверка команд, учет токенов

CLIШирокий доступ662Звезды репозитория

Восемь скиллов для Azure SRE Agent проверяют архитектуру, политики, запас ресурсов и расходы подписки и ставят оценки

СкиллРасширенный доступ70Звезды репозитория
Выбор редакции

Официальные скиллы Microsoft для работы агентов с Azure SDK и Foundry на Python, .NET, TypeScript, Java и Rust

СкиллРасширенный доступ3,2 тыс.Звезды репозитория

Большая база скиллов по DevOps, безопасности, инфраструктуре и комплаенсу для AI-агентов

СкиллМинимальный доступ1,2 тыс.Звезды репозитория
Выбор редакции

Официальный набор AWS: MCP-серверы, скиллы и плагины, чтобы агент строил, деплоил и обслуживал приложения на AWS

ПлагинШирокий доступ3,5 тыс.Звезды репозитория

Коротко о README

Библиотека добавляет к метрикам доступности показатели смыслового уровня, валидацию ответов между агентами и предохранитель по доле успешных проверок. В репозитории есть примеры для LangChain и управления парком агентов.

Бейдж для README

Исходный SKILL.md

---
name: agentsre
description: Instrument AI agents with SRE reliability signals using the agentsre Python library. Use when adding semantic SLIs (decision quality, tool-call efficiency, human escalation, approval queue drift), blocking duplicate irreversible agent actions, validating agent-to-agent output, or adding a circuit breaker to a multi-agent chain.
---

# agentsre

Reliability instrumentation for agentic AI in production. Standard SLIs (HTTP 200, latency,
error rate) stay green while an agent makes wrong decisions. agentsre measures the semantic layer.

Install: `pip install agentsre` (core has no dependencies; `agentsre[aws]` adds CloudWatch publishing).

## The four SLIs

| SLI | Meaning | Alert when |
|---|---|---|
| DQR | Decision Quality Rate (mean confidence of completed tasks) | below 85% |
| TIE | Tool Invocation Efficiency (tool calls per task vs. baseline) | 1.5x baseline or more |
| HER | Human Escalation Rate | above 5% |
| AQDD | Approval Queue Depth Drift | queue growing vs. baseline |

## Record tasks and read SLIs

```python
from agentsre import AgentSLICollector, TaskRecord

collector = AgentSLICollector()
collector.record(TaskRecord(
    task_id="t-001", task_class="payment-routing",
    tool_calls=3, required_escalation=False, pending_approval=False,
    decision_confidence=0.91, completed=True,
))
for result in collector.collect("payment-routing"):
    print(result)
if collector.breached("payment-routing"):
    ...  # page or degrade
```

Drift is measured against the baseline from earlier `collect()` calls, so call `collect()`
on a schedule. The first call has no baseline and reports `drift_ratio=None`.

## Block a retried write

```python
from agentsre import IdempotencyGuard

guard = IdempotencyGuard(window_seconds=300, max_repeats=1)
decision = guard.check("transfer_funds", {"to": "acct-9", "amount": 120}, scope="user-42")
if not decision.allowed:
    ...  # do not repeat the write

Сообщить о проблеме