agentsre — скилл
Скилл и библиотека Python: четыре показателя качества решений агента, защита от повторной записи и предохранитель цепочки агентов
- 309 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Публикация метрик в CloudWatch использует AWS-доступ среды, где запущен агент.
- Библиотека ставится в код продакшена и блокирует вызовы по своим порогам, поэтому неверная настройка остановит рабочие операции.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/agentsreОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Публикация метрик в CloudWatch использует AWS-доступ среды, где запущен агент.
- Библиотека ставится в код продакшена и блокирует вызовы по своим порогам, поэтому неверная настройка остановит рабочие операции.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Скилл `agentsre` учит кодового агента подключать к ИИ-системе в продакшене библиотеку agentsre. Обычные метрики остаются зелеными, даже когда агент принимает неверные решения: ответ 200, задержка в норме. Библиотека считает четыре показателя смыслового уровня: качество решений (DQR), число вызовов инструментов на задачу (TIE), долю эскалаций к человеку (HER) и рост очереди согласований (AQDD). Кроме того, в нее входят `IdempotencyGuard`, который блокирует уже выполненную запись при повторе, валидатор ответов между агентами `A2ASemanticValidator`, предохранитель `AgentChainCircuitBreaker` и модуль учета парка агентов со сроками устаревания моделей. Метрики можно отправлять в AWS CloudWatch через extra `agentsre[aws]`.
Для кого. Инженерам SRE и разработчикам, которые выводят агентные системы в продакшен и отвечают за их надежность.
Подходит, если
- Мониторинг зеленый, а доля неверных решений агента растет, и узнают об этом по жалобам.
- Агент повторно вызывает запись, например перевод средств, и дубль надо заблокировать.
- Результат одного агента уходит другому, и до передачи нужна проверка схемы и порога качества.
- Обновление фреймворка агента выкатывают с канареечной проверкой дрейфа TIE и DQR.
Не подходит, если
- Нужны только трассировки отдельных запросов к модели: библиотека считает показатели по записям задач.
- Защита от дублей нужна между процессами: `IdempotencyGuard` работает внутри одного, поэтому перед ним ставят условную запись в общем хранилище.
- Проект написан не на Python.
Пример запроса к агенту
Подключи agentsre к сервису маршрутизации платежей и настрой оповещение, если TIE вырос в полтора раза.Ограничения
Библиотека на Python, ядро без зависимостей; для CloudWatch нужен extra `aws` с boto3. Уверенность в решении (`decision_confidence`) приложение передает само, без нее DQR не посчитать. Первый вызов `collect()` не имеет базовой линии, поэтому дрейф появляется со второго. `IdempotencyGuard` работает в пределах процесса. Пороги оповещений из README (например, DQR ниже 85 процентов) стоит подстроить под свою систему.
Как отключить. Удалите каталог скилла `agentsre` из каталога скиллов агента и выполните `pip uninstall agentsre`. Вызовы библиотеки в коде проекта уберите отдельно.
Частые вопросы
Какие четыре показателя считает agentsre?
DQR показывает качество решений, TIE считает вызовы инструментов на задачу, HER измеряет долю эскалаций к человеку, AQDD отслеживает рост очереди согласований.
Как отправлять метрики в CloudWatch?
Поставьте `pip install agentsre[aws]` и передайте результаты `collector.collect(...)` в `CloudWatchPublisher`. Метрики попадут в пространство `AgentReliability`.
Что делает IdempotencyGuard?
Он блокирует повторный вызов уже выполненной записи в окне `window_seconds`, например перевода средств, и дает метрику `duplicate_action_rate`. Защита действует внутри одного процесса.
Когда срабатывают оповещения?
По таблице скилла: DQR ниже 85 процентов, TIE от 1,5 базовой линии и выше, HER выше 5 процентов, а AQDD при росте очереди относительно базовой линии.
Нужны ли библиотеке зависимости?
Ядро работает без зависимостей. Только для публикации в CloudWatch ставят `agentsre[aws]`, который добавляет boto3.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыСорок пять скиллов, сценарии агентов и шаблоны CloudFormation для AWS DevOps Agent: разбор инцидентов и ревью операций
ANOLISA — системный стек для агентов: сжатие вывода инструментов, память, снимки рабочей папки, проверка команд, учет токенов
Восемь скиллов для Azure SRE Agent проверяют архитектуру, политики, запас ресурсов и расходы подписки и ставят оценки
Microsoft Agent Skills
Agent Skills
Официальные скиллы Microsoft для работы агентов с Azure SDK и Foundry на Python, .NET, TypeScript, Java и Rust
Большая база скиллов по DevOps, безопасности, инфраструктуре и комплаенсу для AI-агентов
Официальный набор AWS: MCP-серверы, скиллы и плагины, чтобы агент строил, деплоил и обслуживал приложения на AWS
Коротко о README
Библиотека добавляет к метрикам доступности показатели смыслового уровня, валидацию ответов между агентами и предохранитель по доле успешных проверок. В репозитории есть примеры для LangChain и управления парком агентов.
Бейдж для README
Исходный SKILL.md
---
name: agentsre
description: Instrument AI agents with SRE reliability signals using the agentsre Python library. Use when adding semantic SLIs (decision quality, tool-call efficiency, human escalation, approval queue drift), blocking duplicate irreversible agent actions, validating agent-to-agent output, or adding a circuit breaker to a multi-agent chain.
---
# agentsre
Reliability instrumentation for agentic AI in production. Standard SLIs (HTTP 200, latency,
error rate) stay green while an agent makes wrong decisions. agentsre measures the semantic layer.
Install: `pip install agentsre` (core has no dependencies; `agentsre[aws]` adds CloudWatch publishing).
## The four SLIs
| SLI | Meaning | Alert when |
|---|---|---|
| DQR | Decision Quality Rate (mean confidence of completed tasks) | below 85% |
| TIE | Tool Invocation Efficiency (tool calls per task vs. baseline) | 1.5x baseline or more |
| HER | Human Escalation Rate | above 5% |
| AQDD | Approval Queue Depth Drift | queue growing vs. baseline |
## Record tasks and read SLIs
```python
from agentsre import AgentSLICollector, TaskRecord
collector = AgentSLICollector()
collector.record(TaskRecord(
task_id="t-001", task_class="payment-routing",
tool_calls=3, required_escalation=False, pending_approval=False,
decision_confidence=0.91, completed=True,
))
for result in collector.collect("payment-routing"):
print(result)
if collector.breached("payment-routing"):
... # page or degrade
```
Drift is measured against the baseline from earlier `collect()` calls, so call `collect()`
on a schedule. The first call has no baseline and reports `drift_ratio=None`.
## Block a retried write
```python
from agentsre import IdempotencyGuard
guard = IdempotencyGuard(window_seconds=300, max_repeats=1)
decision = guard.check("transfer_funds", {"to": "acct-9", "amount": 120}, scope="user-42")
if not decision.allowed:
... # do not repeat the write