OpenART — скилл
Скилл-проводник по OpenART: исполняемому бенчмарку, который проверяет безопасность кодовых агентов в долгих изменяющихся средах
- 275 ★ репозитория
- Последний коммит
- AGPL-3.0
Широкий доступ
Почему такой уровень
- Запускает контейнеры Docker и агентов с атакующими сценариями, которые меняют файлы и инструменты внутри среды
- Прогоны на моделях и планировщик используют платные ключи из `.env`, пакетные запуски могут стоить денег
- Содержит корпус атакующих сценариев и инструментов для проверки агентов, его следует использовать только в изолированной среде
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/openartОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Запускает контейнеры Docker и агентов с атакующими сценариями, которые меняют файлы и инструменты внутри среды
- Прогоны на моделях и планировщик используют платные ключи из `.env`, пакетные запуски могут стоить денег
- Содержит корпус атакующих сценариев и инструментов для проверки агентов, его следует использовать только в изолированной среде
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
OpenART — открытый бенчмарк и среда на Docker для проверки безопасности агентов, которые пользуются инструментами. Среда по ходу задачи меняет состояние: правит файлы, подменяет инструменты, обновляет сервисы, а исходная задача и скрытый контракт безопасности остаются прежними. Нарушения ищут детерминированные проверки и оценщики на моделях по следам работы и снимкам состояния. В репозитории лежит один консолидированный скилл `OpenART/skills/openart/SKILL.md` для агента и человека. Он направляет запрос в нужный раздел документации: понять устройство, сгенерировать задачу из сценария, запустить или сравнить прогоны, добавить или выбрать управляемый инструмент, расширить фреймворк, разобрать сбой. Перед пакетными запусками и вызовами внешних сервисов скилл велит попросить подтверждение. Для первого знакомства есть локальная проверка без ключей модели: команда `python -m framework.cli run` на задаче `examples/tasks/local-smoke`. Для прогонов на модели по умолчанию используется цель OpenCode, а планировщик берет ключ, адрес и модель из переменных `OPENART_PLANNER_API_KEY`, `OPENART_PLANNER_BASE_URL` и `OPENART_PLANNER_MODEL`.
Для кого. Для исследователей и инженеров безопасности, которые оценивают, как кодовые агенты ведут себя при подмене состояния и инструментов в долгой работе.
Подходит, если
- Нужно понять устройство OpenART и найти, какой документ читать первым для вашей задачи
- Из сценария надо получить задачу через планировщик, проверить сценарий и набор инструментов перед запуском
- Требуется запустить локальную проверку на задаче `local-smoke` и убедиться, что контейнер и детерминированный оценщик работают
- Нужно сравнить безопасность нескольких агентских сред на одной задаче и сохранить журнал, отчет проверки и артефакты сбоя
- Вы расширяете фреймворк, и скилл направляет к руководству по расширениям и предлагает сначала изменения через конфигурацию
Не подходит, если
- Нужен инструмент защиты рабочего агента на вашей машине: OpenART оценивает безопасность в изолированной среде и рабочие процессы не охраняет
- Docker недоступен текущему пользователю: среда исполнения построена на контейнерах
- Вы хотите, чтобы агент сразу запускал контейнеры и платные пакеты планировщика: скилл требует разрешения пользователя
- Задача не связана с тестированием агентов на безопасность: скилл описывает только работу с этим фреймворком
Пример запроса к агенту
Прочитай `OpenART/skills/openart/SKILL.md`, помоги запустить локальную проверку `local-smoke`, объясни каждую настройку и остановись перед внешними или разрушительными действиямиОграничения
Нужны Python 3 с виртуальным окружением и Docker. Локальная задача `local-smoke` обходится без ключей модели: она проверяет контейнер и детерминированный оценщик, но не поведение реального ИИ-агента. Для прогонов с моделями потребуются отдельные конфигурации, образы и ключи API, а вызовы оплачиваются по условиям поставщика.
Согласование запуска контейнеров, внешних запросов, очистки и push задано только в инструкциях скилла, а доступ к сети, томам и сервисам определяется настройкой запуска. Журналы и снимки могут содержать данные задачи. Лицензия AGPL-3.0.
Как отключить. Уберите ссылку на `OpenART/skills` из каталога скиллов агента или не просите агента читать файл. Среду удалите вместе с клоном репозитория, образы Docker снимите командой `docker rmi openart/task-base:latest`, а собранные образы удалите так же.
Частые вопросы
Что такое OpenART и зачем он нужен?
Это бенчмарк и среда исполнения для проверки безопасности агентов, пользующихся инструментами. Он проверяет, как агент ведет себя, когда посреди задачи меняются файлы, инструменты и сервисы, а исходная задача и скрытый контракт безопасности те же.
Как подключить скилл OpenART к агенту?
Попросите агента прочитать файл `OpenART/skills/openart/SKILL.md` и следовать ему. Агенты с поддержкой локальных скиллов могут использовать папку `OpenART/skills` как источник, остальным подойдет прямая ссылка на файл.
Как запустить OpenART без ключей модели?
После установки и сборки образа выполните из внутренней папки OpenART: `.venv/bin/python -m framework.cli run --task examples/tasks/local-smoke --target-config configs/target-configs/target.local-smoke.yaml --eval-strategy deterministic --skip-attacker --run-id local-smoke --output-dir outputs/local-smoke`. В этой оболочке должен быть задан `PYTHONPATH="$PWD"`.
Чем локальная проверка отличается от прогона с моделью?
Локальная задача проверяет работу среды и оценщика по заданному сценарию. Прогон с моделью добавляет целевого агента и при необходимости модельную оценку или атакующего. Его результаты зависят от выбранных конфигураций и доступных инструментов.
Чем скилл отличается от самого бенчмарка?
Скилл только направляет: он указывает документ и команду для задачи и не дублирует их. Он не служит управляемым инструментом, скиллом исследуемого агента или атакующим материалом и не должен попадать в рабочее пространство целевого агента.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыСканер безопасности для скиллов агентов: ищет промпт-инъекции, утечку данных и вредоносный код перед установкой
Сканер безопасности скиллов ИИ-агентов: статический анализ, оценка моделью и запуск подозрительных скиллов в Docker-песочнице.
Cybersecurity Skills
Cybersecurity Skills for AI Agents
42 скилла по безопасности для Claude Code, Cursor и Codex: аудит кода и облака, пентест с проверкой разрешения, реагирование на инциденты
Сканер безопасности для скиллов и MCP агентов: ищет промпт-инъекции, утечки данных и риски цепочки поставок до установки
Скилл аудита безопасности кода от Cloudflare: агент проходит разведку, охоту по покрытию и независимую проверку находок и выдает структурированный отчет
Движок анализа потоков данных для Java и Kotlin с набором скиллов для агента: сканирует код, разбирает находки и создает правила.
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| OpenART (эта карточка) | нет | 275 | |
| Promptfoo | нет | 27 080 | CLI для тестирования и ред-тиминга приложений на LLM, OpenART проверяет агентов с инструментами в долгих изменяющихся средах |
| OPFOR | нет | 585 | эмуляция атак на агентов и MCP-серверы по каталогам OWASP, OpenART строит исполняемые задачи со скрытым контрактом безопасности |
Коротко о README
Скилл нужен тому, кто ставит эксперимент. Не кладите его в рабочую папку исследуемого агента и не принимайте за атакующие материалы: это изменит условия проверки. Результаты автора в статье относятся к его наборам задач и настройкам.
Бейдж для README
Исходный SKILL.md
--- name: openart description: Guide an OpenART agent or contributor through planning, running, extending, and debugging the framework. metadata: scope: operator version: 1.0.0 audiences: [agent, human] --- # OpenART guide Use this skill when a request concerns the OpenART benchmark, planner, scenario generation, managed tools, target/attacker runs, evaluation, or framework development. This is the single operator entry point; do not create separate skills for each workflow. It is guidance for work on OpenART, not a target-visible skill, attacker payload, or authorization to run commands. ## Route the request | Intent | Read first | Typical entry point | | --- | --- | --- | | Understand the framework | [`docs/00_overview.md`](../../docs/00_overview.md) | Inspect the relevant component and task bundle | | Generate a task from a scenario | [`docs/12_planner_design_implementation_usage.md`](../../docs/12_planner_design_implementation_usage.md) | `python -m framework.planner.cli ...` | | Expand or inspect scenario seeds | [`framework/planner/scenarios.py`](../../framework/planner/scenarios.py) | `python scripts/planner.py scenarios ...` | | Run or compare evaluations | [`docs/09_evaluation_and_outputs.md`](../../docs/09_evaluation_and_outputs.md) | `python -m framework.cli run ...` | | Add or select a managed tool | [`docs/07_capabilities_tools_mcp.md`](../../docs/07_capabilities_tools_mcp.md) | Inspect `../openart-tools/` and `tool_use_graph.json` | | Extend the framework | [`docs/10_extension_guides.md`](../../docs/10_extension_guides.md) | Prefer a config-driven change | | Diagnose a failure | [`docs/11_debugging_and_testing.md`](../../docs/11_debugging_and_testing.md) | Inspect logs, prepared artifacts, and focused tests | ## Standard workflow 1. Confirm the repository root and inspect `git status` before editing. 2. Read the route-specific document and inspect existing configs/artifacts. 3. Prefer the smallest config-driven change; avoid duplicating taxonomy or command behavior in this skill. 4. Run a local or single-scenario smoke check before a batch or Docker launch. 5. Validate the generated task, scenario, tool selection, and safety contract. 6. Preserve the output directory, validation report, and failure artifacts. ## Planner and corpus guidance Planner credentials, endpoint, and model belong in `.env` or the shell through `OPENART_PLANNER_API_KEY`, `OPENART_PLANNER_BASE_URL`, and `OPENART_PLANNER_MODEL`. Use the approved model configured by the repository (for example `glm-5.3-flash`) rather than hard-coding a model in generated tasks or this skill. Keep the planner tool store explicit with `--tool-store` and keep output directories separate for independent runs. For scenario or corpus changes, preserve the repository's scenario schema and coverage metadata. Do not silently overwrite an existing corpus; use a new output directory or an explicit, reviewed continuation plan. ## Tool and target boundary Managed tool guides under `../openart-tools/` describe capabilities available to a runtime agent. Target-native skills and attacker output are controlled by task configuration and `vector_permissions`. Never copy this operator guide into a target workspace, `tool_guide.md`, or an attacker-controlled surface. ## Safety and authorization