RSI Eval CLI
Python SDK и CLI оценивают методы самоулучшения агентов на готовых бенчмарках: кандидат идет в evaluate(), оценки возвращаются.
- 470 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Оценка запускает код кандидата и задачи бенчмарков в контейнерах Docker.
- Прогоны расходуют токены и тарифицируются поставщиком моделей.
Установка
- Работает в
Ручная установка
python -m pip install -e '.[harbor]'Выполняется в клонированном репозитории; затем проверьте Docker и запустите `rsi-eval list`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Оценка запускает код кандидата и задачи бенчмарков в контейнерах Docker.
- Прогоны расходуют токены и тарифицируются поставщиком моделей.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
RSI Eval дает границу оценки для исследователей методов рекурсивного самоулучшения. Цикл строите вы: генерация кандидатов, память, отбор и правила остановки остаются вашими, а из своего кода вы вызываете `evaluate()`. SDK берет на себя запуск закрепленных задач и их проверку, возвращает оценки по каждой задаче, статус выполнения, расход токенов, вывод проверяющего и пути к траекториям. Каждая оценка сохраняет снимок кандидата и идентификаторы задач, чтобы эксперимент можно было продолжить после сбоя. Каталог содержит 24 конфигурации оценки и два помеченных наследных поднабора: Terminal-Bench 2.0 и 2.1, SWE-bench Verified, Multilingual и Pro, Aider Polyglot, LiveCodeBench, MMLU, GPQA, ARC-AGI, MGSM, DROP, FiNER, LawBench, EngDesign, JobBench и другие. Список с точными версиями и числом задач выводит `rsi-eval list`. В пакет входят шаблон кандидата для Codex и четыре интеграции методов, включая Meta-Harness.
Для кого. Исследователям агентов, которые разрабатывают методы самоулучшения и хотят гонять кандидатов на SWE-bench и Terminal-Bench без самописного исполнителя.
Подходит, если
- Метод самоулучшения агента нужно проверить на SWE-bench Verified и Terminal-Bench одним интерфейсом.
- Из своего цикла хочется получать оценки по задачам, расход токенов и траектории в общем формате.
- Эксперимент остановился на сбое, и его надо продолжить с сохраненного состояния.
- Для задач Codex нужен готовый шаблон кандидата и интеграция Meta-Harness.
Не подходит, если
- Нужен единичный прогон одного бенчмарка без цикла самоулучшения.
- Нет Docker: он нужен исполнителю задач по умолчанию.
- Ждете готового оптимизатора: SDK его не содержит.
Пример запроса к агенту
Покажи `rsi-eval list`, выбери три задачи SWE-bench Verified и прогони текущего кандидата через `evaluate()` с логом токенов.Ограничения
Для запуска оценок нужен дополнительный пакет `harbor` (`python -m pip install -e ".[harbor]"`), он закрепляет Harbor 0.18.0 и требует исполняемого файла в PATH. Задачи по умолчанию идут в Docker: на Linux нужны Docker Engine с Compose и Buildx, на macOS Docker Desktop или Colima. Репозитории методов и материалы бенчмарков загружаются отдельно на этапе подготовки. Многим конфигурациям нужны ключи моделей, а прогоны на больших бенчмарках расходуют токены. Последний коммит в репозитории: октябрь 2026.
Как отключить. Выполните `pip uninstall rsi-eval` и удалите папки экспериментов вместе со снимками кандидатов.
Частые вопросы
Как установить RSI Eval?
Из клонированного репозитория: `python -m pip install -e ".[harbor]"`. Дополнение `harbor` закрепляет Harbor 0.18.0, его исполняемый файл должен лежать в PATH.
Какие бенчмарки поддерживаются?
Terminal-Bench 2.0 и 2.1, SWE-bench Verified, Multilingual и Pro, Aider Polyglot, LiveCodeBench, MMLU, GPQA, ARC-AGI, MGSM, DROP, FiNER, USPTO, LawBench, EngDesign-Open, JobBench, Harvey LAB, APEX и другие.
Нужен ли свой оптимизатор?
Да. SDK задает границу оценки, а цикл самоулучшения, память и правила остановки вы пишете сами. Базового класса оптимизатора в нем нет.
Что возвращает evaluate()?
Оценки по задачам, статус выполнения, расход токенов, вывод проверяющего и пути к траекториям в общем формате. Снимок кандидата сохраняется для восстановления.
Где запускаются задачи?
По умолчанию в Docker. На Linux ставят Docker Engine с Compose и Buildx, на macOS Docker Desktop или виртуальную машину Colima.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыPython-CLI замеряет, что скилл меняет в ответах: гоняет случай с ним и без него, ищет утечку ответа в промпте и сравнивает отчеты
Девять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
OpenEval гоняет кодовых агентов по вашим задачам с правилами оценки и записывает стоимость, токены и надежность инструментов
Набор Microsoft для проверки RAG-систем: генерирует вопросы к данным и оценивает ответы моделью-судьей, есть три скилла
Набор скиллов для оценки качества ИИ-продукта: рубрика, датасет, коды ошибок, код-проверки и LLM-судьи с калибровкой.
Прогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
Коротко о README
Единый интерфейс оценки для методов самоулучшения агентов: 24 конфигурации бенчмарков, общий формат результатов и восстановление после сбоя.