Pier CLI
Форк Harbor для оценки кодовых агентов в песочницах: Claude Code, Codex и другие запускаются в задачах без интернета.
- 231 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Прогоны запускают код агентов в песочницах docker или modal и тратят платные токены моделей.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/pierОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Прогоны запускают код агентов в песочницах docker или modal и тратят платные токены моделей.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Pier читает формат задач Harbor и прогоняет по ним испытания кодовых агентов в изолированных средах. Команда `pier run -p path/to/task --agent claude-code --env modal` запускает задачу, `--n-tasks 10 --sample-seed 0` берет детерминированную случайную выборку из локального набора. Отличие от Harbor в трех вещах. Агенты, которые работают внутри песочницы, объявляют скрипты установки и список разрешенных адресов, и среды `docker` и `modal` учитывают их, поэтому Claude Code и Codex работают в задачах с `allow_internet = false`. Траектории пишутся в расширенном формате ATIF v1.7: один шаг на ответ API, рассуждения отделены от сообщений агента, добавлены `peak_context_tokens` и `llm_call_count`. Есть чат-просмотр траекторий `pier view` и `pier critique run`, который разбирает завершенные испытания свежим агентом в свежей песочнице. Поддержаны агенты `claude-code`, `codex`, `cursor-cli`, `gemini-cli`, `opencode`, `mini-swe-agent` и служебные `nop` и `oracle`.
Для кого. Исследователям и инженерам, которые строят бенчмарки для кодовых агентов и сравнивают их на задачах без доступа в интернет.
Подходит, если
- Claude Code надо прогнать по задачам DeepSWE в закрытой песочнице без сети.
- Для набора задач в формате Harbor нужна выборка из десяти задач с фиксированным зерном.
- Траектории прогона требуются в строгом формате с подсчетом токенов контекста.
- Завершенные испытания хочется разобрать отдельным агентом в чистой среде.
Не подходит, если
- Нужны наборы задач из реестра Harbor напрямую: Pier их не скачивает, их загружают через Harbor.
- Агент нужен для обычной работы без оценки: Pier служит для испытаний.
- Среды кроме `docker` и `modal` нужны: другие пока не описаны.
Пример запроса к агенту
Прогони Claude Code по каталогу задач datasets/swebenchpro на среде modal, десять случайных задач с зерном 0.Ограничения
Pier сегодня умеет читать локальные каталоги задач в формате Harbor, наборы из реестра Harbor сначала скачивают самим Harbor командой `harbor download`. Поддержаны среды `docker` и `modal`. Для запуска агентов нужны их ключи, например `ANTHROPIC_API_KEY`, и это платные вызовы моделей. Проект открытый и молодой, команды могут меняться, актуальный список выдает `pier run --help`. Лицензия Apache-2.0, последний коммит сделан в октябре 2026.
Как отключить. Удалите пакет командой `uv tool uninstall datacurve-pier` или `pip uninstall datacurve-pier`. Результаты прогонов лежат в каталоге `jobs/` и удаляются отдельно.
Частые вопросы
Как установить Pier?
Выполните `uv tool install datacurve-pier` или `pip install datacurve-pier`. Пакет опубликован на PyPI.
Чем Pier отличается от Harbor?
Он поддерживает агентов, установленных внутри песочницы без интернета, пишет траектории ATIF v1.7 и добавляет `pier view` и `pier critique run`.
Какие агенты поддержаны?
`claude-code`, `codex`, `cursor-cli`, `gemini-cli`, `opencode`, `mini-swe-agent`, а также служебные `nop`, `oracle` и `antigravity-sdk`.
Где лежат результаты?
В каталоге `jobs/` по иерархии запусков. Просмотреть их можно через `pier view`.
Как взять набор из реестра Harbor?
Скачайте его самим Harbor командой `harbor download swebenchpro -o datasets`, затем укажите путь через `pier run -p`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыПрогоняет Claude Code, Codex, Gemini и OpenCode по YAML-задачам в песочнице, оценивает результат и ставит проверку в CI
CLI Vercel для проверки кодинг-агентов на вашем фреймворке: запускает Claude Code, Codex и другие, считает долю успешных задач
CLI оценивает зрелость обвязки ИИ-агента в репозитории от L0 до L4: 36 проверок по файлам, без вызовов моделей и сети.
Хуки для Claude Code и Codex CLI ведут журнал действий агента и не принимают «готово» без пройденной проверки.
Стенд оценки кодинг-агентов: 26 компактных задач на 6 языках в контейнерах Docker, взвешенный балл и проверка целостности
Локальный прокси и просмотрщик трафика для кодинг-агентов: показывает системные промпты, вызовы инструментов и расход токенов Claude Code, Codex и других CLI
Коротко о README
CLI pier, совместимый с задачами Harbor: прогон Claude Code, Codex и других агентов в песочницах docker и modal с траекториями ATIF v1.7.