WikiSkill CLI
Консольная программа гоняет агента по задачам и меняет его скиллы, пока проверка на отложенных задачах не подтвердит прирост
- 285 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Запускает агента с автоматическим одобрением действий, для Codex это флаг `--full-auto`, и агент пишет файлы в рабочем пространстве
- Откат изменений идет через `git reset --hard` внутри пространства, поэтому там нельзя держать несохраненную работу
- Каждая итерация вызывает платную модель на всех задачах набора
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/wikiskillОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Запускает агента с автоматическим одобрением действий, для Codex это флаг `--full-auto`, и агент пишет файлы в рабочем пространстве
- Откат изменений идет через `git reset --hard` внутри пространства, поэтому там нельзя держать несохраненную работу
- Каждая итерация вызывает платную модель на всех задачах набора
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
WikiSkill — реализация статьи Google Research об эволюции навыков агента на Python. Программа запускает вашего агента на обучающих задачах, сохраняет его трассы выполнения и передает их агенту-архивариусу. Тот переносит найденные причины сбоев и исправления в вики из страниц-шаблонов. Затем агент-предлагатель читает вики и трассы и предлагает одно изменение: создать скилл или поправить существующий. Изменение проходит проверку на отложенных задачах. Результат должен строго превысить лучший из прежних, иначе откат через `git reset --hard` вернет скиллы к прежнему набору. Вики при откате остается: знания копятся, а в скиллы попадают только подтвержденные правки. Агент и в роли ученика, и в роли учителя один и тот же. Команды `wikiskill init`, `status`, `evolve`, `run-task`, `compare` и `transfer` создают рабочее пространство, показывают состояние, запускают цикл, прогоняют одну задачу, сравнивают два прогона и переносят скиллы между пространствами. В демонстрационный набор входят 22 задачи с автоматической проверкой. Свои задачи вы описываете в JSON. Бэкенды: Hermes Agent как основной, а также Claude Code, Codex и GitHub Copilot CLI.
Для кого. Для тех, кто пишет скиллы для агента и хочет проверять правки на задачах с автоматической оценкой, а не на ощущении.
Подходит, если
- Нужно поручить агенту доработку собственных скиллов и принимать только правки, которые подняли оценку на отложенных задачах
- Есть набор задач с автоматической проверкой: сравнение с эталонным файлом, поиск строки, поле в JSON или запуск полученного скрипта
- Нужно сравнить два прогона парным тестом и узнать, помог ли скилл на самом деле
- Скиллы, выращенные на одном агенте, надо перенести на другого командой `wikiskill transfer`
- Хочется ночью запускать эволюцию по расписанию, для Hermes в репозитории есть заметка про cron
Не подходит, если
- Задачи нельзя проверить автоматически: цикл опирается на числовую оценку проверяющего
- Нужен готовый набор проверенных скиллов: пять скиллов из репозитория выведены из логов, ни один не принят проверкой
- Нет времени и бюджета на десятки прогонов агента: один шаг эволюции вызывает его на каждой задаче набора
- Нужно изменить рабочий профиль агента на ходу: WikiSkill работает в отдельном изолированном профиле
Пример запроса к агенту
Создай рабочее пространство командой wikiskill init demo --backend claude, запусти wikiskill evolve --iters 3 и расскажи, какие скиллы прошли проверку, а какие откатилисьОграничения
Нужен Python 3.10 или новее и один из поддерживаемых агентов, уже установленный и авторизованный: `hermes`, `claude auth login`, `codex login` или `copilot login`. Модель оплачивается по тарифу вашего агента. В описании приведена цена порядка 0,09 доллара за итерацию на слабой бесплатной модели через OpenRouter.
Живые прогоны в README пока не принесли принятых скиллов: гейт отклонял либо нейтральные, либо вредные предложения, а в одном запуске предлагатель отказался что-либо менять. Автор отмечает, что накопление знаний требует модели сильнее. Один запуск признан недействительным из-за ошибки самого фреймворка, ее исправили и закрыли тестом.
В версиях PyPI до 0.1.5 в пакет не входили скиллы фреймворка, поэтому такие рабочие пространства нужно пересоздать командой `init`. OpenCode в плане, но не поддерживается.
Как отключить. Удалите пакет командой `pip uninstall wikiskill` и папку `workspaces/` в каталоге запуска. Профиль самого агента программа не трогает: каждое пространство получает собственный изолированный профиль.
Частые вопросы
Что такое WikiSkill и откуда взята идея?
Это реализация статьи WikiSkill с препринта arXiv 2608.27454, написанной в Google Research. Идея: опыт агента копится в постоянной вики, а скиллы меняются по циклу из четырех шагов. Агент выполняет задачи, архивариус собирает трассы в вики, предлагатель правит один скилл, гейт принимает правку или откатывает.
Почему вики не откатывается вместе со скиллами?
Знания о причинах сбоев ценны, даже когда конкретная правка скилла не помогла. Отклоненные предложения целиком сохраняются в файле `wiki/skill-impact.md`, чтобы следующий предлагатель не повторил их.
С какими агентами работает WikiSkill?
Основной бэкенд Hermes Agent. Кроме него есть Claude Code через `claude -p`, Codex через `codex exec --json --full-auto` и GitHub Copilot CLI через `copilot -p -s`. Бэкенд закрепляется при создании пространства флагом `--backend`, его можно сменить в `evolve`.
Какие задачи можно подключить и как их оценивать?
Задачи лежат в `tasks.json`: идентификатор, раздел train или val, текст, файлы песочницы и проверяющий. Проверяющие бывают `exact`, `contains`, `json_field` и `code_stdout`, последний запускает созданный скрипт. Не сданный результат получает ноль и не роняет прогон.
Как поставить скиллы из репозитория в Hermes?
Репозиторий служит источником скиллов для Hermes. Выполните `hermes skills tap add ashutoshsinghpr7/wikiskill`, затем `hermes skills install ashutoshsinghpr7/wikiskill/skills/wikiskill-evolve` и так по одной команде на нужный скилл. Автор оговаривает, что принятых гейтом среди них пока нет.
Как проверить, помог ли скилл?
Команда `wikiskill compare` берет два пространства и считает по каждой задаче выигрыш, проигрыш или ничью. В конце выводится двусторонний точный биномиальный p-value.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыСкилл для создания, проверки и улучшения других скиллов: сначала архитектура, потом тесты, оценка и упаковка
CLI-менеджер скиллов для ИИ-агентов: установка из репозиториев, перевод между форматами разных агентов и раскладка в их конфигурацию
Два скилла подбирают другие скиллы под задачу: облачный скачивает их из индекса и собирает отзыв, локальный ищет по вашим папкам с SKILL.md
Self-learning
self-learning-skills
Мета-скилл, который после трудной задачи сохраняет найденный рабочий путь в новый скилл или правило для следующих сессий
Терминальная панель на Go для скиллов агентов: список, проверка, обновление и поиск новых в одном окне
Darwin Skill
darwin-skill
Скилл для улучшения других скиллов: оценка SKILL.md по девяти критериям, правка, проверка тестовыми запросами и откат
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| WikiSkill (эта запись) | нет | 285 | |
| Hermes Agent | нет | 258 249 | сам ИИ-агент, для которого WikiSkill растит скиллы |
| Self-Improving Agent | нет | 782 | скилл самоулучшения внутри сессии без отложенных задач и отката |
Коротко о README
README начинается с описания цикла из четырех шагов и схемы эволюции, затем идут быстрый старт и таблица команд. Дальше собраны живые результаты с отказами гейта, решения по устройству, таблица бэкендов и список готовых скиллов. Завершает дорожная карта с отметками выполненного.