Autoresearch для скиллов

autoresearch

Скилл, который улучшает другой скилл: гоняет его на тестовых запросах, оценивает бинарными проверками и правит промпт

  • 980 ★ репозитория
  • Последний коммит
Скилл

Расширенный доступ

Почему такой уровень

  • Многократно запускает другой скилл и переписывает его SKILL.md
  • Может расходовать много токенов без заданного лимита
Все причины и проверки
Нужен VPN

olelehmann1337/autoresearch-skill

Установка

Работает в

Ручная установка

git clone https://github.com/olelehmann1337/autoresearch-skill ~/.claude/skills/autoresearch

Затем создайте ~/.claude/skills/autoresearch/references/ и перенесите туда eval-guide.md.

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Многократно запускает другой скилл и переписывает его SKILL.md
  • Может расходовать много токенов без заданного лимита

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Скилл переносит подход autoresearch Андрея Карпаты с обучения моделей на промпты скиллов Claude Code. Сначала он собирает у пользователя путь к целевому SKILL.md, 3-5 тестовых запросов и 3-6 проверок вида да или нет. Затем в цикле запускает скилл, оценивает каждый результат, вносит одну правку в промпт и оставляет ее, только если счет вырос. На выходе получается улучшенный SKILL.md, журнал результатов results.tsv, changelog всех попыток и HTML-дашборд для наблюдения за прогрессом.

Для кого. Для авторов скиллов, у которых скилл срабатывает нестабильно и нужно поднять качество измеримо.

Подходит, если

  • Скилл иногда выдает плохой результат и непонятно, что править
  • Нужно сравнить версии промпта по одинаковым проверкам
  • Нужно написать набор бинарных тестов для скилла

Не подходит, если

  • Качество результата нельзя свести к проверкам да или нет
  • Бюджет на токены ограничен: цикл запускает скилл десятки раз

Пример запроса к агенту

Запусти autoresearch на моем скилле ~/.claude/skills/newsletter/SKILL.md, бюджет 10 циклов

Ограничения

Отдельного README нет, вся документация внутри SKILL.md и eval-guide.md. Цикл по умолчанию не ограничен числом итераций и расходует много запросов к модели, лимит стоит задать заранее. SKILL.md ссылается на references/eval-guide.md, а в репозитории файл лежит в корне, при установке его стоит переложить. Работа Claude Code из России требует VPN.

Как отключить. Удалите папку autoresearch из ~/.claude/skills/.

Частые вопросы

Почему проверки только бинарные?

Шкалы оценок шумят между запусками, а да или нет дает стабильный счет, по которому можно сравнивать правки.

Сколько запусков на одну правку?

По умолчанию пять, число можно изменить до старта.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы

Darwin Skill

darwin-skill

Скилл для улучшения других скиллов: оценка SKILL.md по девяти критериям, правка, проверка тестовыми запросами и откат

СкиллРасширенный доступ6,7 тыс.Звезды репозитория

Скилл для создания, проверки и улучшения других скиллов: сначала архитектура, потом тесты, оценка и упаковка

СкиллРасширенный доступ198Звезды репозитория

Скилл для создания скиллов, который проверяет их работой: замер до и после, регрессионные тесты и аудит экосистемы

СкиллРасширенный доступ914Звезды репозитория

Self-learning

self-learning-skills

Мета-скилл, который после трудной задачи сохраняет найденный рабочий путь в новый скилл или правило для следующих сессий

СкиллРасширенный доступ971Звезды репозитория

Скилл, который помогает агенту писать другие скиллы по спецификации agentskills.io: структура, метаданные, прогрессивная подача и проверка

СкиллМинимальный доступ2,3 тыс.Звезды репозитория

CLI и Python SDK для поиска, установки, создания и оценки переиспользуемых скиллов агентов из общей библиотеки

CLIРасширенный доступ1,4 тыс.Звезды репозитория

Коротко о README

README в репозитории нет. SKILL.md описывает сбор контекста перед стартом, построение набора проверок, базовый прогон, цикл мутаций и формат выходных файлов. eval-guide.md объясняет, как формулировать хорошие бинарные проверки и каких ошибок избегать.

Бейдж для README

Исходный SKILL.md

---
name: autoresearch
description: "Autonomously optimize any Claude Code skill by running it repeatedly, scoring outputs against binary evals, mutating the prompt, and keeping improvements. Based on Karpathy's autoresearch methodology. Use when: optimize this skill, improve this skill, run autoresearch on, make this skill better, self-improve skill, benchmark skill, eval my skill, run evals on. Outputs: an improved SKILL.md, a results log, and a changelog of every mutation tried."
---

# Autoresearch for Skills

Most skills work about 70% of the time. The other 30% you get garbage. The fix isn't to rewrite the skill from scratch. It's to let an agent run it dozens of times, score every output, and tighten the prompt until that 30% disappears.

This skill adapts Andrej Karpathy's autoresearch methodology (autonomous experimentation loops) to Claude Code skills. Instead of optimizing ML training code, we optimize skill prompts.

---

## the core job

Take any existing skill, define what "good output" looks like as binary yes/no checks, then run an autonomous loop that:

1. Generates outputs from the skill using test inputs
2. Scores every output against the eval criteria
3. Mutates the skill prompt to fix failures
4. Keeps mutations that improve the score, discards the rest
5. Repeats until the score ceiling is hit or the user stops it

**Output:** An improved SKILL.md + `results.tsv` log + `changelog.md` of every mutation attempted + a live HTML dashboard you can watch in your browser.

Сообщить о проблеме

Foxx AIAutoresearch для скиллов
Foxx AI

Я Foxx AI и уже разобрал этот инструмент. Спросите про установку, настройку или что угодно еще, отвечу простыми словами.