optim-agent — скилл
Скилл и Python-пакет для подбора гиперпараметров: агент читает код, предлагает следующий набор значений, а результат измеряет ваш запуск
- 797 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Многократно запускает вашу команду оценки: на обучении модели это часы вычислений и деньги
- Пишет журналы проб в папку .optim-agent-runs проекта и дописывает ее в .git/info/exclude
- В режиме AgentSampler запускает установленного консольного агента на каждую пробу
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/optim-agentОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Многократно запускает вашу команду оценки: на обучении модели это часы вычислений и деньги
- Пишет журналы проб в папку .optim-agent-runs проекта и дописывает ее в .git/info/exclude
- В режиме AgentSampler запускает установленного консольного агента на каждую пробу
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
optim-agent подбирает параметры системы по измеримой цели, а роль выбирающего берет на себя кодовый агент: Claude Code, Codex или OpenCode. Подходит, когда у системы есть настраиваемые параметры и число, которое нужно увеличить или уменьшить: качество модели, задержка, стоимость, доходность стратегии. В режиме скилла агент читает точку запуска оценки и файлы с параметрами, записывает тип, допустимый диапазон и смысл каждого, а затем работает циклом. Цикл такой. Сначала агент подтверждает цель, направление, число проб, команду оценки и предел по времени и стоимости, потом измеряет исходную конфигурацию той же командой. Дальше он создает исследование через `oa.create_study` с хранилищем в `.optim-agent-runs/skill-study.json`, выбирает значения по коду и всей истории, берет пробу через `study.ask(params)` и отчитывается через `study.tell(trial, value)`. Упавшая проба помечается как failed, намеренно остановленная как pruned. Для шумных оценок скилл повторяет перспективные точки перед объявлением победителя. По окончании бюджета скилл выдает отчет: исходное значение, лучшее значение и параметры, число проб, упавшие и остановленные, ход сходимости и команду воспроизведения. Тот же пакет работает и без скилла: `oa.AgentSampler(backend="claude")` сам вызывает консольного агента и просит предложение значений в каждой пробе.
Для кого. Инженерам по машинному обучению, исследователям и разработчикам сервисов, у которых оценка одной конфигурации дорога и пробовать значения вслепую не хочется.
Подходит, если
- Нужно подобрать скорость обучения, размер пакета, регуляризацию и другие параметры обучения, а на каждый запуск уходит много времени
- Вы настраиваете выдачу модели: квантизацию, размер пакета, кэширование или маршрутизацию под задержку и стоимость
- Надо подогнать параметры количественной стратегии, пороги и правила ребалансировки под метрику на истории
- Есть скрипт, который по набору параметров печатает одно число, и нужен аудируемый журнал всех проб
Не подходит, если
- Нет измеримой цели: результат пробы должен быть числом от вашей команды оценки, скилл не придумывает и не поправляет значения сам
- Нужно заменить алгоритм обучения с подкреплением: автор оговаривает, что optim-agent настраивает систему вокруг цикла обучения, а политику не обучает
- Нет авторизованного консольного агента: для режима `AgentSampler` нужен один из `claude`, `codex` или `opencode` в PATH
- Оценка одной пробы мгновенна и дешева: классические методы вроде случайного поиска подойдут без затрат на вызовы агента
Пример запроса к агенту
Подбери с optim-agent скорость обучения и размер пакета для train.py, цель минимизировать val_loss, бюджет 20 пробОграничения
Версия пакета 0.2.0, в метаданных статус Alpha, Python 3.9 или новее, лицензия MIT.
Скилл исполняет вашу команду оценки на каждой пробе, поэтому цена и время определяются ею: бюджет проб и предел по стоимости нужно задать до первого запуска. Запуски оценки не должны задевать рабочую конфигурацию, держите их отдельно.
Последовательные пробы идут по умолчанию, потому что каждое предложение использует всю прежнюю историю. Для нескольких процессов нужно хранилище SQLite (`skill-study.db`). Файлы пробы лежат в `.optim-agent-runs/`, а скилл при первом запуске дописывает эту папку в `.git/info/exclude`.
Скилл не настраивает секреты, учетные данные и параметры без границ. Приведенные автором сравнения с TPE и случайным поиском сделаны на функциях Branin и Ackley, MNIST, CIFAR-10 и двух средах Gymnasium: на ваших задачах такой выигрыш не гарантирован.
Как отключить. Для Claude Code отключите плагин через `/plugin`, для Codex удалите папку скилла из каталога скиллов. Пакет удаляет `python -m pip uninstall optim-agent`. Журналы проб остаются в `.optim-agent-runs/` проекта, их удаляйте сами.
Частые вопросы
Чем подбор агентом отличается от Optuna и случайного поиска?
Агент опирается на смысл параметров, который вы описываете в подсказках `context`, и на историю проб, а не только на числа. Автор сравнивает подход с TPE и случайным поиском на нескольких задачах и подчеркивает, что без подсказок результат хуже.
Что будет, если агент предложит значение вне диапазона?
Пакет проверяет предложение по заявленному пространству параметров и при неверном ответе агента переходит на безопасную выборку. Агент только предлагает значения, а измеренный результат остается решающим.
Как продолжить исследование после обрыва?
Хранилище JSON записывает пробу в момент `study.tell`. Перед дорогим запуском скилл сохраняет параметры, команду и путь вывода в папке пробы, после обрыва проверяет вывод и либо записывает готовый результат, либо запускает пробу заново.
Какие агенты поддерживаются?
В режиме скилла Claude Code, Codex, OpenCode и OpenClaw, любой агент, который читает файлы проекта и выполняет команды оболочки. Для `AgentSampler` указывается бэкенд `claude`, `codex` или `opencode`.
Нужна ли платная модель?
Для `AgentSampler` нужен один авторизованный консольный агент. Автор отдельно измерил модели из пула OpenCode, помеченные как бесплатные, и отмечает, что этот пул меняется.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыHigh-Stakes Analytics Lab
High-Stakes Analytics & Decision Lab
Скилл доказательной аналитики для решений с высокой ценой ошибки: профилирует данные, выбирает метод под них, может ответить отказом или запросом данных
Скилл для агента: превращает статью с arxiv в минимальную реализацию на Python, где код привязан к разделам и формулам, а неуказанные места честно помечены
Auto-Empirical Research Skills
Auto-Empirical Research Skills (AERS)
Плагин-маркетплейс для эмпирических исследований в соцнауках: причинно-следственный анализ, эконометрика, оформление статьи под топовые журналы
166 скиллов для научных задач: биоинформатика, хемоинформатика, клинические данные, геоданные и доступ к более чем 100 базам
SciPilot Figure
scipilot-figure-skill
Скилл-советник по научной визуализации: сначала разбирает данные и подбирает тип графика под вывод, потом рисует его на уровне журнальных требований
Библиотека скиллов для медицинских исследований: поиск и разбор литературы, планирование исследований, анализ данных и написание научных статей
Коротко о README
Описание проекта на английском переведено еще на восемь языков, среди них русский. Оно содержит способы установки, пример на Python, таблицу областей применения и подробные сравнения с TPE и случайным поиском: функции Branin и Ackley, классификаторы MNIST и CIFAR-10, контроллеры Q-обучения. В репозитории также лежат примеры, тесты, воспроизводимые эталоны, научная статья и план развития.
Бейдж для README
Исходный SKILL.md
--- name: optim-agent description: Use when the user wants to optimize configurable system parameters against a measurable scalar objective, especially for model training, inference, quantitative strategies, reinforcement learning, scientific workflows, or other expensive black-box evaluations where reading the project can improve trial selection. --- # optim-agent Act as the sampler inside any coding-agent session: Claude Code, Codex, OpenCode/OpenClaw, or another agent that can read project files and run shell commands. Read the project to understand parameter meaning and interactions, propose one configuration, run the real evaluator, and record the result through optim-agent's ask/tell API. Let the measured objective, not the agent's intuition, decide what works. ## Load the workflow Use this file as the operating guide for the active coding agent. In Codex, it can be installed directly from GitHub: ```text $skill-installer install https://github.com/Optim-Agent/optim-agent ``` In Claude Code, OpenCode/OpenClaw, or another coding-agent environment, place this repository or `SKILL.md` in the agent-visible workspace and ask the agent to follow the optim-agent workflow. The workflow does not depend on Codex-only APIs; it needs file access, shell access, and Python. Ensure the Python package is importable. Choose one source; do not install both: