Inference Autopilot — скилл
Inference Autopilot подбирает параметры запуска SGLang под вашу видеокарту и нагрузку и выдает команду с доказательствами.
- 142 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Прогон запускает серверы SGLang и нагружает GPU, что занимает много времени и ресурсов.
- Выводы об оптимальной конфигурации нужно проверять на своей нагрузке перед продом.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/inference-autopilotОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Прогон запускает серверы SGLang и нагружает GPU, что занимает много времени и ресурсов.
- Выводы об оптимальной конфигурации нужно проверять на своей нагрузке перед продом.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Inference Autopilot (`inferopt`) — CLI и агентский скилл для оптимизации инференса на SGLang, на одном или нескольких узлах. Пользователь задает модель, GPU, типовую нагрузку, SLO по задержкам и бюджет экспериментов. Инструмент проверяет осуществимость, замеряет базовую конфигурацию, снимает профиль Nsight Systems и находит узкое место. Дальше подбираются механизмы и значения параметров, а победитель подтверждается окнами ABBA и байесовской проверкой. Результат — отчет `report.md`, `final.json` и готовая команда запуска, либо вывод оставить базовый вариант. `SKILL.md` ведет агента через `inferopt init`, `doctor`, `plan`, `run` и `report`.
Для кого. Инженерам MLOps и командам, которые сами разворачивают LLM на SGLang и хотят менять параметры по замерам, а не по догадке.
Подходит, если
- Новая модель разворачивается на своих GPU, и стартовые параметры SGLang неочевидны.
- Задержка p99 выходит за SLO, а причина неизвестна.
- После обновления SGLang нужно перепроверить параметры под текущую версию.
- Агент пишет план эксперимента и следит за ходом прогона, не принимая решений за человека.
- Результат оптимизации нужен как воспроизводимый отчет с логами и профилем.
Не подходит, если
- Нет локального SGLang и модели, совместимой с ним.
- Нужно настроить AMD-карты автоматически: профилирование и подбор для них пока не реализованы.
- Требуется выкатка в продакшен: оркестрацию раскатки, адаптеры Kubernetes и Slurm проект не включает.
Пример запроса к агенту
Подготовь задачу inferopt для модели на двух GPU с SLO p99 TTFT 500 мс, выполни `doctor` и `plan` и покажи план до старта экспериментов.Ограничения
Нужны Python 3.9 или новее, локальный SGLang, совместимая модель и GPU NVIDIA с Nsight Systems (`nsys`) в `PATH`. Автоподбор и профилирование для AMD не реализованы. Результат относится только к записанной модели, версии SGLang, железу, нагрузке и бюджету и не универсален. Сменяющие точность кандидаты включаются отдельно и требуют проверки качества. Артефакты прогона содержат пути к моделям и детали нагрузки, храните каталог закрытым.
Как отключить. Удалите скилл из каталога скиллов агента и пакет командой `pip uninstall`. Каталоги с результатами прогонов очистите вручную.
Частые вопросы
Нужен ли агент для работы инструмента?
Нет. CLI полностью самостоятелен; скилл `SKILL.md` лишь помогает собрать входные данные, проверить план, следить за прогоном и объяснить доказательства.
Какие цели оптимизации есть?
`online_latency` ищет конфигурацию с учетом SLO, `offline_throughput` максимизирует пропускную способность, с ограничениями по задержке или ошибкам по желанию.
Сколько длится эксперимент?
Зависит от интенсивности: `fast` по умолчанию 24 пробы, `balanced` 40, `max` 96. Критерии приемки у всех режимов одинаковые.
Безопасно ли запускать `inferopt run`?
Команды `doctor` и `plan` только читают. `run --yes` запускает лишь процессы текущего эксперимента, не ставит пакеты, не трогает драйверы и веса и не убивает чужие процессы.
Поддерживает ли он несколько узлов?
Да. Запускается по одному процессу на узел через `torchrun` или планировщик, а отчет выдает отдельную команду для каждого узла.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыGPU-профайлер для ИИ-агентов: агент запускает vLLM или SGLang под graphsignal-run, читает метрики и подбирает флаги для скорости
Скилл включает и выключает инстансы AutoDL по просьбе на обычном языке, ведет бюджет и гасит простаивающую машину.
CLI и скилл для вычислительной платформы Inspire: агент создает ноутбуки, задачи обучения и сервисы без кликов в вебе.
Скиллы агента: запуск, замеры и профилирование моделей Hugging Face на видеокартах Intel Arc, плюс перенос кода с CUDA на XPU.
CLI Glyd запускает языковые модели на NVIDIA GPU со сжатыми весами и кешем, чтобы уменьшить расход видеопамяти.
Официальный скилл Vast.ai: агент ищет GPU-предложения, арендует экземпляры и управляет ими через vastai.
Коротко о README
Готовых лучших конфигураций инструмент не хранит, он описывает процесс: правила выбираются по живым данным развертывания, а каждый кандидат проходит совместимость, замер и статистические проверки.
Бейдж для README
Исходный SKILL.md
--- name: inference-autopilot description: Analyze, benchmark, diagnose, and optimize large-model inference deployments from hardware inventory, model details, workload traces, and latency or throughput SLOs. ---