AI-Infra-Auto-Driven-SKILLS
Десять скиллов для LLM-инференса: сравнение SGLang и vLLM на одной нагрузке, разбор профайлера, расчет памяти и история PR.
- 1 168 ★ репозитория
- Последний коммит
Минимальный доступ
Почему такой уровень
- Бенчмарки и профилирование запускают тяжелые нагрузки на GPU, следите за расходом ресурсов.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/ai-infra-auto-driven-skillsОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемМинимальный доступИнструмент ничего не запускает и не ходит в сеть.
- Бенчмарки и профилирование запускают тяжелые нагрузки на GPU, следите за расходом ресурсов.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Набор из десяти скиллов в виде обычных папок `SKILL.md` дает агенту рабочую память для задач по инфраструктуре ИИ: инференс моделей в SGLang, vLLM, TensorRT-LLM и TokenSpeed. Скиллы сравнивают фреймворки на одной нагрузке, одних GPU и общем SLA, находят лучшую команду запуска для модели, объясняют по логам расход памяти на старте, бюджет KV-кэша и причины OOM. Другие скиллы читают трассы torch profiler и выдают таблицы ядер, возможностей перекрытия и слияния с проверкой по каталогу известных оптимизаций, разбивают трассу на проходы, слои и ядра с диапазонами для Perfetto, оценивают формы операторов, FLOPs и MFU. Отдельные скиллы превращают новую архитектуру модели в план PR для поддержки в SGLang в первый день, разбирают рост очередей, таймауты и зависания в продакшене, возвращают публичные схемы архитектур популярных моделей и делают объясняющее видео по PR SGLang. В каталоге `model-pr-optimization-history` собраны 118 двуязычных досье: SGLang 45, vLLM 44, TensorRT-LLM 15, TokenSpeed 14. В каждом перечислены файлы реализации семейства модели и все изменявшие их PR. Поиск идет командой `python3 scripts/query.py --framework vllm "qwen3 fused qk norm"`.
Для кого. Инженерам по инференсу и ML-инфраструктуре, которые настраивают развертывание LLM и разбирают узкие места на GPU с помощью агента.
Подходит, если
- Выбираете между SGLang и vLLM для модели и нужен сравнительный прогон на одинаковых условиях.
- Сервер упал по памяти при старте, и надо понять бюджет KV-кэша по логам.
- Есть трасса profiler, и нужно найти ядра, где можно слить операции.
- Выходит новая архитектура модели, и нужен план поддержки в SGLang.
- Перед правкой пути модели хочется посмотреть, какие PR уже решали похожую задачу.
Не подходит, если
- Задачи не про инференс LLM: скиллы узко заточены под SGLang, vLLM, TensorRT-LLM и TokenSpeed.
- Нет доступа к GPU: бенчмарки и профилирование требуют реального железа.
- Нужны общие знания о ML без привязки к фреймворкам инференса.
Пример запроса к агенту
Используй llm-serving-auto-benchmark и найди лучшую команду запуска нашей модели в SGLang и vLLM на 8 GPU под SLA в 200 мс.Ограничения
Утверждения о производительности привязаны к конкретной модели, железу, точности, нагрузке и ревизии фреймворка, переносить их на другие условия нельзя. Новые записи истории PR помечаются как списки источников, ожидающие ручной проверки диффов. Для видео нужны HyperFrames и edge-tts. Лицензия в метаданных GitHub не определена, условия смотрите в файле LICENSE. Тексты частично на китайском. Часть скиллов рассчитана на запуск на сервере с GPU, а не на ноутбуке.
Как отключить. В Claude Code выполните `/plugin uninstall ai-infra-auto-driven-skills`. При ручной установке удалите символические ссылки на скиллы из каталога скиллов агента.
Частые вопросы
Какие фреймворки покрыты?
SGLang, vLLM, TensorRT-LLM и TokenSpeed, отдельные скиллы затрагивают FlashInfer и диффузионные модели SGLang.
Что в истории PR?
118 двуязычных досье по семействам моделей со списком файлов реализации и всех PR, меняющих их.
Как искать по истории PR?
Командой `python3 scripts/query.py --framework vllm "qwen3 fused qk norm"` в каталоге `model-pr-optimization-history`.
Как проверяются выводы?
Записи бенчмарков хранят модель, коммит фреймворка, GPU, нагрузку, SLA и сырые артефакты, отчеты профайлера разделяют prefill и decode.
Работает ли вне Claude Code?
Да, папки скиллов можно связать с каталогом любого агента: Claude Code, Codex, Kimi и других.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыНабор из восьми скиллов для ИИ-инфраструктуры: ядра GPU на TileLang, память Megatron, обучение в SLIME и схемы.
AI Research Skills
AI Research Skills Library
98 скиллов для ML-исследований: от идеи и обучения моделей до инференса, оценки и написания статьи
Скилл спрашивает ChatGPT и Gemini до того, как Claude покажет план, сопоставляет три мнения и выдает общий план с указанием вклада каждой модели
agentperf-local меряет, как быстро ваш компьютер обслуживает ИИ-агента, на записанных диалогах: скорость и задержки
Аудит кэширования промптов
LLM Cache Audit Skill
Скилл для Codex и Claude Code, который ищет в коде и настройках причины промахов кэша промптов LLM и предлагает проверку
Десять скиллов MLflow учат агента ставить трассировку, разбирать падения и оценивать качество GenAI-приложений
Коротко о README
Авторы подают набор как операционную память для ИИ-инфраструктуры: честные бенчмарки, разбор профайлера, план поддержки модели и 118 досье PR. Есть правила доказательств для выводов о производительности.