ML Engineering Skills
Два навыка по книге Стаса Бекмана: обучение больших моделей на кластере и приемочный прогон GPU-кластера с отчетом.
- 19 674 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- `evaluate-cluster` скачивает скрипты и запускает нагрузочные тесты на узлах кластера.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/ml-engineering-skillsОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- `evaluate-cluster` скачивает скрипты и запускает нагрузочные тесты на узлах кластера.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Репозиторий открытой книги Machine Learning Engineering содержит навыки для агента в каталоге `skills`. `ml-engineering` сводит опыт обучения BLOOM-176B и IDEFICS-80B в рабочую инструкцию: выбор ускорителей, хранилища и сети, SLURM и Kubernetes, пропускная способность и память, нестабильность и NaN, чекпоинты, зависания на нескольких узлах, инференс. `evaluate-cluster` проводит приемку пробных узлов: сбор окружения, замер FLOPS матричного умножения, пропускной способности all-reduce внутри и между узлами, тест `fio` на локальном и общем диске и датированный отчет в Markdown.
Для кого. ML-инженерам и администраторам GPU-кластеров, которые обучают или обслуживают большие модели и выбирают железо и облако.
Подходит, если
- Обучение дает низкий MFU, и надо найти узкое место: вычисления, память, сеть, диск или загрузчик данных.
- Во время запуска случился скачок потерь или NaN.
- Задача на нескольких узлах зависает на NCCL.
- Облачный провайдер дал пробные узлы, и их нужно проверить до покупки.
- Планируют размер инференса по задержке и пропускной способности.
Не подходит, если
- Задача про обычное приложение на одной видеокарте без распределенного обучения.
- Нужен пошаговый учебник по основам машинного обучения для новичка.
- Кластер чужой, и запускать на нем бенчмарки нельзя.
Пример запроса к агенту
Оцени пробный кластер на 2 узла: измерь FLOPS, all-reduce и диск и собери отчет с выводами.Ограничения
Навыки на английском и сжимают книгу, поэтому за подробностями и скриптами агент идет по ссылкам в главы на GitHub. `evaluate-cluster` требует свериться с копией на GitHub и скачивает скрипты, а затем запускает нагрузочные тесты на вашем кластере: подтверждайте это заранее. Советы в основном о GPU NVIDIA и AMD и крупных кластерах. Материал распространяется под лицензией CC BY-SA 4.0. Цифры производительности зависят от поколения железа, поэтому свежие замеры на своем кластере важнее таблиц из книги.
Как отключить. Удалите папки `ml-engineering` и `evaluate-cluster` из каталога навыков агента. Скачанные скрипты бенчмарков и отчеты удалите отдельно.
Частые вопросы
Как подключить навык?
Скопируйте нужный `SKILL.md` в каталог навыков агента либо укажите агенту ссылку на файл в GitHub. Корневой `SKILL.md` лишь перенаправляет на `skills/ml-engineering/SKILL.md`.
Что входит в набор?
Два навыка: `ml-engineering` для обучения и эксплуатации больших моделей и `evaluate-cluster` для приемки GPU-кластера.
Что измеряет evaluate-cluster?
FLOPS матричного умножения на каждой карте, all-reduce внутри и между узлами и `fio` на локальном и общем диске. Итог записывается в датированный отчет Markdown.
Подходит ли для отладки зависаний?
Да, `ml-engineering` разбирает зависания на нескольких узлах. Для приемов отладки вроде gdb и py-spy автор советует добавить навык The Art of Debugging.
Какая лицензия у материалов?
CC BY-SA 4.0. Копии и производные работы публикуйте под той же лицензией с указанием автора.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыMCP-сервер глобальной аналитики: новости, геополитические риски, рынки и инфраструктура как инструменты для агента
166 скиллов для научных задач: биоинформатика, хемоинформатика, клинические данные, геоданные и доступ к более чем 100 базам
Нативный клиент ClickHouse выполняет SQL и выгружает результат для аналитических запросов, подготовленных агентом.
Скилл Streamlit
developing-with-streamlit
Официальный скилл Streamlit, встроенный в библиотеку: создание, стилизация, отладка и ускорение приложений, ставится командой streamlit skills
CLI migrate применяет версионные изменения базы в заданном порядке и позволяет выбрать число шагов или целевую версию схемы.
Открытый MCP-сервер Google для баз данных: готовые инструменты для Postgres, MySQL, BigQuery, Spanner и других, плюс свои инструменты в tools.yaml
Коротко о README
Каталог `skills/README.md` перечисляет два навыка книги и советует скопировать `SKILL.md` в каталог агента или указать ссылку на GitHub.