create-llm CLI

Установка

npx skillfoxx add cli/create-llm

Что делает

create-llm создает структуру проекта для обучения собственной языковой модели. Пользователь выбирает размер шаблона и токенизатор, после чего получает код подготовки данных, обучения, оценки и генерации текста. Настройки модели и запуска находятся в одном конфигурационном файле. В готовом проекте есть сохранение контрольных точек и мониторинг через TensorBoard. Разработчик добавляет свои тексты, обучает токенизатор и запускает обучение отдельно; сама генерация папок еще не создает обученную модель.

Для кого. Преподавателям и ML-практикам, которые собирают небольшой учебный эксперимент с обучением модели на своих текстах.

Пример запроса к агенту

Создай небольшой учебный проект create-llm и покажи шаги подготовки данных до запуска обучения.

Ограничения

CLI требует Node.js 18 или новее и npm 8 или новее, поэтому проверьте среду до создания проекта. Для обучения отдельно нужны Python 3.8 или новее и PyTorch 2.0 или новее. Большие шаблоны требуют существенно больше видеопамяти и данных, поэтому сначала проверьте небольшой вариант на своей машине. Качество зависит от корпуса и режима обучения; указанные автором сроки и размеры шаблонов не гарантируют полезного результата для ваших текстов.

Как отключить. Остановите обучение и мониторинг, затем сохраните нужные контрольные точки. Удаление CLI не удаляет созданные проекты и скачанные зависимости.

Коротко о README

Есть шаблоны разных размеров и несколько вариантов токенизатора. Отдельные скрипты поддерживают интерактивный чат и последующее размещение модели.