glm-flash-lite — скилл
GLM-5.3-Flash на одной RTX 3090 с 24 ГБ: скилл подбирает режим, держит эксперты в RAM и на NVMe и поднимает сервер с API OpenAI.
- 352 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Скилл запускает контейнеры Docker с доступом к GPU и скачивает около 125 ГБ весов.
- Часть шагов требует root или необратима, скилл просит согласие перед ними.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/glm-flash-liteОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Скилл запускает контейнеры Docker с доступом к GPU и скачивает около 125 ГБ весов.
- Часть шагов требует root или необратима, скилл просит согласие перед ними.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
glm-flash-lite запускает GLM-5.3-Flash (125 ГБ, EXL3 3,05 bpw) на одной видеокарте с 24 ГБ, а экспертов, которые не помещаются в VRAM, держит в оперативной памяти и на NVMe. Сервер отдает API в формате OpenAI. По README, режим `nvme` с лимитом памяти 55 ГиБ выдает около 19,5 токена в секунду на одного пользователя. Скилл `glm53-offload-setup` ведет агента через установку: определяет железо, выбирает режим, собирает и проверяет хранилище экспертов, запускает контейнер, снимает стандартную таблицу замеров и подстраивает по одному параметру относительно контрольного запуска. Образ Docker берется из `ghcr.io/sybil-solutions/glm53-flash-offload`.
Для кого. Владельцам одной видеокарты с 24 ГБ и быстрого NVMe, которые хотят запустить крупную локальную модель для агентов без аренды GPU.
Подходит, если
- Агент ставит GLM-5.3-Flash на домашнюю машину с RTX 3090 и проверяет скорость.
- Нужно выбрать режим по доступной оперативной памяти: 16, 55 или 218 ГиБ.
- Локальный сервер должен принимать запросы по API OpenAI для клиента агента.
- Скорость ниже ожидаемой, и параметры нужно подстроить по замерам.
Не подходит, если
- Видеокарта не NVIDIA с 24 ГБ либо несколько GPU: скилл рассчитан на одну.
- Модель запускают на арендованном облачном GPU.
- Свободного места нет: нужно около 125 ГБ под веса и 117 ГБ под хранилище экспертов.
Пример запроса к агенту
Настрой GLM-5.3-Flash на моей машине с одной RTX 3090: определи режим по свободной памяти, запусти сервер и сними таблицу скорости.Ограничения
Скилл рассчитан на Linux с одной NVIDIA 24 ГБ, другие карты и несколько GPU не покрываются. Нужны установленные NVIDIA container toolkit, `hf` CLI и быстрый локальный NVMe с xfs или ext4. Скорость 19,5 токена в секунду измерена на RTX 3090 с EPYC 7443P и массивом из четырех NVMe, на другом железе будет иной. Режим `nvme-exact` дает побитовую точность ценой скорости около 8 токенов в секунду. Последний коммит сделан в октябре 2026 года.
Как отключить. Остановите и удалите контейнер `glm53` (`docker rm -f glm53`), затем освободите каталоги с весами и хранилищем экспертов. Скилл удаляется из каталога скиллов агента.
Частые вопросы
Какой адрес у сервера?
После запуска он готов примерно через 80 секунд на `http://127.0.0.1:30000/v1`, модель называется `glm-5.3-flash`.
Сколько памяти нужно?
Режим `nvme` работает с лимитом 55 ГиБ, есть вариант с 16 ГиБ при меньшей скорости. Режим `fast` держит все в памяти и требует около 218 ГиБ.
Чем `nvme-exact` отличается от `nvme`?
Он дает побитово точный вывод, как в обычном exllamav3, но медленнее: около 8,3 токена в секунду против 19,5.
Есть ли способ без Docker?
Подходит плагин Omarchy, он назван в README Local AI: `omarchy plugin add https://github.com/sybil-solutions/omarchy-local-ai --enable`.
Для каких карт подходит скилл?
Для одной NVIDIA RTX 3090 с 24 ГБ. Рецепты для других карт, таких как DGX Spark или RTX PRO 6000, используют другие движки и образы.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыДесять скиллов для LLM-инференса: сравнение SGLang и vLLM на одной нагрузке, разбор профайлера, расчет памяти и история PR.
Локальный сервер на Mac с ускоренной генерацией без потери качества: Claude Code и Codex работают на модели прямо на вашем компьютере
Train in Silence считает нужную видеопамять для дообучения модели и подбирает GPU у облачных провайдеров по цене и времени.
llmman запускает Claude Code, Codex и OpenCode на локальной или облачной модели одной командой, модели хранит как образы OCI
Скилл для Claude Code и Gemini CLI: ведет дообучение языковой модели от датасета до экспорта в GGUF, на NVIDIA и Apple Silicon
Локальный сервер моделей GGUF принимает запросы в формате OpenAI, чтобы тестировать приложение на своем оборудовании.
Коротко о README
README начинается таблицей скорости по режимам, затем дает запуск через плагин Omarchy или Docker и таблицы проверенных рецептов для RTX 3090 с полями статуса и дайджеста образа.