Glyd CLI
CLI Glyd запускает языковые модели на NVIDIA GPU со сжатыми весами и кешем, чтобы уменьшить расход видеопамяти.
- 231 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Установщик и модель работают локально, занимают диск и вычислительные ресурсы GPU.
Установка
Ручная установка
curl -LsSf https://getglyd.com/install.sh | shПервая команда раздела запуска моделей. Прочитайте скрипт до выполнения; установка кодека через Homebrew относится к другой задаче.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Установщик и модель работают локально, занимают диск и вычислительные ресурсы GPU.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Glyd запускает модель из терминала и подбирает параметры под доступную видеокарту. Основной режим хранит веса и кеш внимания компактнее, а во время вычислений восстанавливает исходные значения bf16. Это позволяет высвободить часть видеопамяти для контекста или других запросов. Помимо собственного запуска есть интеграция с vLLM и Python. У проекта также существует отдельный кодек файлов, но для работы с моделями нужен GPU-пакет. Режимы с более сильным сжатием уже меняют точность весов.
Для кого. Инженерам локального инференса, которым не хватает видеопамяти для выбранной bf16-модели или ее контекста.
Подходит, если
- Модель помещается в видеопамять почти полностью, и нужно проверить выигрыш от сжатия весов.
- Команда обслуживает запросы через vLLM и хочет протестировать дополнительный объем кеша.
- Для своего GPU требуется открыть тестовый чат без написания отдельного Python-приложения.
- Эксперимент сравнивает режим без потери весов с вариантами более сильного сжатия.
Не подходит, если
- Запуск планируется на Mac без поддерживаемой NVIDIA GPU.
- Для задачи требуется работа только на центральном процессоре.
- Коммерческий проект не готов согласовать условия лицензии с автором.
Пример запроса к агенту
Проверь совместимость моего Linux-сервера с Glyd и подготовь тест модели Qwen с измерением памяти до и после запуска.Ограничения
GPU-режим требует Linux x86_64 или aarch64, NVIDIA Ampere, Ada, Hopper либо Blackwell и драйвер 580 или новее. Сжатие без потерь относится к значениям весов и кеша; порядок суммирования может менять последние биты результата, если не выбран точный режим. Профили kestrel и swift снижают точность, поэтому их качество нужно измерять отдельно. Начиная с версии 0.29.0 проект использует BUSL-1.1: для коммерческого применения нужна отдельная лицензия.
Как отключить. Завершите процесс Glyd или сервер vLLM. Перед сменой среды сохраните параметры модели и убедитесь, что другие приложения больше не используют этот процесс.
Частые вопросы
Как открыть чат с моделью?
После установки используйте пример `glyd run Qwen/Qwen3.5-9B`. CLI выберет параметры GPU и откроет терминальный чат.
Можно ли оставить vLLM?
Да. Для него есть пакет `glyd[vllm]` и параметр квантования Glyd. Проверьте совместимость своей версии перед нагрузочным тестом.
Гарантируется ли одинаковая экономия памяти?
Нет. Результат зависит от модели и оборудования. Сравните потребление в своем сценарии по приложенным методикам измерений.
Подходит ли установка через Homebrew для GPU-модели?
Этот раздел устанавливает файловый кодек. Для инференса следуйте разделу запуска моделей и его требованиям к Linux и GPU.
Где посмотреть подтверждение измерений?
В каталоге benchmarks и на странице результатов проекта есть журналы конкретных запусков. Сопоставьте модель и GPU со своим окружением.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыGPU-профайлер для ИИ-агентов: агент запускает vLLM или SGLang под graphsignal-run, читает метрики и подбирает флаги для скорости
CLI и MCP-сервер для платформы Qizhi: свободные GPU-узлы, отправка и логи заданий, причины очереди прямо из Claude Code
Самостоятельный шлюз для нескольких ключей и провайдеров LLM: ротация, отказоустойчивость, логи и учет расходов
Локальный прокси на Rust сжимает запросы к API моделей от Claude Code, Codex и Cursor, чтобы платить за меньше токенов
Официальный скилл Vast.ai: агент ищет GPU-предложения, арендует экземпляры и управляет ими через vastai.
CLI запускает прокси к языковым моделям и отдельный сервис учета запросов для отладки приложений на нескольких провайдерах.
Коротко о README
В репозитории опубликованы замеры на нескольких NVIDIA GPU с указанием моделей и окружения. Результаты различают размер весов и доступный объем контекста.