Shimmy CLI
Локальный сервер моделей GGUF принимает запросы в формате OpenAI, чтобы тестировать приложение на своем оборудовании.
- 6 014 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Сервер читает файл модели, расходует ресурсы GPU и обрабатывает переданные приложением тексты.
- Открытый сетевой адрес увеличивает круг клиентов, которые могут отправлять запросы на ваше оборудование.
Установка
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/shimmyОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Сервер читает файл модели, расходует ресурсы GPU и обрабатывает переданные приложением тексты.
- Открытый сетевой адрес увеличивает круг клиентов, которые могут отправлять запросы на ваше оборудование.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Shimmy загружает файл модели GGUF и открывает HTTP API для генерации текста. Приложение отправляет историю диалога на адрес локального сервера и получает ответ целиком или потоком. Поддерживаются запросы чата, продолжения текста и список моделей. Расчеты выполняет движок Airframe через WebGPU, общий интерфейс к графическим ускорителям. Конфигурация модели берется из метаданных GGUF. В документации перечислены проверенные сочетания семейства модели и сжатия весов; распознавание архитектуры само по себе не подтверждает ее полную совместимость.
Для кого. Авторам приложений с языковыми моделями, которые проверяют локальную генерацию через знакомый формат запросов OpenAI.
Подходит, если
- Приложение уже обращается к OpenAI API, и разработчик меняет адрес для теста на своем GPU.
- Исследователь скачал проверенный файл GGUF и запускает его локально.
- Команда обрабатывает тестовые тексты на собственном оборудовании, сохраняя запросы вне облачного сервиса генерации.
- Автор диалогового интерфейса проверяет показ ответа по мере поступления токенов.
Не подходит, если
- Задача требует полной поддержки всех функций облачного API OpenAI.
- Для выбранного сочетания модели и сжатия нужна подтвержденная совместимость, которой нет в списке.
- Запуск должен использовать прежние движки llama.cpp или MLX из Shimmy 1.x.
Пример запроса к агенту
Запусти выбранную проверенную модель GGUF только на локальном адресе и отправь короткий тестовый диалог через API Shimmy.Ограничения
Файл модели и подходящая память устройства нужны отдельно; размер контекста и сжатие влияют на расход памяти. Совместимость OpenAI относится к описанным маршрутам API, поэтому функции конкретного клиента надо сверять с их перечнем. SafeTensors загружается, но полное выполнение моделей этого формата в Airframe еще находится в плане работ. При сетевом подключении сервер требует `SHIMMY_API_KEY`, а браузерные клиенты дополнительно задаются в `SHIMMY_ALLOWED_ORIGINS`.
Как отключить. Остановите процесс Shimmy и уберите его адрес из настроек приложения. Скачанные файлы моделей останутся на диске.
Частые вопросы
Как установить Shimmy?
Выполните `cargo install shimmy --locked`. Для файла модели, GPU и расчета памяти используйте [quickstart](https://github.com/Michael-A-Kuykendall/shimmy/blob/main/docs/quickstart.md).
Как запустить свой файл модели?
Используйте `shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435`, заменив путь на свой файл. Адрес `127.0.0.1` оставляет сервер доступным с этой машины.
Как посмотреть список моделей?
Выполните `shimmy list --short`. Перед запросом к серверу сопоставьте имя выбранной модели с этим выводом.
Будет ли работать любая модель GGUF?
Полагаться на это нельзя. Выберите сочетание модели и сжатия из [Supported Models](https://github.com/Michael-A-Kuykendall/shimmy/blob/main/docs/SUPPORTED_MODELS.md); узнаваемая архитектура еще не означает пройденную проверку.
Куда направлять диалоговый запрос приложения?
В примере Quick Start используется `http://127.0.0.1:11435/v1/chat/completions`. Оставьте этот адрес для локального теста и передайте имя реально загруженной модели.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный сервер моделей для Mac на Apple Silicon в форматах OpenAI, Anthropic и Ollama: к нему подключают Claude Code, Codex и OpenCode одной командой
Локальный кодинг-агент с терминальным интерфейсом: планирует, пишет несколько вариантов, проверяет их в песочнице и чинит, чтобы малые модели тянули код
lilbee запускает локальные модели на нескольких GPU и дает агентам MCP-поиск по вашим файлам с цитатой файла и строки
Скилл для Claude Code и Gemini CLI: ведет дообучение языковой модели от датасета до экспорта в GGUF, на NVIDIA и Apple Silicon
Локальный прокси, который отдает GigaChat через OpenAI- и Anthropic-совместимый API, чтобы подключать его к Claude Code, aider и другим агентам
CLI и Python-библиотека для работы с OpenAI, Claude, Gemini, локальными и другими моделями: промпты, чаты, инструменты, эмбеддинги и лог в SQLite
Коротко о README
Ветка 2.x перешла на Airframe и убрала прежние вычислительные движки. Руководства отдельно разбирают перенос конфигурации, расширенный контекст и диагностику GPU.