llmman CLI
llmman запускает Claude Code, Codex и OpenCode на локальной или облачной модели одной командой, модели хранит как образы OCI
- 582 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Скачивает и запускает релизы llama.cpp и контейнеры, а установщик выполняет скрипт из сети
- Демон слушает 127.0.0.1:17434, при открытии наружу через `LLMMAN_HOST=0.0.0.0` каждый запрос должен идти с ключом API
- Ключ облачного провайдера уходит только на локальный демон и в настройки агента не записывается
Установка
- Работает в
Ручная установка
curl -fsSL https://llmmanorg.github.io/install.sh | shДля Linux и macOS. Скрипт загружается из сети, прочитайте его до запуска. Для Windows есть `irm https://llmmanorg.github.io/install.ps1 | iex`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Скачивает и запускает релизы llama.cpp и контейнеры, а установщик выполняет скрипт из сети
- Демон слушает 127.0.0.1:17434, при открытии наружу через `LLMMAN_HOST=0.0.0.0` каждый запрос должен идти с ключом API
- Ключ облачного провайдера уходит только на локальный демон и в настройки агента не записывается
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
llmman — консольная программа на Rust, которая поднимает сервер инференса и направляет на него кодовых агентов. Команда `llmman launch claude --model qwen3.8` скачивает проверенный релиз llama.cpp под ваш GPU, загружает модель и запускает Claude Code с нужными переменными окружения. Так же подключаются Codex, OpenCode, GitHub Copilot CLI, Cline, Aider, Qwen Code, Gemini CLI, goose и другие агенты из списка, который выводит `llmman launch` без аргументов. Агентов ставите вы: llmman запускает только то, что уже есть на машине. Модели хранятся как образы OCI. `llmman pull` берет их из Docker Hub или напрямую из Hugging Face, `llmman transfer` копирует модель из Hugging Face в ваш реестр без промежуточной копии на диске, `llmman push` с ключом подписывает ее в формате cosign, а `llmman verify` проверяет подпись. Для инференса используются неизмененные llama.cpp, vLLM, SGLang или mlx-lm. Команда `llmman serve` открывает на 127.0.0.1:17434 одну конечную точку, совместимую с API Ollama, OpenAI и Anthropic, поэтому подходит любой клиент этих API. Флаг `--provider` перенаправляет запросы к облачному провайдеру, например OpenRouter, а пара `--overflow-provider` и `--overflow-model` отправляет в облако только те запросы, которые не помещаются в контекст локальной модели. Несколько машин с `llmman serve` объединяются в общий пул, и запрос обслуживает узел, где модель уже загружена.
Для кого. Разработчикам, которые хотят гонять Claude Code или Codex на собственной видеокарте или в закрытом контуре, и командам, у которых модели уже лежат в реестре контейнеров.
Подходит, если
- Код нельзя отправлять во внешний API, и Claude Code или OpenCode нужно запустить на локальной модели
- Модели лежат в приватном Harbor или GHCR, и подпись cosign с проверкой при `pull` нужна так же, как для образов контейнеров
- Ноутбук, рабочая станция и мини-сервер должны отвечать как одна конечная точка
- Одного агента нужно быстро переключать между локальной моделью и OpenRouter или Groq через `--provider`
- Агент должен работать в изоляции: `--sandbox docker` разрешает запись только в рабочее дерево Git и каталог настроек
Не подходит, если
- Нужен мастер установки агентов: llmman запускает только установленные программы, кроме Cline, который может поставить через npm после подтверждения
- Достаточно Ollama с ее библиотекой моделей, а подписи и перенос между реестрами не нужны
- Своей видеокарты нет и модель нужна без настройки: llmman гоняет инференс на вашей машине или пересылает запросы провайдеру, сам модели не размещает
- Нужна готовая облачная платформа с учетом пользователей и биллингом: llmman остается утилитой на вашем железе
Пример запроса к агенту
Поставь llmman и запусти Claude Code на локальной модели qwen3.8, покажи, что ответ идет с моей машиныОграничения
- Сборка через `cargo install` требует Go 1.27.3 и Rust, под Windows еще LLVM. Готовые бинарники и менеджеры пакетов этого не требуют.
- Демон, доступный по сети, принимает запросы только с ключом API (`LLMMAN_API_KEYS`), пока не задано `LLMMAN_AUTH=off`.
- Скорость и качество зависят от вашего GPU и выбранной модели: замеров README не приводит.
- Установщик `curl -fsSL https://llmmanorg.github.io/install.sh | sh` выполняет скрипт из сети, прочитайте его до запуска.
Как отключить. Закройте процесс `llmman serve` и удалите программу тем менеджером, которым ставили: `brew uninstall llmman`, `scoop uninstall llmman` или `cargo uninstall llmman`. Переменные окружения для агента llmman задает только на время запуска. В Cline он дописывает провайдера Ollama в `~/.cline/data/settings/providers.json`, эту запись уберите вручную.
Частые вопросы
Как запустить Claude Code на локальной модели через llmman?
Выполните `llmman launch claude --model qwen3.8`. Команда запустит демон, скачает llama.cpp под ваш GPU, загрузит модель и откроет Claude Code, настроенный на этот адрес. Список поддерживаемых агентов и их наличие на машине покажет `llmman launch` без аргументов.
Чем llmman отличается от Ollama?
Ollama хранит модели в собственной раскладке и берет их из своей библиотеки. llmman держит неизмененные GGUF и safetensors в стандартном OCI Image Layout, берет модели из Hugging Face и любых реестров OCI, подписывает их в формате cosign и переносит между реестрами командой `transfer`. Клиенты Ollama при этом работают: на `127.0.0.1:17434` отвечает и ее API.
Можно ли отправлять в облако только большие запросы?
Да. Задайте `--overflow-provider` и `--overflow-model` рядом с локальным `--model`: запрос, не помещающийся в контекст локальной модели, уйдет провайдеру, остальные останутся на машине. Заголовок `x-llmman-route: local` или `cloud` закрепляет запрос за одной стороной.
Нужно ли ставить агентов отдельно?
Да. llmman запускает уже установленные Claude Code, Codex, OpenCode и других и только настраивает их на нужную конечную точку. Исключение только Cline: его llmman может поставить через npm после вашего подтверждения.
Как проверить, что модель из реестра не подменена?
Подпишите модель при публикации: `llmman push docker.io/myorg/mymodel:v1 --sign-key signing.key`. Проверка идет командой `llmman verify docker.io/myorg/mymodel:v1 --key signing.pub`. В разделе `[verify]` конфигурации можно включить проверку при каждом `pull` с предупреждением или отказом.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный сервер моделей для Mac на Apple Silicon в форматах OpenAI, Anthropic и Ollama: к нему подключают Claude Code, Codex и OpenCode одной командой
Сервер инференса на MLX в стиле vLLM, который запускает языковые модели на Mac с Apple Silicon и отдает их по API
Ollama запускает открытые нейросети на вашем компьютере и отдает их агентам через локальный API, совместимый с OpenAI и Anthropic.
CLI и Python-библиотека для работы с OpenAI, Claude, Gemini, локальными и другими моделями: промпты, чаты, инструменты, эмбеддинги и лог в SQLite
Late — кодовый ИИ-агент на Go в одном бинарнике: оркестратор планирует, одноразовые субагенты пишут и ищут, работает с llama-server и облачными моделями
LM Studio — приложение для запуска открытых моделей на компьютере с чатом, локальным сервером в форматах OpenAI и Anthropic и поддержкой MCP.
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| llmman (эта карточка) | нет | 582 | |
| Ollama | да | 186 123 | хранит модели в собственной раскладке и берет их из своей библиотеки, подписей и переноса между реестрами нет |
| Claude Code Router | нет | 38 020 | шлюз с маршрутизацией между провайдерами, самих локальных моделей и их хранилища не ведет |
Коротко о README
README открывается командой `llmman launch claude --model qwen3.8` и объяснением, что за ней стоит. Дальше идут установка шестью способами, быстрый старт из трех команд, генерация изображений и звука, ответы на вопросы по тексту и картинкам. Отдельные разделы посвящены моделям OCI с подписями, таблице сравнения с Ollama, серверу, пулу машин, запуску агентов и песочницам.