LlamaForge — плагин
Плагин и MCP-сервер LlamaForge: агент смотрит, какая модель влезет в видеокарту, грузит ее в llama.cpp и отдает ей рутину
- 124 ★ репозитория
- Последний коммит
Широкий доступ
Почему такой уровень
- Инструмент `pi_run` в режиме `full` запускает команды оболочки в вашем проекте, по умолчанию он только читает файлы.
- Агент загружает и выгружает модели, скачивает большие файлы и меняет настройки моделей.
- Установщик панели запускается через `curl | sh` или `irm | iex` без прав администратора.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add plugins/llamaforgeОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Инструмент `pi_run` в режиме `full` запускает команды оболочки в вашем проекте, по умолчанию он только читает файлы.
- Агент загружает и выгружает модели, скачивает большие файлы и меняет настройки моделей.
- Установщик панели запускается через `curl | sh` или `irm | iex` без прав администратора.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
LlamaForge — панель в браузере, которая ставит официальный llama.cpp и управляет его маршрутизатором `llama-server`: список моделей, загрузка с «Hugging Face», оценка по видеопамяти, правка флагов. Для агента к ней прилагаются скилл `llamaforge` и stdio MCP-сервер из `backend/mcp_server.py`. Скилл объясняет, как проверить, запущена ли панель, как подключить инструменты и что делать в типовых задачах: выяснить, что поместится в видеокарту, скачать модель, ускорить запуск через Auto-Forge, передать рутину локальной модели. MCP-сервер дает 17 инструментов: `status`, `list_models`, `load_model`, `unload_model`, `fit_check`, `search_models`, `download_model`, `ask`, `pi_run`, `forge_start` и другие. Отдельный слой совместимости переводит запросы Anthropic Messages API в формат llama.cpp, и Claude Code работает на локальной модели.
Для кого. Владельцам видеокарт, которые запускают локальные модели через llama.cpp и хотят управлять ими из Claude Code или Codex.
Подходит, если
- Агент должен выяснить, какой квант модели с «Hugging Face» поместится в видеопамять.
- Рутину вроде разбора логов отдают локальной модели, чтобы сэкономить токены.
- Claude Code или Codex настраивают на локальную модель одним нажатием в панели.
- Модель не загрузилась, и нужна диагностика с хвостом журнала маршрутизатора.
- Скорость генерации хочется поднять замером размещения слоев и спекулятивных черновиков через Auto-Forge.
Не подходит, если
- Модели работают только через облачные API.
- Нужен зрелый настольный менеджер моделей: LlamaForge в ранней предварительной версии.
- Панель нельзя держать запущенной на машине: без нее инструменты MCP не отвечают.
Пример запроса к агенту
Узнай, какой квант Qwen поместится в мои видеокарты с запасом под контекст, и покажи размер в гигабайтах.Ограничения
Проект в ранней предварительной версии: лучше всего проверена связка Windows и NVIDIA, Linux и macOS проходят CI, но на реальном железе опробованы мало. Панель должна работать, иначе инструменты MCP не подключаются. Для инструмента `pi_run` отдельно ставится агент pi. Auto-Forge выгружает все модели на время прогона, `forge_apply` меняет настройки модели. Установщики запускаются через `irm ... | iex` или `curl ... | sh`, поэтому прочитайте скрипт до запуска.
Как отключить. Удалите MCP-подключение командой `claude mcp remove llamaforge`, скилл из каталога скиллов агента и блок `env` из `~/.claude/settings.json`, если включали локальную модель. Панель остановите и удалите ее папку отдельно.
Частые вопросы
Как подключить MCP-сервер LlamaForge к Claude Code?
Откройте в панели раздел Setup, затем MCP server и скопируйте готовую команду `claude mcp add --scope user llamaforge -- <python> <script>`. Панель должна работать, пока агент использует инструменты.
Как поставить скилл?
Выполните `npx skills add dadwritestech/LlamaForge` или поставьте плагин Claude Code. Если панели нет, скилл расскажет о ней и спросит согласия до установки.
Можно ли запустить Claude Code на локальной модели?
Да. Настройка агента записывает в `~/.claude/settings.json` блок `env` с `ANTHROPIC_BASE_URL` на локальный адрес панели. Для Codex и pi.dev панель готовит свои конфиги.
Что делает `pi_run`?
Передает задачу агенту pi на загруженной локальной модели и возвращает его итоговый ответ. По умолчанию pi только читает файлы, `edit` разрешает правку, `full` разрешает команды оболочки.
Что такое Auto-Forge?
Режим замера: он пробует размещения слоев, типы кэша KV и спекулятивные черновики, проверяет, что черновик дает те же токены, и по вашей команде записывает лучший вариант в настройки модели.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
Плагиныllmman запускает Claude Code, Codex и OpenCode на локальной или облачной модели одной командой, модели хранит как образы OCI
lilbee запускает локальные модели на нескольких GPU и дает агентам MCP-поиск по вашим файлам с цитатой файла и строки
Локальный сервер моделей для Mac на Apple Silicon в форматах OpenAI, Anthropic и Ollama: к нему подключают Claude Code, Codex и OpenCode одной командой
Команды LM Studio показывают скачанные и загруженные модели, управляют локальным API и выводят журналы в терминал.
CLI и Python-библиотека для работы с OpenAI, Claude, Gemini, локальными и другими моделями: промпты, чаты, инструменты, эмбеддинги и лог в SQLite
LM Studio — приложение для запуска открытых моделей на компьютере с чатом, локальным сервером в форматах OpenAI и Anthropic и поддержкой MCP.
Коротко о README
Панель запускается в браузере и не запускает модели сама: вывод делает llama.cpp. Если модели уже скачаны через Ollama, панель находит их и запускает те же файлы без копирования.