vllm-mlx — локальный сервер LLM для Claude Code на Mac
vllm-mlx
Сервер инференса на MLX в стиле vLLM, который запускает языковые модели на Mac с Apple Silicon и отдает их по API
- 1 641 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Сервер открывает порт на машине и принимает запросы без настоящего ключа, поэтому оставьте адрес 127.0.0.1
- Агент, направленный на локальную модель, по-прежнему выполняет команды и правит файлы с вашими правами
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/vllm-mlxОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Сервер открывает порт на машине и принимает запросы без настоящего ключа, поэтому оставьте адрес 127.0.0.1
- Агент, направленный на локальную модель, по-прежнему выполняет команды и правит файлы с вашими правами
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
vllm-mlx запускает языковые модели на Mac с чипами M1–M5 через MLX и отдает их по сетевому API. Один процесс отвечает по маршрутам OpenAI (/v1/chat/completions, /v1/responses, /v1/embeddings, /v1/rerank) и Anthropic (/v1/messages со стримингом и вызовом инструментов). Благодаря этому агентов можно направить на локальную модель, не меняя их код. Для нагрузки от агентов есть непрерывная пакетная обработка запросов и постраничный кэш KV с общим префиксом, который можно вынести на SSD. Сервер разбирает вызовы инструментов в 19 форматах и выдает структурированный вывод по схеме JSON. Он работает с моделями изображений, звука и видео, распознает речь через Whisper и синтезирует ее, а метрики отдает в Prometheus. Команда `vllm-mlx bench-serve` измеряет нагрузку и пишет результаты в CSV, JSON или SQLite.
Для кого. Для владельцев Mac с чипами Apple Silicon, которые хотят запускать Claude Code, Codex или OpenCode на локальных моделях и поднимать для них общий API.
Подходит, если
- Запустить Claude Code на локальной модели Qwen или Llama, не обращаясь к облачному API
- Поднять один адрес, к которому подключаются и Codex, и OpenCode, и приложения на SDK OpenAI
- Прогнать несколько запросов параллельно с непрерывной пакетной обработкой и общим кэшем префиксов
- Получить из модели ответ строго по схеме JSON для скрипта или агента
- Измерить скорость и потребление памяти моделей командой bench-serve перед выбором
Не подходит, если
- Компьютер на Windows, Linux или Mac с чипом Intel: сервер работает только на Apple Silicon
- Нужны самые крупные облачные модели: локальные модели на Mac слабее по качеству кода
- Нужна простая установка модели одной кнопкой без командной строки: подойдет приложение вроде Ollama или LM Studio
Пример запроса к агенту
Подними vllm-mlx с моделью Qwen3-8B-4bit на порту 8000 и запусти Claude Code на этой локальной модели.Ограничения
Сервер работает только на Mac с Apple Silicon и использует графические ядра Metal через MLX. Скорость и размер модели ограничены объединенной памятью машины: модели порядка 30 млрд параметров в 4-битном виде нужно около 18 ГБ.
Клиент openai для Python в пакет не входит, его ставят отдельно. Для озвучки на языках, отличных от английского, на macOS нужен espeak-ng.
Модели скачиваются с Hugging Face, загрузку весов проверьте заранее. Результаты проверки агентов относятся к указанным версиям клиентов и настройкам.
Как отключить. Остановите сервер сочетанием Ctrl+C, удалите пакет командой `python -m pip uninstall vllm-mlx` и уберите ANTHROPIC_BASE_URL из окружения. Скачанные веса лежат в кэше Hugging Face, их удаляют отдельно.
Частые вопросы
Как запустить Claude Code на локальной модели через vllm-mlx?
Запустите сервер: `vllm-mlx serve mlx-community/Qwen3-8B-4bit --port 8000`. В другом окне задайте `export ANTHROPIC_BASE_URL=http://localhost:8000` и `export ANTHROPIC_API_KEY=not-needed`, затем выполните claude. Сервер отвечает на маршруте /v1/messages.
Чем vllm-mlx отличается от Ollama?
vllm-mlx сделан под Apple Silicon на MLX и рассчитан на нагрузку от агентов: параллельные запросы и сразу два API, OpenAI и Anthropic. Ollama универсальнее и проще в установке.
Какие агенты проверены с vllm-mlx?
OpenCode, pi, Codex, Claude Code, GitHub Copilot CLI, Cline CLI и встроенный агент OpenClaw. Все семь выполнили потоковый вызов инструмента и точную правку файла на модели Qwen 27B в 4-битной квантизации, проверка от 19 сентября 2026 года. Матрица версий лежит в docs/guides/client-acceptance.md.
Какие компьютеры подходят?
Mac с чипом Apple Silicon: M1, M2, M3, M4 или M5. Сервер использует унифицированную память и ядра Metal, преобразовывать модели не требуется.
Как включить непрерывную пакетную обработку?
Добавьте флаг `--continuous-batching` к команде serve. Параметры кэша описаны в docs/guides/continuous-batching.md, а вынесение кэша префиксов на SSD включает `--ssd-cache-dir`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный сервер моделей для Mac на Apple Silicon в форматах OpenAI, Anthropic и Ollama: к нему подключают Claude Code, Codex и OpenCode одной командой
Локальный сервер моделей для Mac с Apple Silicon: Qwen 3.8 и Gemma 4 с MTP-декодированием, API OpenAI и Anthropic для Claude Code, Codex и Cursor
CLI и Python-библиотека для работы с OpenAI, Claude, Gemini, локальными и другими моделями: промпты, чаты, инструменты, эмбеддинги и лог в SQLite
LM Studio — приложение для запуска открытых моделей на компьютере с чатом, локальным сервером в форматах OpenAI и Anthropic и поддержкой MCP.
Встроенная в Mac модель Apple Intelligence как команда терминала и локальный сервер в формате OpenAI: без ключей и облака
Локальный ИИ-агент, который работает на своем железе через llama.cpp, водит браузер, правит файлы, выполняет разрешенные команды и помнит контекст между сессиям
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| vllm-mlx — локальный сервер LLM для Claude Code на Mac (эта запись) | нет | 1 641 | |
| mlx-serve | да | 2 151 | тоже локальный сервер для Mac с API OpenAI, Anthropic и Ollama; vllm-mlx добавляет непрерывную пакетную обработку и постраничный кэш KV |
| Ollama | да | 185 242 | универсальный запуск моделей на разных системах, а vllm-mlx работает только на Apple Silicon и рассчитан на нагрузку от агентов |
Коротко о README
Проект называет vllm-mlx сервером в стиле vLLM для Apple Silicon. Замеры на M4 Max: от 205 токенов в секунду на небольшой модели до 127 на модели в 30 млрд параметров. Whisper работает в десятки раз быстрее реального времени.