mlx-serve CLI
Локальный сервер моделей для Mac на Apple Silicon в форматах OpenAI, Anthropic и Ollama: к нему подключают Claude Code, Codex и OpenCode одной командой
- 2 054 ★ репозитория
- Последний коммит
Широкий доступ
Почему такой уровень
- Агентный режим приложения MLX Core выполняет команды оболочки на Mac, пока не включена песочница с изолированной виртуальной машиной
- Сервер открывает порт `11234`, а модели можно раздавать по локальной сети через Bonjour
- Лаунчеры пишут настройки агентов: Codex запускается на вашей домашней папке, а запись для fx попадает в `~/.fx/settings.json`
Установка
- Работает в
Ручная установка
brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serveПодключает репозиторий Homebrew. Следом выполните `brew trust ddalcu/mlx-serve`.
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Агентный режим приложения MLX Core выполняет команды оболочки на Mac, пока не включена песочница с изолированной виртуальной машиной
- Сервер открывает порт `11234`, а модели можно раздавать по локальной сети через Bonjour
- Лаунчеры пишут настройки агентов: Codex запускается на вашей домашней папке, а запись для fx попадает в `~/.fx/settings.json`
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
mlx-serve запускает языковые модели на Mac с Apple Silicon: модели формата MLX и любые GGUF с Hugging Face через встроенный llama.cpp. Сервер написан на Zig, Python для него не нужен. На одном порту `11234` он отвечает по четырем протоколам: OpenAI (`chat/completions` и Responses), Anthropic Messages и Ollama. Поэтому Claude Code, Codex, OpenCode, Continue и Open WebUI подключаются к нему без прокси. Команда `mlx-serve run gemma4` скачивает модель, запускает сервер и открывает чат, `pull` только качает, `list` показывает скачанное, `serve` отдает все модели по имени. Команда `mlx-serve launch claude` настраивает и запускает агента на локальной модели. Она поддерживает также `codex`, `opencode`, `pi`, `omp`, `hermes`, `aider`, `fx`, `grok` и `zcode`. Лаунчер читает у сервера настоящий размер окна контекста и пишет настройки агента в `~/.mlx-serve/<агент>/`, не трогая ваши реальные конфиги. Для Codex и fx есть исключения: первый запускается на вашей домашней папке Codex, во втором лаунчер дописывает запись в `~/.fx/settings.json`. Кроме текста сервер генерирует изображения, видео, музыку, речь с клонированием голоса и трехмерные модели. Приложение MLX Core в строке меню объединяет это с чатом, агентным режимом с десятью встроенными инструментами и каталогом MCP.
Для кого. Для владельцев Mac на Apple Silicon, которые хотят запускать открытые модели локально и подключать к ним кодовых агентов, не поднимая прокси и не возясь с конфигами.
Подходит, если
- Нужно запустить Claude Code, Codex или OpenCode на локальной модели: `mlx-serve launch <агент>` настроит агента сам
- У вас есть клиенты Ollama, например Raycast или Obsidian, и их нужно направить на более быстрый движок без смены привычек
- Нужен локальный сервер сразу в форматах OpenAI, Anthropic и Ollama на одном порту
- Хочется генерировать изображения, музыку, речь или видео на своем Mac теми же запросами HTTP
- Нужна веб-консоль сервера: по адресу `http://localhost:11234` открываются чат, генерация и мониторинг
Не подходит, если
- Mac на Intel или с macOS старше 26.2 и нет видеокарты NVIDIA с драйвером 580 и CUDA 13: сборки есть только для этих систем
- Памяти не хватает на выбранные модели: видео LTX просит 24 ГБ, трехмерная модель 16 ГБ
- Нужна встроенная в систему модель Apple без скачивания весов: ее открывает `apfel`
- Нужно просто запустить текстовую модель и ничего больше: `ollama` проще по набору возможностей и работает на Windows, где mlx-serve нет
Пример запроса к агенту
Поставь mlx-serve, скачай Gemma 4 и запусти Claude Code на этой локальной модели через mlx-serve launchОграничения
- Нужны macOS 26.2 или новее на Apple Silicon. Для Linux приложены сборки с NVIDIA CUDA 13, драйвером 580 или новее и cuDNN 9, для Windows сборки нет.
- Размер окна контекста сервер закрепляет при загрузке модели по объему памяти, и он часто заметно меньше максимума модели. Настоящее значение отдает `/v1/models`, а вручную в настройках агента его лучше не увеличивать.
- Ключ `--api-key` не требуется клиентам с этого же компьютера: локальные подключения проходят без него.
- Скорость и сравнения с другими движками взяты из замеров автора на M4 Max. Модели и инструменты для картинок, видео, музыки и речи скачиваются отдельно, размеры указаны в таблице проекта.
- Лицензия MIT, встроенные сторонние части сохраняют свои лицензии, среди них Apache-2.0. Сборка из Mac App Store не умеет запускать другие приложения и показывает команды для копирования.
Как отключить. Закройте приложение MLX Core или остановите сервер, который запущен командой `mlx-serve serve`. Удалите программу командой `brew uninstall mlx-serve`, приложение командой `brew uninstall --cask mlx-serve`. Настройки лаунчеров лежат в `~/.mlx-serve/`, запись для fx в `~/.fx/settings.json` удаляйте вручную.
Частые вопросы
Как запустить Claude Code на локальной модели вручную?
Задайте переменные `ANTHROPIC_BASE_URL='http://127.0.0.1:11234'`, пустой `ANTHROPIC_API_KEY`, `ANTHROPIC_AUTH_TOKEN=mlx-serve` и подставьте идентификатор модели из `GET /v1/models` в `ANTHROPIC_DEFAULT_OPUS_MODEL`, `ANTHROPIC_DEFAULT_SONNET_MODEL` и `ANTHROPIC_DEFAULT_HAIKU_MODEL`. Затем выполните `claude --model` с тем же идентификатором.
Что делает `mlx-serve run gemma4`?
Команда скачивает Gemma 4 E4B в 4-битном виде, запускает сервер и открывает чат прямо в терминале. Имена бывают короткими, в виде `org/repo` с Hugging Face и в виде `имя:тег`.
Какие генераторы изображений и звука входят в набор?
По умолчанию изображения делает FLUX.2-klein 4B в 4 бита, примерно 5 ГБ, видео делает LTX-Video 2.5, речь Qwen3-TTS с клонированием голоса, музыку ACE-Step 1.5 XL Turbo, трехмерные модели Hunyuan3D-2.1. Доступны они на адресах `/v1/images`, `/v1/audio`, `/v1/video` и `/v1/3d`.
Можно ли запустить агента в песочнице?
В приложении MLX Core одним переключателем включается Agent Sandbox: каждая команда оболочки агента выполняется в изолированной виртуальной машине Linux, которая загружается меньше чем за секунду.
Как использовать модели другого Mac?
Сервер делится моделями по локальной сети через Bonjour без настройки. Так даже Claude Code, направленный на `localhost`, может работать на 27-миллиардной модели с другого Mac.
Нужен ли Python?
Нет. Сервер собран в один бинарный файл на Zig размером около 7 МБ, а в сборке проекта Python тоже не используется.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный сервер моделей для Mac с Apple Silicon: Qwen 3.8 и Gemma 4 с MTP-декодированием, API OpenAI и Anthropic для Claude Code, Codex и Cursor
LM Studio — приложение для запуска открытых моделей на компьютере с чатом, локальным сервером в форматах OpenAI и Anthropic и поддержкой MCP.
Встроенная в Mac модель Apple Intelligence как команда терминала и локальный сервер в формате OpenAI: без ключей и облака
Ollama запускает открытые нейросети на вашем компьютере и отдает их агентам через локальный API, совместимый с OpenAI и Anthropic.
Локальный кодинг-агент с терминальным интерфейсом: планирует, пишет несколько вариантов, проверяет их в песочнице и чинит, чтобы малые модели тянули код
CLI и Python-библиотека для работы с OpenAI, Claude, Gemini, локальными и другими моделями: промпты, чаты, инструменты, эмбеддинги и лог в SQLite
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| mlx-serve (эта запись) | да | 2 054 | |
| Ollama | да | 184 341 | кроссплатформенный запуск открытых моделей и команда `ollama launch` для агентов, а mlx-serve работает на движке MLX и добавляет свое приложение и генерацию картинок, видео и музыки |
| LM Studio | да | приложение с окном для запуска открытых моделей, чатом и локальным сервером, а mlx-serve поставляется и как командная программа, и как приложение, и дополнительно генерирует медиа | |
| MTPLX | да | 2 627 | локальный сервер моделей для Mac с Apple Silicon |
Коротко о README
Главная страница репозитория начинается с установки: приложение, Homebrew, сборки для Linux и сборка из исходников. Затем идут таблица сравнения с другими движками, перечень возможностей, раздел о генерации картинок, видео, музыки, речи и трехмерных моделей, описание приложения MLX Core, список поддерживаемых моделей и замеры скорости. Подробные документы лежат в `docs/`: API, командная строка, интеграции с агентами, модели и производительность. Есть исходники на Zig и Swift, тесты, журнал изменений и перевод на китайский.