mlx-dspark CLI
Локальный сервер на Mac с ускоренной генерацией без потери качества: Claude Code и Codex работают на модели прямо на вашем компьютере
- 737 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Сервер, открытый в сеть без ключа, принимает запросы от любого, кто видит порт 8080
- Скачивает веса моделей с Hugging Face и запускает код драфтеров из чужих репозиториев
- Команда `mlx-dspark claude` запускает Claude Code с подмененным адресом API, поэтому действия агента выполняет локальная модель
Установка
- Работает в
Ручная установка
pip install mlx-dsparkТолько движок и CLI. Нужны Apple Silicon и Python 3.10 или новее. Подойдет и `uv pip install mlx-dspark`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Сервер, открытый в сеть без ключа, принимает запросы от любого, кто видит порт 8080
- Скачивает веса моделей с Hugging Face и запускает код драфтеров из чужих репозиториев
- Команда `mlx-dspark claude` запускает Claude Code с подмененным адресом API, поэтому действия агента выполняет локальная модель
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
mlx-dspark запускает языковые модели на чипах Apple Silicon через MLX и ускоряет генерацию спекулятивным декодированием. Вспомогательная модель (драфтер) предлагает несколько токенов вперед, а основная проверяет каждый из них, поэтому ответ совпадает с обычным запуском, меняется только скорость. Поддерживаются драфтеры DSpark от DeepSeek и DFlash от z-lab. Для моделей из списка проверенных пар (Gemma-4, Qwen3, Qwen3.6, Qwen3.8, LFM2.5, Ornith-1.0, Nemotron, Bonsai и других) драфтер подбирается по `--model` сам. Команда `mlx-dspark generate` отвечает на один запрос, а `mlx-dspark serve` поднимает локальный HTTP-сервер на порту 8080 с интерфейсами OpenAI Chat Completions и Responses и Anthropic Messages. К нему подключаются LM Studio и другие OpenAI-совместимые клиенты. Для Claude Code есть команда `mlx-dspark claude`: она находит запущенный сервер, передает Claude Code адрес и ключ только окружением одного процесса и отдает ему терминал. Файлы настроек и вход в аккаунт при этом не меняются. Для Codex в `~/.codex/config.toml` добавляют провайдера с `wire_api = "responses"`. Команда `mlx-dspark benchmark` измеряет прирост скорости на вашем Mac, `mlx-dspark doctor` проверяет окружение. Есть и приложение для macOS с чатом, менеджером моделей и индикатором скорости в строке меню.
Для кого. Для владельцев Mac с чипом Apple Silicon, которые хотят запускать Claude Code, Codex или чат на локальной модели быстрее обычного MLX.
Подходит, если
- Нужно прогнать Claude Code на модели Qwen3-8B 8-bit у себя на Mac: `mlx-dspark serve --model mlx-community/Qwen3-8B-8bit`, затем `mlx-dspark claude`
- Вы хотите подключить Codex к локальному серверу через интерфейс Responses
- Требуется OpenAI-совместимый сервер для LM Studio и других клиентов, который отдает ответ быстрее без потери качества
- Нужно измерить, что дает спекулятивное декодирование на вашем Mac, командой `mlx-dspark benchmark --model <репозиторий> --trials 3`
- Нужно убедиться, что вывод совпадает с обычным: режим Race в приложении для Mac сверяет ответы токен в токен
Не подходит, если
- У вас Mac на процессоре Intel, Linux или Windows: нужен Apple Silicon
- Нужны модели вроде DeepSeek-V4: проект запускает потребительские модели с опубликованными драфтерами, а V4 не поддерживает
- Сервер должен обслуживать много пользователей: он рассчитан на одного локального пользователя, хотя `--max-batch N` включает пакетную обработку запросов
- Нужна совместимость с `previous_response_id`: реализация Responses здесь без состояния на стороне сервера
Пример запроса к агенту
Поставь mlx-dspark, запусти локальный сервер с Qwen3-8B и подключи к нему Claude Code командой mlx-dspark claudeОграничения
- Требуются Apple Silicon и Python 3.10 или новее. Пакет ставит MLX 0.32.0 или новее.
- Веса моделей скачиваются с Hugging Face при первом запуске, в пакет они не входят.
- Цифры ускорения измерены автором на M4 Pro на коротком контексте, на вашем компьютере результат другой. У MoE-модели Qwen3.6-35B-A3B выигрыш мал: от 1,05× до 1,67×.
- Сервер слушает `127.0.0.1`. Чтобы открыть его в сеть, задайте `--api-key`: тогда ключ требуют все маршруты, кроме `GET /health`.
- Приложение для macOS пока без нотаризации Apple: при установке из cask снимают карантин командой `xattr`.
- Последний коммит репозитория в октябре 2026 года.
Как отключить. Остановите сервер (Ctrl+C в его терминале) и выполните `pip uninstall mlx-dspark`. Приложение для Mac снимает `brew uninstall --cask mlx-dspark`. Блок провайдера для Codex удалите из `~/.codex/config.toml`.
Частые вопросы
Как запустить Claude Code на локальной модели на Mac?
В одном терминале выполните `mlx-dspark serve --model mlx-community/Qwen3-8B-8bit --no-thinking`, в другом `mlx-dspark claude`. Команда найдет сервер и запустит Claude Code с его адресом. Сервер должен работать все время сессии.
Меняется ли качество ответов из-за спекулятивного декодирования?
Нет. Основная модель проверяет каждый предложенный токен, поэтому вывод совпадает с обычным запуском, меняется только скорость. Проверить можно командой `mlx-dspark benchmark --model <репозиторий> --trials 3` или режимом Race в приложении.
Как подключить Codex к mlx-dspark?
Запустите `mlx-dspark serve`, затем добавьте в `~/.codex/config.toml` запись `model_providers` с адресом `/v1` вашего сервера и `wire_api = "responses"`. Сервер поддерживает `POST /v1/responses` без хранения состояния на сервере: Codex сам присылает историю.
На каких моделях mlx-dspark работает?
Для проверенных пар вроде Gemma-4 12B, Qwen3-8B, Qwen3.8-27B и LFM2.5 драфтер выбирается сам. Для других моделей режим `--mode auto` включает драфтер-независимый n-gram поиск, а `--drafter <репозиторий>` указывает свой драфтер.
Чем mlx-dspark отличается от Ollama?
Ollama запускает множество моделей на разных системах, а mlx-dspark работает только на Apple Silicon через MLX и добавляет спекулятивное декодирование с драфтерами DSpark и DFlash. Подключение клиентов то же: достаточно сменить адрес OpenAI API на локальный.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный сервер моделей для Mac на Apple Silicon в форматах OpenAI, Anthropic и Ollama: к нему подключают Claude Code, Codex и OpenCode одной командой
Сервер инференса на MLX в стиле vLLM, который запускает языковые модели на Mac с Apple Silicon и отдает их по API
Локальный сервер моделей для Mac с Apple Silicon: Qwen 3.8 и Gemma 4 с MTP-декодированием, API OpenAI и Anthropic для Claude Code, Codex и Cursor
MCP-сервер отдает ограниченные задачи локальной модели или дешевому облачному API, Claude остается архитектором
llmman запускает Claude Code, Codex и OpenCode на локальной или облачной модели одной командой, модели хранит как образы OCI
Встроенная в Mac модель Apple Intelligence как команда терминала и локальный сервер в формате OpenAI: без ключей и облака
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| mlx-dspark (эта карточка) | нет | 737 | |
| vllm-mlx — локальный сервер LLM для Claude Code на Mac | нет | 1 654 | сервер vLLM-стиля на MLX с пакетной обработкой, без драфтеров DSpark и DFlash |
| mlx-serve | да | 2 439 | отдельный MLX-сервер для локальных моделей, здесь добавлено спекулятивное декодирование |
| Ollama | да | 186 866 | запускает модели на разных системах, mlx-dspark работает только на Apple Silicon |
Коротко о README
Страница начинается с описания двух методов спекулятивного декодирования и таблицы проверенных моделей с замером ускорения на M4 Pro. Затем идут установка через `pip` и Homebrew, быстрый старт, разделы про сервер OpenAI и Anthropic, запуск Claude Code и Codex, измерения на длинном контексте и результаты по каждой модели.