MTPLX CLI

Установка

Работает в

• Claude Code
• Codex
• Cursor
• Cline
• OpenCode
• Hermes Agent

Ручная установка

brew install youssofal/mtplx/mtplx

Что делает

MTPLX — локальный сервер моделей для Mac с Apple Silicon: приложение и командная строка `mtplx` запускают Qwen 3.8 Flash Next, Qwen 3.8 27B, Ternary Bonsai 2 27B, Qwen 3.6, Qwen 3.5 и Gemma 4 на вашем компьютере. Скорость выше за счет собственных голов многотокенного предсказания (MTP) модели: она набрасывает несколько токенов вперед, один проход проверяет черновик, после чего принимает токены точной выборкой с отклонением и остаточной поправкой. Автор измерил ускорение 1,6 раза на Mac mini M4 с 16 ГБ и 2,24 раза на MacBook Pro M5 Max. Команда `mtplx start` предлагает выбрать модель, режим и способ запуска. `mtplx serve` поднимает сервер на `127.0.0.1:8000` с маршрутами OpenAI `/v1/chat/completions`, `/v1/responses`, `/v1/completions` и `/v1/models`, а также Anthropic `/v1/messages` с потоковой выдачей и вызовами инструментов. Сюда подключают Claude Code, Codex, Cline, Cursor, OpenCode и любой клиент, который знает эти API. При необходимости тот же процесс отдает `/v1/embeddings` и `/v1/rerank` для поиска и памяти агентов. Приложение выбирает модель по объему вашей памяти, скачивает ее из каталога Youssofal на Hugging Face, ставит собственную среду Python и запускает `mtplx tune`: команда замеряет обычную генерацию и глубины MTP от 1 до 3 на вашем Mac и сохраняет самый быстрый вариант.

Для кого. Для разработчиков на Mac с Apple Silicon, которые хотят гонять кодовых агентов на локальной модели без отправки кода в облако и с максимальной скоростью.

Пример запроса к агенту

Подними на моем Mac локальный сервер MTPLX с моделью Qwen 3.8 27B и подключи к нему Claude Code в этом проекте, чтобы код не уходил в облако

Ограничения

• Модели большие: Flash Next в 4 бита занимает 106–115 ГБ на диске и 74–83 ГБ памяти, версия Optimized Quality весит около 170 ГБ и, по словам автора, еще не запускалась на Mac с 256 ГБ. Модель Qwen 3.8 27B Optimized Speed занимает 20,4 ГБ.
• Скорости в таблице автор снимал на MacBook Pro M5 Max с 128 ГБ при вентиляторах на максимуме. На других Mac результат другой, поэтому в проект встроена команда `mtplx tune`.
• Приложение при первом запуске и команда `mtplx max --install` ставят управление вентиляторами через ThermalForge с одним запросом `sudo`. Режим с вентиляторами необязателен.
• Маршрут Responses для Codex не поддерживает размещенные инструменты: на запрос `web_search` сервер отвечает ошибкой 400, пока инструмент не отключен в клиенте.
• Лицензия Apache-2.0, но продукт или сервис на основе MTPLX обязан показывать в интерфейсе или документации надпись «Powered by MTPLX» со ссылкой, упоминания на сайте недостаточно. Веса моделей подчиняются лицензиям авторов оригинальных моделей.

Как отключить. Остановите сервер командой `mtplx stop`. Скачанную модель удаляет `mtplx remove <hf-repo>`. Если пакет ставили через Homebrew, выполните `brew uninstall mtplx`, при установке через pip используйте `python3 -m pip uninstall mtplx`. Установщик со скриптом кладет среду в `~/.mtplx/venv` и ссылку в `~/.local/bin/mtplx`, эти пути можно удалить вручную. Приложение удаляется как обычное.

Коротко о README

Главная страница репозитория начинается с таблицы измеренных скоростей по моделям, затем объясняет, как получить приложение, и перечисляет модели с размерами и режимами. Дальше идут разделы о приложении с панелью, об автонастройке, о Forge для сборки собственных MTP-моделей, о сервере с эмбеддингами и реранкингом, справка по командам и режимы Turbo, Sustained и Burst. В репозитории также лежат заметки о релизах, история измерений, руководство по неполадкам и приложение для macOS на Swift.