Локальная нейросеть: как запустить ИИ на своем компьютере и подключить к агентам

Что такое локальная нейросеть

Локальная нейросеть — открытая модель, которую вы скачиваете и запускаете на своем железе. Отвечает она без интернета, а программа-запускалка дает ей адрес на вашем компьютере, к которому подключаются чат, агент или скрипт.

У такого подхода три плюса. Не нужен аккаунт у зарубежного поставщика. Нет счета за токены: платите только за электричество и железо. Код и документы остаются у вас. Минус тоже очевиден: открытая модель на ноутбуке слабее крупных облачных моделей, и работает медленнее. Официальных сравнений качества с цифрами в документации нет.

Сколько нужно памяти

Размер модели определяет, на каком компьютере она запустится. Модели сжимают квантизацией: веса хранят в 1,5–8 битах на число вместо 16, поэтому файл меньше и работает быстрее. Размеры скачивания по страницам библиотеки Ollama:

• gemma4 e4b — 6,6–9,5 ГБ, qwen3.5 9b — 6,6–7,6 ГБ.
• gpt-oss:20b — 14 ГБ, страница модели рассчитывает ее на системы от 16 ГБ памяти.
• gemma4 26b — 16–19 ГБ, qwen3-coder:30b — 19 ГБ.
• gpt-oss:120b — 65 ГБ, ей нужна одна видеокарта на 80 ГБ.

Мой вывод из размеров моделей: на компьютере с 8 ГБ памяти пойдут модели до 4 млрд параметров для простых ответов, с 16 ГБ — gpt-oss:20b и модели около 9 млрд параметров, с 32 ГБ и больше — модели класса 26–30 млрд. Учтите и контекст: чем длиннее разговор, тем больше памяти уходит сверх самой модели.

Ollama или LM Studio

Обе программы бесплатно запускают открытые модели и отдают их агентам. Разница в подходе.

Ollama — открытый проект под лицензией MIT, 183 тыс. ★ репозитория. Управляется в основном из командной строки, работает на macOS, Linux, Windows и в Docker. Одной командой настраивает Claude Code, Codex и OpenCode на локальную модель.

LM Studio — приложение с окном: модели ищут и скачивают мышкой, есть чат, чат с документами и поддержка MCP-серверов. Код у него закрыт, условия разрешают личное и внутреннее рабочее использование. На Mac нужен процессор Apple Silicon и macOS 14 или новее, на Windows — 16 ГБ памяти и от 4 ГБ видеопамяти.

Если вы работаете в терминале и собираетесь подключать агентов, я бы начал с Ollama. Если хочется сначала просто поговорить с моделью и посмотреть, на что она способна, удобнее LM Studio.

Как запустить модель через Ollama

Установка по README Ollama:

• macOS и Linux: curl -fsSL https://ollama.com/install.sh | sh
• Windows в PowerShell: irm https://ollama.com/install.ps1 | iex

Скрипт скачивает и запускает код, поэтому сначала прочитайте его. Дальше модель скачивается и запускается одной командой, например ollama run gpt-oss:20b. Список скачанных моделей покажет ollama list, работающие — ollama ps, удалить лишнюю можно через ollama rm.

Запущенная Ollama слушает адрес 127.0.0.1:11434. На нем работает API в формате OpenAI (http://localhost:11434/v1/) и в формате Anthropic (/v1/messages). Поэтому агенты подключаются к ней напрямую, без прокси.

Важная настройка для агентов — длина контекста. По документации Ollama, если видеопамяти меньше 24 ГБ, по умолчанию контекст всего 4 тыс. токенов. Claude Code и Codex нужно от 64 тыс., Cline от 32 тыс. Поднимают его переменной: OLLAMA_CONTEXT_LENGTH=64000 ollama serve. Проверить, с каким контекстом работает модель, можно командой ollama ps.

Как запустить модель через LM Studio

Установщик скачивается с lmstudio.ai. Модель выбирают и скачивают в окне приложения, там же с ней можно поговорить. Чтобы к модели подключились агенты, нужен локальный сервер: вкладка Developer или команда lms server start --port 1234. Сервер принимает запросы в форматах OpenAI и Anthropic на адресе http://localhost:1234.

Как подключить локальную модель к Claude Code

Через Ollama проще всего командой ollama launch claude. Вручную, по инструкции Ollama, задают три переменные и запускают агента с нужной моделью:

• ANTHROPIC_BASE_URL=http://localhost:11434
• ANTHROPIC_AUTH_TOKEN=ollama
• ANTHROPIC_API_KEY=""

После этого claude --model qwen3.5. Для LM Studio адрес другой: ANTHROPIC_BASE_URL=http://localhost:1234 и ANTHROPIC_AUTH_TOKEN=lmstudio, модель, например, openai/gpt-oss-20b. Документация LM Studio для Claude Code называет контекст от 25 тыс. токенов.

Как подключить к Codex

Через Ollama есть команда ollama launch codex. Вручную работает флаг codex --oss: он берет локального провайдера, по умолчанию Ollama, а модель задают так: codex --oss -m gpt-oss:120b. Провайдера выбирают в ~/.codex/config.toml параметром oss_provider ("ollama" или "lmstudio").

Для LM Studio достаточно поднять сервер командой lms server start --port 1234 и запустить codex --oss. По умолчанию Codex возьмет модель openai/gpt-oss-20b. Подробнее о самом агенте в статье «Codex бесплатно».

Как подключить к OpenCode и Cline

OpenCode настраивается командой ollama launch opencode. Вручную в opencode.json добавляют провайдера ollama с адресом http://localhost:11434/v1 и списком моделей, для LM Studio — провайдера lmstudio с адресом http://127.0.0.1:1234/v1. Если модель не вызывает инструменты, документация OpenCode советует поднять контекст до 16–32 тыс. токенов.

В Cline локальную модель выбирают в настройках: провайдер Ollama и окно контекста не меньше 32 тыс. токенов.

С локальными моделями работают и другие агенты из каталога: Goose, Aider и Qwen Code. Сравнение бесплатных агентов собрано в статье «Бесплатные ИИ-агенты».

Какую модель выбрать

Агенту подходит только модель с поддержкой инструментов, в библиотеке Ollama она отмечена словом tools. Из моделей, которые там есть сейчас:

• gpt-oss (20b и 120b) — модель OpenAI с открытыми весами, лицензия Apache 2.0, контекст 128 тыс., умеет вызывать инструменты и рассуждать.
• qwen3-coder (30b и 480b) — модель для кода, контекст 256 тыс., поддерживает инструменты.
• qwen3.5 и qwen3.6 — общие модели от 0,8b до 122b параметров, видят картинки и вызывают инструменты.
• gemma4 (от e2b до 31b) — модели Google, контекст 128–256 тыс., инструменты и картинки.
• deepseek-r1 (от 1,5b до 671b) — модель с рассуждениями и поддержкой инструментов.

Для кода на мощной машине я бы взял qwen3-coder:30b.

Можно ли генерировать картинки локально

Можно, но для этого нужна отдельная программа: Ollama и LM Studio рассчитаны на текстовые модели. Самый известный открытый инструмент — ComfyUI. По документации он работает на Windows, Linux и macOS с Apple Silicon и требует Python 3.13 и PyTorch 2.7 или новее. Требования к видеопамяти зависят от модели, официальной таблицы на странице установки я не нашел.

Ограничения

• Качество. На сложных задачах локальная модель уступает крупным облачным, особенно в длинной работе агента с инструментами.
• Скорость. Без мощной видеокарты ответы идут заметно медленнее.
• Контекст. Частая причина, по которой агент на локальной модели «теряет» задачу и не вызывает инструменты, — маленький контекст по умолчанию.
• Облачные модели Ollama. Модели с тегом :cloud не скачиваются и работают через аккаунт Ollama, это уже не локальный запуск.

Локальный сервер Ollama и LM Studio по умолчанию принимает запросы без ключа. Пока он слушает только ваш компьютер, это нормально. Не открывайте порт в сеть без защиты, иначе моделью сможет пользоваться любой в этой сети.

Что с доступом из России

Скачанная модель работает без интернета и без зарубежного аккаунта, поэтому после загрузки локальный запуск не зависит от доступа к зарубежным сервисам. Доступность сайтов, откуда скачиваются программы и модели, я отдельно не проверял. Инструкций по обходу блокировок я не даю. Если нужна облачная модель с оплатой в рублях, есть шлюз SkillFoxx API в закрытой бете, а подобрать агента под проект поможет Foxx AI на странице подбора.

Чем облачный DeepSeek отличается от локального DeepSeek-R1 и сколько стоит его API, описано в статье «DeepSeek бесплатно».

Какие модели Qwen актуальны и как ими пользоваться без установки, описано в статье «Qwen (Квен): что это за нейросеть».