GPT-Load CLI
Самостоятельный шлюз для нескольких ключей и провайдеров LLM: ротация, отказоустойчивость, логи и учет расходов
- 7 213 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Сервис хранит и расшифровывает API-ключи и учетные данные провайдеров LLM
- Требует поднятия собственного сервера с доступом в сеть
Установка
- Работает в
Ручная установка
git clone --depth 1 https://github.com/tbphp/gpt-load.git
cd gpt-load
cp .env.example .env
docker compose up -dОсновной способ, требует Docker и Docker Compose.
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Сервис хранит и расшифровывает API-ключи и учетные данные провайдеров LLM
- Требует поднятия собственного сервера с доступом в сеть
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
GPT-Load это сервер на Go, который встает между вашими приложениями или агентами и провайдерами LLM: OpenAI, Anthropic, Gemini и другими по OpenAI-совместимому протоколу. Он объединяет несколько API-ключей и подписочных аккаунтов в один вход, распределяет запросы между ними, переключается на резервный ключ при ошибке или лимите и ведет журнал запросов с оценкой стоимости. Настройка идет через веб-консоль: добавление канала с ключами, создание группы моделей и выдача клиентского ключа доступа с ограничениями. Данные хранятся в SQLite по умолчанию либо в MySQL или PostgreSQL.
Для кого. Для тех, кто держит несколько ключей и аккаунтов провайдеров LLM для команды или своих кодинг-агентов и хочет один вход вместо ручного переключения.
Подходит, если
- Нужно распределить нагрузку между несколькими ключами или аккаунтами одного провайдера
- Нужен автоматический отказоустойчивый переход на резервный ключ при ошибке или лимите
- Нужен единый журнал запросов и оценка расходов по всем ключам и моделям
Не подходит, если
- Используется всего один ключ у одного провайдера без нужды в резерве
- Не хочется держать собственный сервер и следить за его доступностью
Пример запроса к агенту
Разверни локальный шлюз GPT-Load и подключи к нему два ключа Anthropic с автопереключением при лимитеОграничения
Нужен Docker и Docker Compose либо готовый бинарник под свою платформу. Ключ шифрования encryption.key должен храниться вместе с базой данных: при его потере расшифровать сохраненные ключи каналов будет нельзя, ротация мастер-ключа в этой версии не поддерживается.
Как отключить. Остановите сервис командой docker compose stop и при необходимости удалите контейнеры и том gpt-load-data, либо завершите процесс нативного бинарника.
Частые вопросы
Можно ли запустить без Docker?
Да, на странице релизов есть портативные бинарники для Linux, macOS и Windows, для Windows также есть установщик со службой.
Доступен ли сервис снаружи по умолчанию?
Нет, по умолчанию он слушает только loopback-адрес 127.0.0.1, для внешнего доступа нужно явно выставить HOST=0.0.0.0.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыСамохостящийся шлюз между ИИ-приложениями и моделями, MCP-инструментами и A2A-агентами: политики, бюджеты, маршрутизация и журнал
Шлюз GoModel собирает MCP-серверы за одним защищенным адресом: агент видит нужные инструменты по ключу, а токены остаются в шлюзе.
Agentgateway
agentgateway
Прокси для агентного трафика: маршрутизирует и защищает подключения к MCP-серверам, LLM и другим агентам через A2A
Локальный шлюз объединяет MCP-серверы внутренних сервисов, проверяет вход пользователя и записывает обращения в журнал.
CLI запускает прокси к языковым моделям и отдельный сервис учета запросов для отладки приложений на нескольких провайдерах.
setup-gateway за один проход прописывает OpenAI-совместимый шлюз в конфиги Claude Code, OpenCode и Codex CLI с резервной копией.
Коротко о README
README описывает GPT-Load как самостоятельный AI-шлюз для многоканальных и мультиключевых настроек: объединение API-ключей и подписочных аккаунтов, планирование трафика, отказоустойчивость, журналы запросов и учет расходов в веб-консоли. Развертывание через Docker Compose с базой SQLite по умолчанию либо MySQL и PostgreSQL через единую строку подключения DATABASE_DSN. Отдельно описаны нативные бинарники и установщик для Windows. Лицензия MIT.