GPT-Load

Установка

Ручная установка

git clone --depth 1 https://github.com/tbphp/gpt-load.git
cd gpt-load
cp .env.example .env
docker compose up -d

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

GPT-Load это сервер на Go, который встает между вашими приложениями или агентами и провайдерами LLM: OpenAI, Anthropic, Gemini и другими по OpenAI-совместимому протоколу. Он объединяет несколько API-ключей и подписочных аккаунтов в один вход, распределяет запросы между ними, переключается на резервный ключ при ошибке или лимите и ведет журнал запросов с оценкой стоимости. Настройка идет через веб-консоль: добавление канала с ключами, создание группы моделей и выдача клиентского ключа доступа с ограничениями. Данные хранятся в SQLite по умолчанию либо в MySQL или PostgreSQL.

Для кого. Для тех, кто держит несколько ключей и аккаунтов провайдеров LLM для команды или своих кодинг-агентов и хочет один вход вместо ручного переключения.

Пример запроса к агенту

Разверни локальный шлюз GPT-Load и подключи к нему два ключа Anthropic с автопереключением при лимите

Ограничения

Нужен Docker и Docker Compose либо готовый бинарник под свою платформу. Ключ шифрования encryption.key должен храниться вместе с базой данных: при его потере расшифровать сохраненные ключи каналов будет нельзя, ротация мастер-ключа в этой версии не поддерживается.

Как отключить. Остановите сервис командой docker compose stop и при необходимости удалите контейнеры и том gpt-load-data, либо завершите процесс нативного бинарника.

Проверка безопасности

• Сервис хранит и расшифровывает API-ключи и учетные данные провайдеров LLM
• Требует поднятия собственного сервера с доступом в сеть

Коротко о README

README описывает GPT-Load как самостоятельный AI-шлюз для многоканальных и мультиключевых настроек: объединение API-ключей и подписочных аккаунтов, планирование трафика, отказоустойчивость, журналы запросов и учет расходов в веб-консоли. Развертывание через Docker Compose с базой SQLite по умолчанию либо MySQL и PostgreSQL через единую строку подключения DATABASE_DSN. Отдельно описаны нативные бинарники и установщик для Windows. Лицензия MIT.

Похожие