Shepherd Model Gateway CLI
CLI запускает шлюз моделей, который распределяет запросы между серверами и подключает MCP-инструменты по заданным правилам.
- 699 ★ репозитория
- Последний коммит
- Apache-2.0
Широкий доступ
Почему такой уровень
- Без ограничивающей политики подключенные MCP-инструменты разрешены, включая выполнение кода, если такой сервер добавлен администратором.
Установка
Ручная установка
docker pull lightseekorg/smg:latestПервый вариант установки Quick Start: скачивает образ, не запускает модели или шлюз.
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Без ограничивающей политики подключенные MCP-инструменты разрешены, включая выполнение кода, если такой сервер добавлен администратором.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Shepherd Model Gateway, или SMG, принимает запросы приложений и распределяет их между серверами моделей. Администратор подключает свои движки или облачных провайдеров и выбирает способ балансировки. При маршрутизации с учетом кеша шлюз старается повторно использовать уже обработанные префиксы. Через SMG приложение также может вызывать подключенные MCP-инструменты. Шлюз работает как их клиент, применяет правила допуска и возвращает результат в формате API модели.
Для кого. Инженерам платформ LLM, которые обслуживают несколько серверов моделей и централизуют запуск инструментов.
Подходит, если
- Несколько серверов одной модели должны делить входящую нагрузку.
- Приложению нужен единый адрес для своих и облачных моделей.
- Для запуска инструментов вы вводите правила по серверам и отдельным действиям.
- При расследовании задержки вы сопоставляете запросы с метриками и трассировкой.
Не подходит, если
- Вы ищете готовую модель без отдельного сервера или провайдера.
- Каждый MCP-вызов должен всегда показывать интерактивное подтверждение.
- Нельзя обслуживать шлюз и хранить его учетные данные в своей инфраструктуре.
Пример запроса к агенту
Подготовь SMG для двух тестовых серверов модели и покажи политику, которая запрещает все MCP-инструменты до явного разрешения.Ограничения
Шлюз не запускает сами модели: сначала подготовьте серверы вычисления или доступ к провайдеру. Без отдельной MCP-политики инструменты разрешены по умолчанию, поэтому явно ограничьте список до подключения рабочих сервисов. Интерактивное согласование доступно в Responses API; в других режимах шлюз разрешает или отклоняет действие по настроенным правилам. Облачные маршруты передают запросы выбранному провайдеру, даже если историю разговоров вы храните в своей инфраструктуре.
Как отключить. Остановите шлюз и уберите его адрес из приложений. Отзовите ненужные ключи провайдеров и MCP-сервисов; историю в выбранной базе обслуживайте отдельно.
Частые вопросы
Что делает первая Docker-команда?
Она скачивает образ. Для работы еще нужно запустить шлюз и передать адреса серверов моделей.
Где шлюз принимает запросы в примере?
На локальном порту 30000. Адрес из примера нужно сопоставить со своей конфигурацией запуска.
Можно ли подключить vLLM и SGLang?
Да. Оба движка перечислены среди поддерживаемых серверов моделей.
Что делать с одинаковыми именами инструментов?
SMG различает инструменты по серверу и имени. В конфигурации можно задать понятные приложению псевдонимы.
Где посмотреть нагрузку?
Подключите сбор метрик Prometheus и трассировку OpenTelemetry, которые поддерживает шлюз.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыCLI запускает шлюз к моделям и MCP-инструментам с собственными API-ключами, переводом форматов, маршрутами и журналом запросов.
Локальный шлюз объединяет MCP-серверы внутренних сервисов, проверяет вход пользователя и записывает обращения в журнал.
AIHelms, MCP-шлюз организации, связывает вызовы с персональными ключами сотрудников и учитывает заданную стоимость инструментов.
Шлюз и реестр от IBM: объединяет MCP-серверы, A2A-агентов и REST или gRPC API в одну точку с авторизацией и наблюдаемостью
Самостоятельно размещаемый шлюз, который собирает несколько MCP-серверов в один эндпоинт с авторизацией и выбором инструментов
MCP Gateway
mcp-gateway
Обратный прокси и управление жизненным циклом серверов MCP на Kubernetes и Azure от Microsoft: маршрутизация, авторизация, роли. Для команд платформы
Коротко о README
Шлюз может находить серверы моделей в Kubernetes и хранить историю в нескольких поддерживаемых базах. Администратор может подключить собственные обработчики через WebAssembly.