LLMstudio CLI
CLI запускает прокси к языковым моделям и отдельный сервис учета запросов для отладки приложений на нескольких провайдерах.
- 390 ★ репозитория
- Последний коммит
- MPL-2.0
Расширенный доступ
Почему такой уровень
- Прокси получает ключи провайдеров и содержание запросов приложения; проверьте доступ к журналам и сетевым портам.
Установка
В терминале, через SkillFoxx CLI
npx skillfoxx add cli/llmstudioОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Прокси получает ключи провайдеров и содержание запросов приложения; проверьте доступ к журналам и сетевым портам.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
CLI LLMstudio запускает локальные сервисы проксирования и учета обращений к моделям. Команда разработки может направить запросы приложения через единый слой и наблюдать использование моделей. В проекте также есть Python SDK и интерфейс для работы с промптами. Прокси поддерживает облачных провайдеров и модели через Ollama. Маршрутизация и резервные подключения позволяют задать другой путь запроса, если основной провайдер недоступен. Через SDK разработчик встраивает эти обращения в свой код.
Для кого. Инженерам LLM-приложений, которые сравнивают провайдеров и хотят видеть историю запросов при отладке.
Подходит, если
- Приложение обращается к нескольким моделям, и вы хотите собрать запросы в одном месте.
- Во время эксперимента с промптом требуется проверить использование и поведение провайдера.
- Команда тестирует облачную модель вместе с локальной моделью Ollama.
- В испытании отказоустойчивости надо проверить переход на резервного провайдера.
Не подходит, если
- Требуется готовый MCP-сервер с инструментами для работы с проектом.
- Пользователю нужен только чат без настройки Python-окружения.
- Политика проекта запрещает записывать содержание модельных запросов в отдельный сервис.
Пример запроса к агенту
Подготовь отдельное окружение LLMstudio и покажи, как направить тестовые запросы приложения через прокси с учетом обращений.Ограничения
Полная установка включает дополнительные зависимости прокси и трекера; базовый пакет сам по себе не повторяет этот набор. Для облачных моделей нужны собственные ключи соответствующих провайдеров, а запросы оплачиваются по их условиям. В примере запуска сервисы слушают адрес 0.0.0.0, поэтому перед размещением на общем компьютере ограничьте сетевой доступ. Преобразование типов помечено как будущая возможность: не закладывайте его в рабочий сценарий.
Как отключить. Остановите процессы прокси и трекера, затем верните приложению прежний адрес провайдера. При отказе от сервиса уберите его ключи из окружения.
Частые вопросы
Как запустить оба сервиса?
Выполните `llmstudio server --proxy --tracker` после установки полного пакета и настройки ключей.
Где посмотреть методы API?
Прокси публикует документацию на порту 50001, трекер на 50002, в обоих случаях по пути `/docs`. Откройте нужный адрес на машине с сервисом.
Можно ли подключить свою модель?
Да, проект поддерживает модели через Ollama. Настройте такой провайдер и проверьте его отдельным тестовым запросом.
Какой вариант ставить без прокси?
Для облегченного ядра есть `pip install llmstudio`. Выберите его, если дополнительные сервисы вам не нужны.
Где разместить ключи провайдеров?
В `.env` рядом с местом запуска сервиса. Заполните только нужные ключи самостоятельно и исключите файл из публикации.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыЛокальный прокси на Rust сжимает запросы к API моделей от Claude Code, Codex и Cursor, чтобы платить за меньше токенов
Самостоятельный шлюз для нескольких ключей и провайдеров LLM: ротация, отказоустойчивость, логи и учет расходов
CLI запускает шлюз к моделям и MCP-инструментам с собственными API-ключами, переводом форматов, маршрутами и журналом запросов.
Локальный прокси между ИИ-агентами и провайдерами моделей: считает стоимость каждого запуска и обрывает расход сверх лимита
Локальный мост от MCP-клиента к серверам AWS с доступом по IAM: запросы подписываются SigV4 вашими учетными данными AWS
Прокси между транспортами MCP: подключает stdio-клиентов к удаленным SSE и HTTP серверам и публикует локальные серверы по сети
Коротко о README
Пакет включает интеграцию с LangChain и пакетную отправку запросов. Примеры работы находятся в ноутбуках репозитория.