Spark History Server MCP
MCP-сервер и CLI shs для Apache Spark History Server: агент разбирает задания, стадии и сбои Spark на естественном языке
- 207 ★ репозитория
- Последний коммит
- Apache-2.0
Минимальный доступ
Почему такой уровень
- Инструменты читают метрики, задания и стадии приложений Spark, команд запуска и изменения заданий нет
- Адрес History Server и параметры TLS хранятся в вашей конфигурации
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/spark-history-server-mcpОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемМинимальный доступИнструмент ничего не запускает и не ходит в сеть.
- Инструменты читают метрики, задания и стадии приложений Spark, команд запуска и изменения заданий нет
- Адрес History Server и параметры TLS хранятся в вашей конфигурации
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Набор Kubeflow Spark AI Toolkit дает два интерфейса к данным Spark History Server. MCP-сервер отдает их ИИ-агентам как инструменты: агент по вопросам вроде «почему упало приложение» выбирает инструменты, маршрутизирует запросы между серверами и собирает выводы. Ставится через `uvx --from mcp-apache-spark-history-server spark-mcp` и подключается к Claude Code командой `claude mcp add`. Второй интерфейс, CLI `shs` на Go в одном статическом бинарнике, работает без MCP и без демона: `shs apps`, `shs jobs -a APP_ID --status failed`, `shs stages -a APP_ID --sort duration`, `shs compare apps`. Готовый скилл подключается командой `shs setup skill`. По умолчанию сервер обращается к History Server на `http://localhost:18080`, а адреса задаются файлом конфигурации или `SHS_SERVERS__LOCAL__URL`.
Для кого. Инженерам данных и платформенным командам, которые разбирают сбои и медленные задания Apache Spark и хотят отдать первичный разбор агенту или скрипту.
Подходит, если
- Приложение Spark упало ночью, и нужно найти упавшие задания и причину
- Две версии одного конвейера идут с разным временем, и их надо сравнить по стадиям
- Данные нужны скрипту или CI без MCP и без процесса-демона
- Несколько серверов History Server должны отвечать из одного разговора
Не подходит, если
- История приложений Spark не включена: сервер читает только данные History Server
- Нужен дамп потоков работающего драйвера: он доступен только через интерфейс драйвера, а History Server отвечает 503
- Требуется запускать и менять задания Spark: инструменты читают историю и метрики
Пример запроса к агенту
Найди упавшие задания приложения `application_1234` и сравни его с прошлым запуском по длительности стадий.MCP
- Транспорт
- stdio
- Авторизация
- не нужна
Переменные окружения
SHS_MCP__TRANSPORT- Транспорт MCP, для запуска через stdio значение stdio.
SHS_SERVERS__LOCAL__URL- Адрес Spark History Server, по умолчанию http://localhost:18080.
Ограничения
MCP-сервер требует Python 3.12 или новее и `uv`, CLI `shs` ставится бинарником с релизов проекта (Go). Каждая запись сервера в конфигурации имеет фиксированный адрес, поэтому для покрытия всех работающих приложений нужен прокси, который направляет запросы на интерфейс драйвера пока приложение идет и на History Server после. Если инструмент не называет сервер, берется первый настроенный, где есть приложение: называйте сервер явно. Для частного CA задайте `ssl_ca_cert`. Последний коммит в репозитории датирован ноябрем 2026 года.
Как отключить. Удалите запись `spark-history` из конфигурации клиента (`claude mcp remove spark-history`) и бинарник `shs` из `/usr/local/bin`. Файл `~/.claude/skills/spark-history.md`, созданный `shs setup skill`, удаляется вручную.
Частые вопросы
Как запустить MCP-сервер?
Командой `uvx --from mcp-apache-spark-history-server spark-mcp` без установки или `uv tool install mcp-apache-spark-history-server` и затем `spark-mcp`. Пакет опубликован в PyPI.
В чем разница между MCP и `shs`?
MCP рассчитан на многошаговые расследования агентом, а `shs` на команды, скрипты и CI: один статический бинарник без зависимостей и демона.
Куда подключается сервер по умолчанию?
К Spark History Server на `http://localhost:18080`. Другой адрес задается файлом конфигурации или переменной `SHS_SERVERS__LOCAL__URL`.
Какие версии MCP поддерживаются?
Протокол 2026-07-28 и 2025-11-25 вместе с более ранними: сервер сам согласует версию с клиентом, настройка не нужна.
Как подключить CLI как скилл?
Командой `shs setup skill > ~/.claude/skills/spark-history.md`. Так же подходит Kiro.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыMCP-сервер DataHub: агент ищет таблицы и столбцы по метаданным, строит lineage и находит SQL-запросы аналитиков
MCP-сервер Confluent для Kafka: топики, сообщения, Flink SQL, Schema Registry и коннекторы
MCP-сервер от AntV для генерации графиков и диаграмм: 25 с лишним типов визуализаций, от линий и столбцов до карт, ментальных карт и диаграмм связей
MCP-сервер для SAP HANA и HANA Cloud: схема, SQL с лимитами строк и 34 инструмента, запись в базу по умолчанию заблокирована
MCP Jitsu настраивает и отлаживает конвейеры данных: назначения, потоки, функции, живые события и синхронизации.
Локальный эмулятор Databricks API с MCP-сервером на 67 инструментов: агент работает с SQL и заданиями без рабочего пространства
Коротко о README
README объясняет два интерфейса (CLI `shs` и MCP-сервер) в таблице, дает установку CLI, примеры команд и подключение скилла. Для MCP описаны установка, регистрация в агентах, конфигурация и ограничения живых приложений.