Claude Video Vision MCP
claude-video-vision
MCP-сервер и плагин Claude Code, которые дают агенту смотреть видео: кадры через ffmpeg и расшифровка звука через Gemini, локальный Whisper или OpenAI
- 1 500 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Запускает ffmpeg и yt-dlp и скачивает модели Whisper
- Облачные бэкенды отправляют звук в Gemini или OpenAI
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/claude-video-visionОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Запускает ffmpeg и yt-dlp и скачивает модели Whisper
- Облачные бэкенды отправляют звук в Gemini или OpenAI
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
MCP-сервер извлекает кадры видео через ffmpeg и обрабатывает звук одним из трех бэкендов: Gemini API, локальный Whisper или OpenAI API. Агент получает кадры как изображения и расшифровку звука с таймкодами, сервер работает как слой восприятия, не интерпретации. Поддерживаются локальные файлы и ссылки YouTube: скачивание через yt-dlp с приоритетом субтитров. Есть шесть инструментов: video_info, video_analyze, video_watch, video_detail, video_configure, video_setup. Плагин добавляет слэш-команду /watch-video, мастер настройки и скилл video-perception, который задает агенту порядок работы. Параметры кадров и модель Whisper настраиваются.
Для кого. Для разработчиков и аналитиков, которым нужно, чтобы агент разбирал содержимое видео.
Подходит, если
- Нужно, чтобы агент посмотрел локальное видео или ролик YouTube и ответил по содержимому
- Нужна расшифровка звука с таймкодами вместе с кадрами
- Нужно разобрать баг-репорт или запись экрана по кадрам
Не подходит, если
- Нужен только разбор текста без видео
- Нельзя установить ffmpeg, а для ссылок YouTube yt-dlp
Пример запроса к агенту
Посмотри это видео и расскажи, что происходит в первую минуту: ~/Downloads/demo.mp4MCP
- Транспорт
- stdio
- Авторизация
- не нужна
Переменные окружения
GEMINI_API_KEYсекрет- Ключ Gemini API для бэкенда Gemini, есть бесплатный лимит.
OPENAI_API_KEYсекрет- Ключ OpenAI для бэкенда OpenAI, оплата по расходу.
Ограничения
Нужен Node.js 20 или новее и ffmpeg, для ссылок YouTube еще yt-dlp. Бэкенд Gemini API требует ключ GEMINI_API_KEY, бэкенд OpenAI требует ключ OPENAI_API_KEY и оплату по расходу, оба сервиса из России без VPN недоступны. Локальный бэкенд на whisper.cpp работает офлайн и без ключей, модели Whisper скачиваются при первом запуске. На момент первого релиза проверен на macOS с локальным бэкендом.
Как отключить. Удалите плагин claude-video-vision через /plugin или уберите сервер из конфигурации MCP клиента.
Частые вопросы
Можно ли работать без облачных ключей?
Да. Локальный бэкенд на whisper.cpp расшифровывает звук офлайн, без ключей и оплаты. Ключи нужны только бэкендам Gemini и OpenAI.
Поддерживается ли YouTube?
Да. Ссылку можно передать напрямую, сервер скачает ролик через yt-dlp и предпочтет субтитры, а бэкенд звука подключит, только если субтитров не хватает.
Чем Claude Video Vision отличается от расшифровки видео вручную?
MCP-сервер извлекает кадры через ffmpeg и обрабатывает звук одним из трех бэкендов: Gemini API, локальный Whisper или OpenAI API. Агент получает кадры как изображения и расшифровку звука с таймкодами.
Можно ли использовать Claude Video Vision без облачных ключей?
Да, если выбрать локальный Whisper для звука. Для Gemini и OpenAI нужны ключи API. Установка в Claude Code: /plugin marketplace add с адресом репозитория из блока установки. Работает также в Cursor и Claude Desktop.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыMCP-сервер, плагин /video и CLI: расшифровка, ключевые кадры, текст с экрана и метаданные видео из YouTube, Loom, TikTok или файла
Cloudglue MCP — анализ видео для агента
Cloudglue MCP Server
Агент в Cursor или Claude Desktop описывает видео, режет его на главы и кадры и ищет моменты по речи и картинке через Cloudglue
ClipForge MCP
ClipForge
ClipForge MCP собирает вертикальное видео из темы или ссылки на товар: сток, озвучка Edge TTS и субтитры без ключей, сборка через FFmpeg
watch-cli, скилл и CLI, дает агенту кадры и расшифровку любого соцвидео, чтобы тот разобрал ролик сам.
Claude Real Video
claude-real-video
Скилл, который дает Claude «смотреть» видео: из ссылки или файла достает кадры с учетом сцен без дублей и расшифровку речи через whisper
Локальный MCP-сервер отправляет картинки, видео, звук и музыку мультимодальной модели и возвращает текстовому агенту описание.
Коротко о README
README описывает плагин Claude Code с MCP-сервером, который дает агенту восприятие видео. Сервер извлекает кадры через ffmpeg и расшифровывает звук через Gemini API, локальный Whisper или OpenAI API, отдавая кадры и текст с таймкодами. Поддерживаются локальные файлы и ссылки YouTube через yt-dlp. Плагин ставится командами /plugin, сервер подтягивается через npx, настройка идет через мастер /setup-video-vision. Есть шесть инструментов MCP и слэш-команда /watch-video. Лицензия MIT.