Claude Video Vision
claude-video-vision
MCP-сервер и плагин Claude Code, которые дают агенту смотреть видео: кадры через ffmpeg и расшифровка звука через Gemini, локальный Whisper или OpenAI
Средний риск
Средний уровень ставим, когда инструмент запускает код, ходит в сеть или читает файлы проекта. Перед установкой посмотрите, что именно он делает.
Почему такой уровень
- Запускает ffmpeg и yt-dlp и скачивает модели Whisper
- Облачные бэкенды отправляют звук в Gemini или OpenAI
Установка
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/claude-video-visionОпределит агенты на машине, проверит риск и зафиксирует версию.
Другие способы установки
Выполните в терминале
claude mcp add --transport stdio claude-video-vision -- npx -y claude-video-vision@latestИли добавьте в файл .mcp.json, в проекте
{
"mcpServers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcpServers.
Кнопка откроет агент и предложит добавить сервер. Если ничего не произошло, скопируйте конфиг ниже.
Добавьте в файл ~/.cursor/mcp.json, для всех проектов
{
"mcpServers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcpServers. Для одного проекта тот же блок кладут в .cursor/mcp.json.
Кнопка откроет агент и предложит добавить сервер. Если ничего не произошло, скопируйте конфиг ниже.
Выполните в терминале
code --add-mcp '{"name":"claude-video-vision","type":"stdio","command":"npx","args":["-y","claude-video-vision@latest"]}'Или добавьте в файл .vscode/mcp.json, в проекте
{
"servers": {
"claude-video-vision": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа servers.
Выполните в терминале
codex mcp add claude-video-vision -- npx -y claude-video-vision@latestИли добавьте в файл ~/.codex/config.toml, для всех проектов
[mcp_servers.claude-video-vision]
command = "npx"
args = ["-y", "claude-video-vision@latest"]Если файл уже есть, допишите блок в конец.
Добавьте в файл ~/.gemini/settings.json, для всех проектов
{
"mcpServers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcpServers.
Добавьте в файл ~/.config/devin/mcp_config.json, для всех проектов
{
"mcpServers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcpServers. В легаси Cascade конфиг MCP лежит в ~/.codeium/windsurf/mcp_config.json.
Бывший Windsurf.
Добавьте в файл cline_mcp_settings.json, для всех проектов
{
"mcpServers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcpServers. Файл настроек открывается в Cline: вкладка MCP Servers, кнопка Configure MCP Servers.
Добавьте в файл .roo/mcp.json, в проекте
{
"mcpServers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcpServers.
Форк Roo Code, папки .roo те же.
Добавьте в файл opencode.json, в проекте
{
"mcp": {
"claude-video-vision": {
"type": "local",
"command": [
"npx",
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcp.
Добавьте в файл ~/.config/zed/settings.json, для всех проектов
{
"context_servers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа context_servers.
Добавьте в файл .codeassistant/mcp.json, в проекте
{
"mcpServers": {
"claude-video-vision": {
"command": "npx",
"args": [
"-y",
"claude-video-vision@latest"
]
}
}
}Если файл уже есть, добавьте сервер внутрь ключа mcpServers.
В Claude Code: /plugin marketplace add https://github.com/jordanrendric/claude-video-vision, затем /plugin install claude-video-vision. Сервер поставится через npx при первом вызове. Затем запусти мастер /claude-video-vision:setup-video-vision и выбери бэкенд.
Другие способы из описания автора
/plugin marketplace add https://github.com/jordanrendric/claude-video-vision
/plugin install claude-video-visionСервер ставится через npx при первом вызове.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
MCP-сервер извлекает кадры видео через ffmpeg и обрабатывает звук одним из трех бэкендов: Gemini API, локальный Whisper или OpenAI API. Агент получает кадры как изображения и расшифровку звука с таймкодами, сервер работает как слой восприятия, не интерпретации. Поддерживаются локальные файлы и ссылки YouTube: скачивание через yt-dlp с приоритетом субтитров. Есть шесть инструментов: video_info, video_analyze, video_watch, video_detail, video_configure, video_setup. Плагин добавляет слэш-команду /watch-video, мастер настройки и скилл video-perception, который задает агенту порядок работы. Параметры кадров и модель Whisper настраиваются.
Для кого. Для разработчиков и аналитиков, которым нужно, чтобы агент разбирал содержимое видео.
Подходит, если
- Нужно, чтобы агент посмотрел локальное видео или ролик YouTube и ответил по содержимому
- Нужна расшифровка звука с таймкодами вместе с кадрами
- Нужно разобрать баг-репорт или запись экрана по кадрам
Не подходит, если
- Нужен только разбор текста без видео
- Нельзя установить ffmpeg, а для ссылок YouTube yt-dlp
Пример запроса к агенту
Посмотри это видео и расскажи, что происходит в первую минуту: ~/Downloads/demo.mp4Ограничения
Нужен Node.js 20 или новее и ffmpeg, для ссылок YouTube еще yt-dlp. Бэкенд Gemini API требует ключ GEMINI_API_KEY, бэкенд OpenAI требует ключ OPENAI_API_KEY и оплату по расходу, оба сервиса из России без VPN недоступны. Локальный бэкенд на whisper.cpp работает офлайн и без ключей, модели Whisper скачиваются при первом запуске. На момент первого релиза проверен на macOS с локальным бэкендом.
Как отключить. Удалите плагин claude-video-vision через /plugin или уберите сервер из конфигурации MCP клиента.
MCP
- Транспорт
- stdio
- Авторизация
- не нужна
| Переменные окружения | |
|---|---|
| GEMINI_API_KEY секрет | Ключ Gemini API для бэкенда Gemini, есть бесплатный лимит. |
| OPENAI_API_KEY секрет | Ключ OpenAI для бэкенда OpenAI, оплата по расходу. |
Проверка безопасности
- Запускает ffmpeg и yt-dlp и скачивает модели Whisper
- Облачные бэкенды отправляют звук в Gemini или OpenAI
Коротко о README
README описывает плагин Claude Code с MCP-сервером, который дает агенту восприятие видео. Сервер извлекает кадры через ffmpeg и расшифровывает звук через Gemini API, локальный Whisper или OpenAI API, отдавая кадры и текст с таймкодами. Поддерживаются локальные файлы и ссылки YouTube через yt-dlp. Плагин ставится командами /plugin, сервер подтягивается через npx, настройка идет через мастер /setup-video-vision. Есть шесть инструментов MCP и слэш-команда /watch-video. Лицензия MIT.
Частые вопросы
Можно ли работать без облачных ключей?
Да. Локальный бэкенд на whisper.cpp расшифровывает звук офлайн, без ключей и оплаты. Ключи нужны только бэкендам Gemini и OpenAI.
Поддерживается ли YouTube?
Да. Ссылку можно передать напрямую, сервер скачает ролик через yt-dlp и предпочтет субтитры, а бэкенд звука подключит, только если субтитров не хватает.
Похожие
Скиллы и CLI от HeyGen: агент пишет HTML-композиции и рендерит из них MP4-ролики, субтитры, моушн-графику и слайды
Blender MCP
MCP for Blender
MCP-сервер и аддон для Blender: агент создает и меняет объекты, материалы и сцены, подгружает ассеты и выполняет Python в Blender
Скиллы Remotion
Remotion Agent Skills
Официальные скиллы Remotion для создания видео на React: композиции, анимации, субтитры, карты и рендер
Агентная видеостудия для Claude Code, Cursor и Codex: сценарий, озвучка, картинки, стоковые кадры, музыка, субтитры и рендер