Claude Video — скилл
Скилл /watch: по ссылке или файлу достает кадры и субтитры, а при ключе Gemini передает видео целиком Google, чтобы агент отвечал на вопросы по ролику
- 19 071 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Скилл запускает установщики: Homebrew на macOS, uv, Python 3.12 и пакеты WhisperX, а при каждом старте сессии хук выполняет проверку настроек
- В режиме Gemini ролик целиком, в том числе локальный файл, загружается в Google, а облачное распознавание отправляет звук в Groq или OpenAI
- Ключи Gemini, Groq и OpenAI лежат в `~/.config/watch/.env`, а по явной просьбе скилл читает куки браузера или файл куки
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/claude-videoОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Скилл запускает установщики: Homebrew на macOS, uv, Python 3.12 и пакеты WhisperX, а при каждом старте сессии хук выполняет проверку настроек
- В режиме Gemini ролик целиком, в том числе локальный файл, загружается в Google, а облачное распознавание отправляет звук в Groq или OpenAI
- Ключи Gemini, Groq и OpenAI лежат в `~/.config/watch/.env`, а по явной просьбе скилл читает куки браузера или файл куки
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Claude Video ставит скилл `/watch`, который показывает агенту видео по ссылке или локальному файлу. Режимов два. Если найден ключ `GEMINI_API_KEY`, видео смотрит модель Google: ссылки YouTube уходят в Google напрямую, остальные адреса скачивает yt-dlp, а скачанные и локальные файлы загружаются в Files API и удаляются после ответа. В отчете агент получает ответ Gemini на ваш вопрос с таймкодами и пересказывает его. Без ключа работает локальный режим. `yt-dlp` скачивает ролик, `ffmpeg` режет его на кадры, скилл убирает почти одинаковые кадры по миниатюре 16 на 16 пикселей, и агент читает каждый кадр вместе с текстом. Текст берется из встроенных субтитров, а если их нет, из запасного распознавания речи: локального WhisperX или облачных Groq и OpenAI. Глубину просмотра задают четыре режима детализации: только транскрипт, до 50 кадров по ключевым, до 100 кадров по смене сцен и неограниченный набор. При первом запуске скилл спрашивает, каким способом смотреть видео, какую детализацию держать по умолчанию и чем распознавать речь, и записывает ответы в `~/.config/watch/.env`. Фрагмент ролика задают границами `--start` и `--end`, а отдельные моменты, на которые указал автор видео фразой вроде «смотрите сюда», вытаскивают ключом `--timestamps`.
Для кого. Для тех, кто работает с обучающими роликами, записями созвонов и обзорами и хочет, чтобы Claude Code или Codex отвечали по содержанию видео с указанием минут.
Подходит, если
- Нужен конспект обучающего ролика на YouTube с таймкодами ключевых моментов
- Надо найти в записи созвона или демо минуту, где показан конкретный экран или настройка
- Агент должен прочитать текст с экрана презентации или кода из видео: для этого поднимают ширину кадров до 1024
- Ролик без субтитров, но речь надо расшифровать локально и без отправки звука в облако
- Нужно разобрать только один отрезок длинной записи, указав границы `--start` и `--end`
Не подходит, если
- Вы работаете в Claude Chat или Cowork: скилл там не поддерживается, и в облачной среде Cowork локальный режим не скачивает большинство ссылок
- На машине нельзя поставить Python 3.10, FFmpeg и свежий yt-dlp: скилл их не содержит
- Видео приватное или нельзя отправлять третьим лицам, а ключ Gemini уже настроен: в этом режиме файл уходит в Google, для такого ролика нужен `--engine local`
- Нужен монтаж, нарезка или генерация видео: скилл только показывает видео агенту, а смонтировать ролик поможет video-use
Пример запроса к агенту
Посмотри это видео с YouTube и скажи, на какой минуте автор показывает настройку хуков, и перескажи шагиОграничения
Скилл работает в Claude Code: в десктопном приложении во вкладке Code, в VS Code и в терминале, а также в Codex и других локальных агентах. В Claude Chat и Cowork он не поддерживается. В облачной версии Claude Code своя среда, и интерактивный установщик `/plugin` там недоступен.
Сам скилл программ не содержит. Нужны Python 3.10 или новее, FFmpeg и ffprobe и актуальная версия yt-dlp, а для YouTube еще и среда JavaScript вроде Deno. На macOS скилл ставит недостающее через Homebrew, на других системах выдает команды.
Локальное распознавание WhisperX требует около 1,5 ГБ загрузки, не меньше 3 ГБ свободного диска и 8 ГБ памяти. Проверена только установка на Apple Silicon с macOS: Intel, Linux и Windows автор называет непроверенными, а CUDA настраивается, но не тестировалась. Для неанглийской речи без подсказки языка модель small может ошибаться.
Точнее всего скилл работает на роликах короче 10 минут. На длинных записях кадры расходятся редко, смена сцены ловит не каждое событие, и сравнение миниатюр может пропустить небольшую правку кода: тогда включают `--no-dedup`.
Лицензия MIT.
Как отключить. Удалите плагин командой `/plugin` в Claude Code или скилл тем же инструментом, которым ставили. Настройки и ключи останутся в `~/.config/watch/.env`, окружение WhisperX в `~/.cache/watch/whisperx-venv`, модели в `~/.cache/huggingface` и `~/.cache/torch/hub`: их удаляют вручную, переустановка скилла их не трогает.
Частые вопросы
Что выбрать при первом запуске: Gemini или локальный режим?
Мастер настройки рекомендует Gemini: нужен бесплатный ключ из Google AI Studio, а модель по умолчанию задана переменной `WATCH_GEMINI_MODEL`. Локальный режим не требует ключа и ничего не отправляет в Google, но кадры и текст читает уже сам агент. Выбрать режим на один запуск можно ключом `--engine`.
Как посмотреть видео, которое требует входа в аккаунт?
Передайте `--cookies` с файлом куки или `--cookies-from-browser` с названием браузера, например firefox. Скилл сам сессии браузеров не ищет. Файл куки он считает изменяемым: yt-dlp может его обновить.
Сколько кадров получит агент?
В режиме `efficient` до 50 кадров, в `balanced` до 100, а `token-burner` не ограничивает число и предупреждает, если кадров больше 250. Предел меняется ключом `--max-frames`, ширина кадра по умолчанию 512 пикселей, для текста с экрана ее поднимают через `--resolution 1024`.
Чем отличаются Groq, OpenAI и WhisperX при распознавании речи?
WhisperX работает на вашем компьютере без ключа, Groq использует облачную модель `whisper-large-v3`, а OpenAI — модель `whisper-1`, для обоих нужны ключи. Облачным сервисам скилл отправляет только звук, разбитый на куски до 24 000 000 байт. Субтитры из видео в любом случае читаются первыми.
Что делает хук при старте сессии?
Плагин регистрирует хук SessionStart, который запускает быструю проверку `setup.py --check` с лимитом 5 секунд. Если зависимостей или настроек не хватает, в сессии появляется подсказка вызвать скилл. Проверка Torch и сеть не затрагивает.
Как показать агенту момент, на который указывает автор ролика?
Агент читает транскрипт, находит фразы вроде «смотрите сюда» и перезапускает скилл с ключом `--timestamps 4:32,7:10`. Эти кадры занимают бюджет раньше остальных. Если при первом проходе скачивались только субтитры, ролик для этого загружается заново.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыСкилл для Claude Code: скачивает видео YouTube, делит на смысловые главы, вырезает выбранные фрагменты, переводит субтитры и вшивает двуязычные в ролик
Claude Real Video
claude-real-video
Скилл, который дает Claude «смотреть» видео: из ссылки или файла достает кадры с учетом сцен без дублей и расшифровку речи через whisper
Claude Video Vision
claude-video-vision
MCP-сервер и плагин Claude Code, которые дают агенту смотреть видео: кадры через ffmpeg и расшифровка звука через Gemini, локальный Whisper или OpenAI
yt-fts скачивает субтитры каналов и плейлистов YouTube в базу SQLite и ищет по ним фразы с ссылками на нужную секунду, есть смысловой поиск и чат
YouTube Skills
YouTube Skills for AI Agents
Набор скиллов дает агенту транскрипты видео YouTube, поиск роликов и каналов и разбор плейлистов через один API
Скилл извлекает из длинного видео яркие фрагменты: скачивание, транскрипт, разбивка, анализ и нарезка клипов с заголовками
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| Claude Video (эта запись) | нет | 19 071 | ||
| Claude Video Vision | нет | не нужна | 1 410 | MCP-сервер и плагин: кадры через ffmpeg, звук через Gemini, локальный Whisper или OpenAI, шесть инструментов |
| Claude Real Video | нет | 2 255 | скилл с установкой через pip и распознаванием речи через whisper | |
| watch-skill | нет | не нужна | 517 | сервер MCP и скилл, превращает видео, аудио и запись экрана в доказательства с метками времени, версия 0.1.x |
Коротко о README
В репозитории есть подробная инструкция с таблицами установки для Claude Desktop, VS Code, терминала, Codex и других локальных агентов, разделы про выбор режима, распознавание речи, детализацию, субтитры и вход через куки, а также таблица неполадок. Кроме скилла лежат манифесты плагина для Claude Code и Codex, хук проверки настроек, журнал изменений, справка для агентов `AGENTS.md`, скрипты `watch.py`, `download.py`, `frames.py`, `gemini.py`, `setup.py` и шестнадцать файлов тестов с проверкой в GitHub Actions.
Бейдж для README
Исходный SKILL.md
---
name: watch
description: Watch a video (URL or local path). Downloads with yt-dlp, extracts auto-scaled frames with ffmpeg, pulls the transcript from captions (or local WhisperX / cloud Whisper fallback), and hands the result to the agent so it can answer questions about what's in the video. With a Gemini API key, Google's agentic video model watches the full video instead.
license: MIT
allowed-tools: Bash, Read, AskUserQuestion
metadata:
version: "0.3.2"
---
# /watch
Run the bundled Python script. With the **gemini** engine (a `GEMINI_API_KEY` is configured) Google's video model watches the video and the report carries its timestamped answer for you to relay. With the **local** engine the script produces timestamped frames and a transcript; view the frames and answer from that evidence. Native captions come first; the chosen local or cloud backend is only a fallback. Transcript-only evidence cannot establish visual facts.
## Resolve the skill and interpreter
`SKILL_DIR` is the absolute directory containing this SKILL.md; `scripts/` sits beside it.
Commands below use `python3` for macOS/Linux. On Windows, verify a working Python 3.10+ with `python --version` or `py -3 --version` and use that interpreter. `python3` is not always a Store alias; inspect the actual result. In PowerShell use `$SKILL_DIR` rather than Bash variable syntax, for example:
```powershell
python "$SKILL_DIR/scripts/setup.py" --json
```
Use the host's available shell, image viewer, and question tool. `AskUserQuestion` and Bash are examples, not requirements for every host.
## First run and setup
On the first invocation in a session:
```bash
python3 "${SKILL_DIR}/scripts/setup.py" --json
```
- `can_proceed` depends on base binaries for the local engine, not optional credentials. If it is false, run `setup.py` and confirm the binaries become available. macOS uses Homebrew; other systems get package commands. Do not use sudo automatically. With the Gemini engine (`engine` is `gemini`, `binaries_required` false), missing `ffmpeg`/`yt-dlp` do not block YouTube URLs but are still needed for other URLs and for `--engine local`; mention `missing_binaries` only when that matters.
- If `first_run` is false, proceed without announcing successful setup or asking preferences again. Existing installations without a backend setting retain `auto` (Groq key first, then OpenAI).
- If `first_run` is true, ask the engine question first, then (local engine only) the two choices below it. The wizard does not inspect RAM, disk, CPU, browser sessions, or other machine state; the user decides from the stated requirements.
**Question 1 — "How should watch view videos?"**
- `gemini` (recommended) — Google's Gemini model watches the whole video, including audio, and answers directly. Needs a free key from https://aistudio.google.com/apikey. YouTube URLs are sent to Google; local or downloaded videos are uploaded to Google, then deleted after the answer.
- `local` — frames + transcript extracted on this machine and read by you. No key needed.
If `gemini`, run:
```bash