DigCrawl — скилл
Локальный сборщик контента для агентов: посты, видео и страницы из открытых источников и ваших сессий. Скилл, MCP, CLI.
- 244 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Инструмент работает с вашими авторизованными сессиями на платформах и читает закрытые для гостя страницы.
- Сбор подчиняется правилам платформ, нарушение грозит блокировкой аккаунта.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/digcrawlОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Инструмент работает с вашими авторизованными сессиями на платформах и читает закрытые для гостя страницы.
- Сбор подчиняется правилам платформ, нарушение грозит блокировкой аккаунта.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
DigCrawl читает ссылки, которые агент не открывает сам: статьи и посты WeChat, Xiaohongshu, Weibo, Zhihu, X, Reddit, Threads и Instagram, видео Douyin, Toutiao, Bilibili, Kuaishou и YouTube, а также обычные страницы, RSS, Atom и карты сайта. Для источников с входом используется ваша авторизованная локальная сессия: на `LOGIN_REQUIRED` агент открывает отдельное окно Chrome for Testing, где вход выполняете вы. У видео берутся доступные субтитры, а при настройке речь расшифровывается и распознается текст на экране. Результат сохраняется в Markdown, HTML, JSON и файлы медиа: `digcrawl collect "<ссылка>" --format md,html,json`, пакетами `digcrawl collect --file urls.txt --out ./collect-output`. Команда `digcrawl watchlist run --once` или `serve` следит за источниками и присылает уведомления. Подключение идет тремя способами: скилл для Codex и Claude Code, MCP-сервер и CLI на Go. Все работает локально.
Для кого. Исследователям и редакторам, которые отдают агенту ссылки на соцсети и видеоплатформы, включая китайские, для пересказа, сравнения и мониторинга.
Подходит, если
- Агенту нужна ссылка на пост Xiaohongshu или статью WeChat, которую он не открывает.
- Для разбора видео с YouTube или Bilibili надо получить описание, главы и субтитры.
- Список из файла со ссылками сохраняется пачкой в Markdown и JSON.
- За набором источников ведется постоянное наблюдение с уведомлением об обновлениях.
Не подходит, если
- Нужен сбор закрытого контента без вашего входа: инструмент работает с публичными источниками и авторизованными вами сессиями.
- Требуется облачный сервис без установки на машину.
- Источник не из списка поддерживаемых и без RSS: для него нет читателя.
Пример запроса к агенту
Прочитай и перескажи эту ссылку на пост Xiaohongshu, сохрани текст и картинки в Markdown.Ограничения
Для источников с входом нужна ваша собственная авторизованная сессия в отдельном окне Chrome for Testing, ее данные остаются на машине. Работа с платформами подчиняется их правилам и законам вашей страны, ответственность за сбор несет пользователь. Расшифровка речи и распознавание текста на экране включаются настройкой и требуют своих процессоров. Установка через `npx` требует Node.js 20.19 или новее, скрипт на macOS и Linux ставит программу в `~/.local/bin`. Лицензия MIT, последний коммит сделан в ноябре 2026.
Как отключить. Удалите программу из `~/.local/bin` и скилл из каталога скиллов агента, уберите запись MCP из конфигурации. Профили входа и результаты сбора лежат отдельно и удаляются вручную.
Частые вопросы
Как установить DigCrawl?
Выполните `npx digcrawl-skill@latest install` на Node.js 20.19 или новее. На macOS и Linux есть и скрипт `install.sh` из README, не требующий Go.
Какие агенты подключаются?
Установка настраивает Codex автоматически и ставит скилл для Claude Code, если он найден. Для остальных есть инструкция по MCP в `.agents/skills/digcrawl/mcp/README.md`.
Что делать при LOGIN_REQUIRED?
Попросите агента открыть окно входа для нужной платформы, например YouTube. Войдите в нем сами, после чего сбор повторится с вашей сессией.
В каких форматах сохраняется результат?
Markdown, HTML, JSON и файлы медиа.
Как анализировать локальное видео?
Командой `digcrawl video ./meeting.mp4`: используются настроенные процессоры расшифровки и распознавания.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыСкилл news-extractor достает из ссылки заголовок, текст, картинки и метаданные статьи с 12 новостных площадок и отдает JSON или Markdown без браузера
CLI и скилл, через которые агент читает и ищет в Twitter, Reddit, YouTube, GitHub, Bilibili и Xiaohongshu без платных API
Краулер с открытым кодом превращает сайты в чистый Markdown для ИИ-агентов: ставится из PyPI, запускается в Docker и подключается к Claude Code по MCP
Скилл читает ссылку и отдает агенту полный текст в Markdown: выбирает отдельный путь для страниц WeChat, документов Feishu, PDF и статей arXiv
Скилл превращает ссылку в чистый Markdown через Scrapling с запасным Jina Reader, в том числе статьи WeChat, Juejin и CSDN
MCP-сервер веб-поиска и обхода: SearXNG плюс You.com и чистый Markdown со страниц, сайтов и закрытых разделов
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| DigCrawl (эта карточка) | нет | 244 | ||
| Crawl4AI | да | API-ключ | 87 271 | Crawl4AI обходит веб-страницы, а DigCrawl читает соцсети и видеоплатформы, включая китайские, через вашу сессию. |
| SocialCrawl MCP | да | ключ необязателен | 28 | SocialCrawl MCP отдает данные соцсетей через сервис, а DigCrawl работает локально с вашими сессиями и добавляет CLI и мониторинг. |
Коротко о README
Скилл, MCP-сервер и CLI на Go для чтения постов и видео с 15 платформ, включая китайские, с сохранением в Markdown и мониторингом.