Crawlberg — плагин
Плагин сканирует сайты и превращает страницы в Markdown с метаданными: семь скиллов и MCP-сервер с девятью инструментами
- 195 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- Агент ходит по внешним сайтам и может запускать браузер, кликать и выполнять скрипты на страницах
- Скрипт запуска MCP скачивает и запускает бинарь через npx, Homebrew или готовую сборку
- Заявлен обход защиты от ботов: применять только к сайтам, где сбор данных разрешен
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add plugins/crawlbergОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Агент ходит по внешним сайтам и может запускать браузер, кликать и выполнять скрипты на страницах
- Скрипт запуска MCP скачивает и запускает бинарь через npx, Homebrew или готовую сборку
- Заявлен обход защиты от ботов: применять только к сайтам, где сбор данных разрешен
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Плагин подключает к агенту движок Crawlberg на Rust. Он забирает одну страницу или весь сайт, чистит HTML до Markdown и отдает структурированные данные: заголовки, ссылки, картинки, JSON-LD, Open Graph и hreflang. Скиллы подсказывают агенту, какую подкоманду выбрать: `scrape` для одной страницы, `crawl` для обхода по ссылкам с лимитом глубины и числа страниц, `map` для списка адресов из ссылок и sitemap. MCP-сервер запускается командой `crawlberg mcp` и открывает девять инструментов: `scrape`, `crawl`, `map`, `batch_scrape`, `batch_crawl`, `interact`, `download`, `generate_citations` и `get_version`. Для страниц на JavaScript движок переключается на headless-браузер. Инструмент `interact` выполняет в браузере клики, ввод, прокрутку и скрипты до снятия страницы. Запросы к внутренним и приватным адресам по умолчанию заблокированы, а robots.txt и частота запросов на домен учитываются.
Для кого. Разработчикам RAG и аналитикам, которым агент должен собирать контент сайтов в Markdown без собственного парсера.
Подходит, если
- Документацию продукта надо выгрузить целиком в Markdown и подать в индекс или контекст агента
- Нужен список всех адресов сайта по ссылкам и sitemap, чтобы спланировать обход или миграцию
- Страница рисуется на JavaScript, и обычный запрос возвращает пустой каркас
- Перед снятием данных страницу нужно подготовить: открыть меню, прокрутить ленту, сделать скриншот
- Сотни адресов обрабатываются пачкой с лимитом параллельности и частоты запросов
Не подходит, если
- Парсинг закрытых разделов, которые владелец сайта не разрешил снимать: правила сайта и закон остаются на вас
- Прокси-пулы, постоянные авторизованные сессии и планировщик: они вынесены в отдельный коммерческий продукт xberg-enterprise
- Среда Alpine с musl: часть языковых привязок без готовых сборок, CLI и Docker-образ работают
- Одна страница в браузере, где проще скопировать текст вручную
Пример запроса к агенту
Используй crawlberg: обойди docs.example.com на три уровня вглубь, не больше 200 страниц, и сохрани каждую страницу в Markdown в папку `docs-md`Ограничения
- Плагин вызывает локальный бинарь `crawlberg`. Скрипт запуска MCP сам ищет его в `PATH`, затем пробует `npx`, Homebrew или готовую сборку, поэтому первый запуск ходит в сеть за установкой.
- Для headless-режима нужен установленный Chrome или Chromium.
- Инструмент `interact` может менять состояние страницы и приложения: клики и ввод выполняются по-настоящему.
- В README заявлены обнаружение и обход защиты от ботов. Законность такого обхода зависит от сайта и условий доступа.
Как отключить. Удалите плагин командой `/plugin uninstall crawlberg@crawlberg`. Бинарь `crawlberg`, который скачал скрипт запуска, удаляется отдельно: `brew uninstall crawlberg`, если ставили через Homebrew.
Частые вопросы
Как поставить Crawlberg в Claude Code?
Выполните `/plugin marketplace add xberg-io/crawlberg`, затем `/plugin install crawlberg@crawlberg`. MCP-сервер подтянет бинарь при первом запуске, отдельная установка не нужна.
Какие инструменты дает MCP-сервер Crawlberg?
Девять: `scrape`, `crawl`, `map`, `batch_scrape`, `batch_crawl`, `interact`, `download`, `generate_citations` и `get_version`.
Чем плагин отличается от библиотеки Crawlberg?
Библиотека подключается из кода на 14 языках. Плагин дает агенту готовые скиллы и MCP-сервер поверх локального бинаря, писать код не нужно.
Что делать со страницей, которая рисуется на JavaScript?
Режим `--browser-mode auto` или `always` включает headless-браузер. Нужен Chrome или Chromium. Режим `never` отключает его и ускоряет работу, если страницы статичные.
Заходит ли Crawlberg на внутренние адреса?
По умолчанию нет: запросы к loopback, приватным, link-local и облачным metadata-адресам отклоняются. Отключается переменной окружения или параметром `CrawlConfig`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныКраулер с открытым кодом превращает сайты в чистый Markdown для ИИ-агентов: ставится из PyPI, запускается в Docker и подключается к Claude Code по MCP
Сервер на Rust превращает страницы в Markdown или JSON: поиск, скрейпинг, карта сайта, обход и PDF через MCP, CLI и API, совместимый с Firecrawl
Официальный MCP-сервер Firecrawl: поиск в интернете, скрейпинг страниц в Markdown, обход сайтов и действия на странице
MCP-сервер читает сайты на вашем компьютере и отдает агенту короткий Markdown со ссылками, без лишнего HTML в контексте.
Консольный клиент Firecrawl со скиллами для агентов: поиск в сети, скрапинг, обход сайтов, карта URL, взаимодействие со страницами
MCP-сервер, который открывает страницы в безголовом Chromium через Playwright и отдает агенту основной текст в Markdown даже с сайтов на JavaScript
Коротко о README
Основной README посвящен библиотеке Crawlberg: единое ядро на Rust, 14 языковых привязок, фильтры BM25, учет robots.txt и sitemap, пакетную и потоковую работу. Раздел про ассистентов перечисляет установку плагина для Claude Code, Codex, Cursor, Gemini CLI, OpenCode, Pi и других. README плагина перечисляет семь скиллов и девять инструментов MCP.