Crawl4AI MCP
Краулер с открытым кодом превращает сайты в чистый Markdown для ИИ-агентов: ставится из PyPI, запускается в Docker и подключается к Claude Code по MCP
- 86 076 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Сервер сам ходит по любым адресам в сети из управляемого браузера, выполняет JavaScript и снимает скриншоты страниц
- Облачный MCP отправляет адреса и содержимое страниц на серверы разработчика и расходует кредиты по вашему ключу
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/crawl4aiОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Сервер сам ходит по любым адресам в сети из управляемого браузера, выполняет JavaScript и снимает скриншоты страниц
- Облачный MCP отправляет адреса и содержимое страниц на серверы разработчика и расходует кредиты по вашему ключу
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Crawl4AI загружает страницы в управляемом браузере и отдает их как чистый Markdown с заголовками, таблицами, блоками кода и нумерованными ссылками. Фильтры вроде BM25ContentFilter убирают меню, подвалы и прочий шаблонный текст, оставляя fit-версию Markdown под запрос. Данные можно вытягивать структурно: схемами CSS и XPath без модели, через LLMExtractionStrategy в типизированный JSON или генератором схем generate_schema. В режиме глубокого обхода работают стратегии BFS, DFS и best-first, а AdaptiveCrawler останавливается, когда собрал достаточно ответов на ваш запрос. Браузеру можно задать постоянный профиль с сохраненными входами, прокси, сессии и скрытый режим. Есть три способа запуска: библиотека Python, консольная команда crwl и Docker-сервер с REST-эндпоинтами /md, /crawl, /screenshot, /pdf и /execute_js. Этот сервер открывает MCP по адресам /mcp/sse и /mcp/ws с инструментами md, html, screenshot, pdf, execute_js, crawl и ask. Отдельно разработчик предлагает облачный Crawl4AI Cloud с MCP-адресом api.crawl4ai.com/mcp.
Для кого. Для разработчиков RAG-конвейеров и агентов, которым нужно регулярно превращать сайты и документацию в Markdown и структурированные данные, не поднимая собственную инфраструктуру браузеров.
Подходит, если
- Нужно собрать документацию сайта в Markdown для индекса: `crwl https://docs.crawl4ai.com --deep-crawl bfs --max-pages 10` обойдет страницы вширь
- Страницы с динамической подгрузкой нужно прокрутить и дождаться элементов: параметр `scan_full_page` и ожидание селекторов справляются с бесконечной лентой
- Из десятков однотипных карточек товара надо получить JSON без расходов на модель, и подходят схемы `JsonCssExtractionStrategy`
- Агент в Claude Code должен сам снимать скриншоты, PDF и Markdown страниц через локальный Docker-сервер по MCP
- Нужен вход под своей учетной записью с сохраненными куки: постоянный профиль браузера хранит сессию между запусками
Не подходит, если
- Нужен единичный запрос страницы в агенте: встроенных WebFetch и поиска Claude Code хватит без браузера и Docker
- Условия сайта запрещают автоматический сбор данных: стелс-режим и прокси не снимают это ограничение, ответственность за него лежит на вас
- Нет Docker и нет возможности поставить Python-пакет с браузерами Playwright, а облачный сервис вам не подходит из-за оплаты в долларах
- Нужна готовая выдача поисковой системы со структурой: эндпоинты /search и /serp работают только в платном облаке
Пример запроса к агенту
Обойди раздел документации по адресу из ссылки на глубину два уровня, сохрани каждую страницу как Markdown и составь оглавлениеMCP
- Транспорт
- sse, http
- Авторизация
- API-ключ
Переменные окружения
CRAWL4AI_API_TOKENобязательная, секрет- Токен собственного Docker-сервера, без него эндпоинты закрыты
CRAWL4AI_KEYсекрет- Ключ Crawl4AI Cloud, нужен только для облачного MCP
Ограничения
- Библиотека ставится через `pip install -U crawl4ai`, затем `crawl4ai-setup` загружает браузер. Проверить установку можно командой `crawl4ai-doctor`.
- Docker-сервер без токена CRAWL4AI_API_TOKEN отвечает только внутри контейнера. Сервер ждет около десяти секунд после запуска.
- Извлечение через LLM и вопросы к странице в crwl требуют ключа выбранной модели, который задается командой `crwl config`.
- Эндпоинты /search, /serp и /answer существуют только в облаке. SERP помечен как бета, answer как экспериментальный.
- Облачный сервис платный: после подтверждения почты дают 1000 бесплатных кредитов в месяц, тарифы начинаются с 10 долларов в месяц.
- MCP-инструмент ask отвечает на вопросы о библиотеке Crawl4AI, а не о загруженной странице.
Как отключить. Уберите сервер из Claude Code командой `claude mcp remove c4ai-sse` (или `crawl4ai` для облака). Docker-контейнер останавливает `docker stop crawl4ai`, удаляет `docker rm crawl4ai`, а библиотека снимается через `pip uninstall crawl4ai`.
Частые вопросы
Как установить Crawl4AI и запустить первый обход?
Выполните `pip install -U crawl4ai`, затем `crawl4ai-setup` для загрузки браузера. Пример из README на Python: `AsyncWebCrawler().arun(url=...)`, результат лежит в `result.markdown`. Из консоли тот же результат даст `crwl https://news.ycombinator.com -o markdown`.
Как подключить Crawl4AI к Claude Code через MCP?
Для локального Docker-сервера выполните `claude mcp add --transport sse c4ai-sse http://localhost:11235/mcp/sse`. Для облака команда другая: `claude mcp add --transport http crawl4ai https://api.crawl4ai.com/mcp --header "Authorization: Bearer $CRAWL4AI_KEY"`. Для Codex, Cursor и OpenCode инструкции лежат в документации разработчика.
Какие инструменты MCP дает локальный сервер Crawl4AI?
Семь: md, html, screenshot, pdf, execute_js, crawl и ask. Подробные схемы параметров отдает адрес http://localhost:11235/mcp/schema.
Чем облачный Crawl4AI отличается от запуска у себя?
В облаке браузеры и прокси держит разработчик, страницы с тяжелым JavaScript и защитой от ботов обрабатываются автоматически, а ключ дает еще /search, /serp и /answer. У себя вы настраиваете браузеры и прокси сами, зато платить за кредиты не нужно.
Как достать структурированные данные без модели?
Опишите схему CSS или XPath и передайте ее в `JsonCssExtractionStrategy` или `JsonXPathExtractionStrategy`. Если схему писать лень, `generate_schema` составит ее по описанию задачи с помощью модели, после чего схему можно использовать многократно.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыСервер на Rust превращает страницы в Markdown или JSON: поиск, скрейпинг, карта сайта, обход и PDF через MCP, CLI и API, совместимый с Firecrawl
Консольный клиент Firecrawl со скиллами для агентов: поиск в сети, скрапинг, обход сайтов, карта URL, взаимодействие со страницами
Официальный MCP-сервер Firecrawl: поиск в интернете, скрейпинг страниц в Markdown, обход сайтов и действия на странице
MCP-сервер, который открывает страницы в безголовом Chromium через Playwright и отдает агенту основной текст в Markdown даже с сайтов на JavaScript
Локальный инструмент на Rust для извлечения веб-контента: скрейпинг, обход сайта и структурированные данные для LLM, есть CLI, REST и MCP-сервер
Официальный MCP-сервер Oxylabs: скрейпинг страниц с рендерингом JS, выдача Google и Amazon, AI-краулер
Сравнение с похожими
Записи с тем же главным запросом: чем они отличаются.
| Запись | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| Crawl4AI (эта запись) | да | API-ключ | 86 076 | |
| Firecrawl MCP Server | да | API-ключ | 7 672 | официальный MCP облачного сервиса Firecrawl, а Crawl4AI можно целиком развернуть у себя |
| fastCRW | да | не нужна | 1 172 | сервер на Rust превращает страницы в Markdown или JSON |
Коротко о README
Страница начинается с выбора между запуском у себя и облаком, с примерами для обоих и таблицей сравнения библиотеки, Docker-сервера и облака. Дальше по раскрывающимся блокам идут возможности: Markdown, извлечение данных, управление браузером, обход сайтов, самостоятельный хостинг и то, что добавляет облако. Затем описана установка через pip, Docker и командную строку, продвинутые примеры кода, спонсоры и ссылки на документацию.