crawlie — плагин
Плагин с MCP-сервером и скиллами: Claude Code обходит сайт, находит битые ссылки и ошибки SEO и GEO и подсказывает правки.
- 117 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Краулер делает много запросов к проверяемому сайту, и без лимитов может нагрузить чужой сервер.
- MCP-сервер запускается через `npx`, то есть скачивает и выполняет пакет npm на вашей машине.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add plugins/crawlieОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Краулер делает много запросов к проверяемому сайту, и без лимитов может нагрузить чужой сервер.
- MCP-сервер запускается через `npx`, то есть скачивает и выполняет пакет npm на вашей машине.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
crawlie — краулер для технического SEO и GEO, то есть для подготовки страниц к цитированию в ИИ-поиске. Он запускается локально, обходит сайт с учетом `robots.txt`, берет адреса из `sitemap.xml` и проверяет более 40 правил: битые ссылки, редиректы, метаданные, разметку, доступность. Каждая находка приходит с объяснением, чем она мешает и как ее исправить. Плагин для Claude Code ставит сразу MCP-сервер и набор скиллов-сценариев: `seo-site-audit`, `geo-ai-readiness`, `pre-launch-seo-check` и `fix-broken-links`. Агент обходит сайт инструментом `crawl_site`, проверяет отдельные страницы через `audit_url` и объясняет правила через `explain_issue`. Отчет выдается в виде JSON, CSV, HTML или текста в терминале. Для CI есть флаг `--fail-on`, который завершает команду с ошибкой при найденных проблемах нужной серьезности.
Для кого. SEO-специалистам и разработчикам лендингов, которые хотят проверить сайт перед запуском прямо из Claude Code, без платного краулера.
Подходит, если
- Лендинг вот-вот уйдет в продакшен, и до запуска надо поймать 404, цепочки редиректов и пустые теги title.
- Сайт собран агентом, и ему задают вопрос, подготовлен ли он к цитированию в ИИ-поиске.
- В пайплайне CI блокируют релиз, если на сайте появились ошибки уровня error.
- Клиенту отправляют отчет по сайту одним HTML-файлом.
Не подходит, если
- Нужны позиции в выдаче и данные по ключевым словам: краулер проверяет только сам сайт.
- Сайт закрыт за авторизацией: обход идет как у анонимного посетителя.
- Проверять хочется чужой сайт без согласия владельца: по умолчанию краулер шлет 16 параллельных запросов, и это нагрузка.
Пример запроса к агенту
Обойди сайт example.com и назови пять правок, которые сильнее всего поднимут оценку GEO, с точным изменением для каждой.Ограничения
Лимит по умолчанию — 500 страниц и 16 параллельных запросов, их меняют флагами `--max-pages` и `--concurrency`. Краулер уважает `robots.txt`, но проверку можно выключить флагом `--no-robots`, так что направляйте его только на свои сайты. Скиллы без установленного crawlie запускают его через `npx`, поэтому нужен Node.js и сеть. Облачный MCP на `https://crawlie.app/mcp` требует ключ API и тратит лимит тарифа. Настольное приложение выпущено только для macOS.
Как отключить. Выполните `claude plugin uninstall crawlie@spronta`. Для отдельной установки подойдет `claude mcp remove crawlie` и `npm uninstall -g crawlie`.
Частые вопросы
Как поставить crawlie в Claude Code?
Выполните `claude plugin marketplace add spronta/crawlie`, затем `claude plugin install crawlie@spronta`. Плагин сам запускает MCP-сервер через `npx`, предустановка не нужна.
Чем GEO-оценка отличается от обычной оценки SEO?
Каждый обход выдает три отдельные оценки: Health для технического SEO, GEO для готовности к ИИ-поиску и Accessibility для WCAG. Одна проблема не прячет другую.
Можно ли запускать crawlie в CI?
Да. Команда `crawlie crawl https://example.com --fail-on error` возвращает ненулевой код при ошибках, и релиз можно остановить.
Работает ли он без Claude Code?
Да. Достаточно `npm i -g crawlie`, а `crawlie-mcp` подключается к любому MCP-клиенту: Cursor, Cline или Claude Desktop.
Сколько страниц обходит crawlie за раз?
По умолчанию до 500 страниц, лимит меняется флагом `--max-pages`. Глубину ограничивает `--max-depth`, область обхода задают `--include` и `--exclude`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныПлагин Claude Code для SEO-аудита: технический SEO, E-E-A-T, schema, локальный и AI-поиск силами параллельных агентов
Плагин SEO-аудита с проверками под Яндекс
claude-seo-pro
Плагин Claude Code с 15 скиллами и 10 параллельными субагентами: полный SEO-аудит с проверками Turbo-страниц, Метрики и robots.txt под Яндекс
All-In-One Free SEO Tool
All-In-One-Free-SEO-Tool
Свой SEO-комбайн с MCP-сервером и пятью скиллами: аудит, ключи и правки сайта через Claude Code, Claude Desktop и Cursor.
Открытый CLI для аудита сайта по более чем 300 правилам: находит проблемы SEO, скорости и безопасности и дает агенту исправления
Плагин Claude Code для подготовки SEO-страниц: собирает выдачу и материалы конкурентов, составляет структуру и черновик
Набор скиллов Claude Code для аудита сайта под AI-поиск: цитируемость, доступ AI-краулеров, llms.txt, разметка и отчеты
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| crawlie (эта карточка) | да | 117 | |
| SEOmator SEO Audit | нет | 663 | CLI и скилл для SEO-аудита сайта; crawlie поставляется плагином с MCP-сервером и тремя отдельными оценками |
| GEO-SEO Claude | нет | 11 529 | набор скиллов для аудита под ИИ-поиск без собственного краулера; crawlie приносит обход сайта и MCP |
Коротко о README
README разбирает установку через npm, команды CLI с флагами, подключение MCP-сервера и облачного варианта, плагин и скиллы. Дальше идут сценарии использования, перечень правил проверки и сравнение с другими краулерами.