Open SEO Crawler — SEO-краулер с MCP для агентов

Установка

Работает в

• Claude Code
• Claude Desktop
• Cursor
• SourceCraft
• Koda
• Coddy

Ручная установка

claude mcp add --scope user open-seo-crawler -- ~/open-seo-crawler/venv/bin/python3 ~/open-seo-crawler/mcp_server.py

Что делает

Open SEO Crawler — открытый SEO-краулер, который работает на вашем компьютере. Он быстро обходит сайт, учитывает CMS и ищет технические проблемы: индексируемость и noindex в мета-тегах и X-Robots-Tag, ошибки JSON-LD с указанием блока и строки, цепочки редиректов, дубли заголовков, глубокие страницы, ловушки краулингового бюджета и пакет отчетов, которые выгружаются в xlsx. Автор сравнивает его с Screaming Frog и Sitebulb. Кроме аудита есть проверка доступности для ИИ: после обхода выборка страниц запрашивается как браузер, как Googlebot, Bingbot, Applebot и как ИИ-краулеры с опубликованными юзер-агентами, например GPTBot и PerplexityBot. Блокировки, проверки CDN, редиректы и различия заголовка или текста отмечаются. Проверка robots.txt показывает закрытие ИИ-краулеров. Репозиторий содержит MCP-сервер `mcp_server.py` и консольную утилиту `osc.py`. Агент запускает обход, следит за ним, читает сводку, фильтрует страницы по проблеме, открывает страницу с входящими ссылками, сравнивает два обхода и выгружает xlsx. Сам краулер ИИ не вызывает.

Для кого. SEO-специалистам, веб-разработчикам и владельцам сайтов, которым нужен технический аудит на своем компьютере и разбор результатов вместе с агентом.

Пример запроса к агенту

Обойди example.com на 100 страниц и дай десять исправлений, которые важнее всего, а потом проверь, видит ли страницы GPTBot.

MCP

Транспорт

stdio

Авторизация

не нужна

Ограничения

Нужен установленный краулер: одной строкой на Linux, macOS или Windows, на macOS от 11 Big Sur через Homebrew и `launchd`. Установщики сами обновляют краулер раз в день и запускают его при загрузке, а MCP-сервер и `osc.py` работают только когда краулер запущен на порту 5002.

Проверка ИИ-ботов запрашивает страницы с юзер-агентами поисковых и ИИ-роботов, это стоит делать только на своих сайтах или с разрешения владельца. Для ClaudeBot и других, у кого нет опубликованного юзер-агента, проверяется только robots.txt. Для сайтов с JavaScript нужен `Playwright`. Сравнение в таблице с платными краулерами составлено автором.

Как отключить. Удалите сервер командой `claude mcp remove open-seo-crawler`. Сам краулер останавливается и удаляется скриптом удаления из каталога `~/open-seo-crawler`, автозапуск снимается вместе с ним.

Коротко о README

README сравнивает краулер с платными аналогами, перечисляет проверки, одностроковые установщики для трех систем и сведения о запуске. Отдельный раздел показывает работу из ИИ-ассистента: сервер MCP, утилиту `osc.py`, инструменты вроде `check_robots` и `detect_cms` и пример запроса.