searxNcrawl MCP

MCP-сервер веб-поиска и обхода: SearXNG плюс You.com и чистый Markdown со страниц, сайтов и закрытых разделов

  • 190 ★ репозитория
  • Последний коммит
  • MIT
MCP-сервер

Расширенный доступ

Почему такой уровень

  • Сервер ходит в сеть и скачивает страницы, а записанная сессия входа дает обход под вашей учеткой
  • HTTP-режим без прокси с проверкой доступен любому, кто достучится до порта
Все причины и проверки

dasdigitalemomentum/searxncrawl

Установка

В терминале, через SkillFoxx CLI

npx skillfoxx add mcp/searxncrawl

Определит агенты на машине, покажет уровень доступа и зафиксирует версию.

Другие способы установки

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Сервер ходит в сеть и скачивает страницы, а записанная сессия входа дает обход под вашей учеткой
  • HTTP-режим без прокси с проверкой доступен любому, кто достучится до порта

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

searxNcrawl дает агенту два умения: искать в сети и забирать содержимое страниц в чистом виде. Поиск идет параллельно через ваш экземпляр SearXNG и, по желанию, через API You.com, результаты объединяются с указанием источника и фильтруются по языку и периоду. Обход строит на Crawl4AI: одна или несколько страниц превращаются в Markdown или JSON без повторяющихся блоков и со ссылками на выбор, а целые сайты забираются с лимитом глубины и числа страниц, что удобно для документации. Для разделов за входом сессию записывают один раз командой `crawl-capture`, после чего обход идет под этой учеткой. Сервер работает по stdio или HTTP с проверкой Host и Origin, есть консольные команды `crawl`, `search` и `crawl-capture` и интерфейс на Python. Команда `uvx searxncrawl setup` находит Claude Code, Codex, Gemini CLI, Cursor, VS Code и Claude Desktop и настраивает их после подтверждения.

Для кого. Тем, кто кормит агента свежей документацией и результатами поиска и хочет держать поиск на своем SearXNG без платных ключей.

Подходит, если

  • Агент ищет страницу быстрого старта библиотеки, открывает официальную и пересказывает запуск
  • Документацию сайта целиком забирают в Markdown для вопросов по базе знаний
  • Поиск должен идти через собственный SearXNG, а не через чужой платный API
  • Нужен разбор закрытого раздела: сессию входа записывают один раз и дальше обходят
  • Одну команду `uvx searxncrawl setup` запускают, чтобы настроить сразу несколько агентов

Не подходит, если

  • Нужен обход сайтов, которые защищаются от автоматических запросов: сервер на это не рассчитан
  • Достаточно одного запроса к поисковому API: проще вызвать его напрямую
  • Нет места под браузер: при первом обходе скачивается Chromium около 550 МБ

Пример запроса к агенту

Найди страницу быстрого старта Crawl4AI, открой официальную и кратко перескажи, как запустить первый обход

MCP

Транспорт
stdio, http
Авторизация
не нужна

Переменные окружения

SEARXNG_URL
Адрес вашего экземпляра SearXNG.
YDC_API_KEY секрет
Ключ API You.com для поиска.

Ограничения

Для поиска нужен хотя бы один провайдер: экземпляр SearXNG с включенным выводом JSON или ключ `YDC_API_KEY` для You.com, обход работает и без них. Первый обход скачивает Chromium от Playwright, около 550 МБ. Нужен менеджер uv. Для общего доступа по HTTP ставьте проверяющий прокси с TLS и включайте `FASTMCP_HTTP_HOST_ORIGIN_PROTECTION=true`, сами списки разрешенных адресов защиту не включают. Сессии для закрытых разделов хранятся у вас, обходить такие сайты нужно только с разрешения владельца.

Как отключить. Выполните `uvx searxncrawl setup --remove`: команда откатит изменения в конфигурациях клиентов, предварительно сделанные ею же с резервными копиями.

Частые вопросы

Как подключить searxNcrawl к Claude Code?

Выполните `claude mcp add searxncrawl --env SEARXNG_URL=http://localhost:8888 -- uvx searxncrawl`. Либо запустите `uvx searxncrawl setup`, и мастер сам настроит все найденные клиенты.

Нужен ли свой SearXNG?

Для инструмента `search` нужен хотя бы один провайдер: SearXNG или ключ You.com. Обход страниц работает и без них. SearXNG можно запустить в Docker по инструкции из `docs/usage/installation.md`.

Как обойти страницы за входом?

Один раз запишите сессию командой `crawl-capture`, дальше обход идет под этой учеткой. Делайте это только на сайтах, где у вас есть право доступа.

Что будет при первом запуске обхода?

Скачается Chromium от Playwright, около 550 МБ, один раз. Дальше обход идет без загрузки.

Какие режимы запуска есть?

Родной MCP по stdio (по умолчанию), по HTTP через `uvx searxncrawl --transport http` или Docker Compose, а также необязательный адаптер для шлюза Arcade.

Обсуждение

Вопросов и отзывов пока нет.

MCP-серверы

SearXNG AI Kit дает агентам веб-поиск по 180 с лишним движкам через CLI и MCP-сервер, без ключа поискового API

MCP-серверРасширенный доступ110Звезды репозитория

MCP-сервер для приватного веб-поиска через ваш инстанс SearXNG: поиск с пагинацией и фильтрами, чтение страниц и PDF

MCP-серверРасширенный доступ1,4 тыс.Звезды репозитория
Официальный

Краулер с открытым кодом превращает сайты в чистый Markdown для ИИ-агентов: ставится из PyPI, запускается в Docker и подключается к Claude Code по MCP

MCP-серверРасширенный доступ87,3 тыс.Звезды репозитория

MCP-сервер веб-поиска, который сразу отдает агенту текст найденных страниц: ответы Stack Overflow, обсуждения GitHub, статьи arXiv

MCP-серверРасширенный доступ404Звезды репозитория

MCP-сервер глубокого исследования: поиск по нескольким источникам, слияние выдачи и синтез с цитатами на Qwen3

MCP-серверРасширенный доступ66Звезды репозитория

Searcharvester поднимает свой поиск для агентов: SearXNG, извлечение страниц в markdown и команда для глубокого исследования.

ВоркфлоуРасширенный доступ283Звезды репозитория

Сравнение с похожими

Карточки с тем же главным запросом: чем они отличаются.

ИнструментОфициальныйАвторизацияЗвезды репозиторияГлавное отличие
searxNcrawl (эта карточка)нетне нужна190
SearXNG MCP Serverнетне нужна1 358только поиск через SearXNG; здесь еще обход страниц и сайтов в Markdown и вход в закрытые разделы
Crawl4AIдаAPI-ключ87 271библиотека обхода; здесь готовый MCP-сервер с поиском и мастером настройки клиентов

Коротко о README

В README три возможности (поиск, обход страниц и сайтов, вход в закрытые разделы), показаны установку для основных клиентов и мастер `setup`, затем идет схема работы с SearXNG и Crawl4AI. В конце есть таблица режимов подключения.

Бейдж для README

Сообщить о проблеме