Searcharvester — воркфлоу
Searcharvester поднимает свой поиск для агентов: SearXNG, извлечение страниц в markdown и команда для глубокого исследования.
- 283 ★ репозитория
- Последний коммит
- AGPL-3.0
Расширенный доступ
Почему такой уровень
- Сервис отправляет поисковые запросы публичным поисковикам и модели из `.env`.
- Стек слушает локальные порты, при публикации наружу нужна защита.
Установка
- Работает в
Ручная установка
git clone https://github.com/vakovalskii/searcharvester.gitЗатем `docker compose up -d` после настройки `config.yaml` и `.env`. Интерфейс откроется на `http://localhost:9762`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Сервис отправляет поисковые запросы публичным поисковикам и модели из `.env`.
- Стек слушает локальные порты, при публикации наружу нужна защита.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Searcharvester — самостоятельно размещаемый стек поиска для ИИ-агентов, запускается командой `docker compose up -d`. Адаптер дает `/search`, совместимый с Tavily и построенный на SearXNG с сотней движков, `/extract` превращает страницу в чистый markdown через trafilatura, readability и Defuddle, `/research` запускает команду агентов, которая отвечает отчетом со ссылками. Веб-интерфейс на порту 9762 показывает задания, роли агентов и модели для них, ход работы, источники и медиа. Агенты используют три скилла из папки `hermes_skills`: поиск, извлечение и глубокое исследование. Каждый запрос POST, PUT и DELETE несет заголовок `X-Searcharvester-Client: 1`.
Для кого. Разработчикам и исследователям, которые хотят дать агенту веб-поиск без ключей платных сервисов и держать запросы на своем сервере.
Подходит, если
- Агенту нужен поиск, совместимый с Tavily, но без квот и платы за запрос.
- Страницу надо превратить в чистый markdown с постраничной выдачей.
- Вопрос требует отчета с источниками, и за ходом работы хочется следить в интерфейсе.
- Движки SearXNG и прокси настраивают в одном месте.
Не подходит, если
- Нет Docker и места под несколько контейнеров.
- Нужен единственный MCP-сервер поиска: стек работает как HTTP-сервис.
- Поисковые запросы нельзя отправлять публичным поисковикам, на которые опирается SearXNG.
Пример запроса к агенту
Найди в сети сведения о том, что такое trafilatura, и дай абзац с источником через локальный /research.Ограничения
Для `/research` нужна любая конечная точка, совместимая с OpenAI, и ключ в `.env`, расходы на модель остаются на вас. Поиск зависит от публичных поисковиков, SearXNG может получать блокировки и капчи. Перед запуском поменяйте `server.secret_key` на строку от 32 символов и задайте токен для настроек поиска. Порты слушают на 127.0.0.1, при выносе наружу закройте их аутентификацией. Последний коммит датирован сентябрем 2026 года. Документация есть на русском, английском и китайском.
Как отключить. Остановите стек командой `docker compose down` и удалите папку проекта вместе с `.env` и `config.yaml`.
Частые вопросы
Нужны ли ключи для поиска?
Нет. Поиск и извлечение страниц идут без ключей и квот. Ключ нужен только для `/research`, где работает модель.
Что возвращает `/research`?
Заявку с `job_id`. Опрашивайте `GET /research/{job_id}` до статуса completed и получите отчет в markdown со ссылками.
Зачем заголовок `X-Searcharvester-Client`?
Каждый запрос POST, PUT и DELETE к адаптеру обязан его нести, иначе запрос отклонят. Это защита от чужих запросов.
Где смотреть работу агентов?
В веб-интерфейсе на порту 9762: там задания, модель для каждой роли, ход работы, отчет и источники.
Какие скиллы используют агенты?
Три: `searcharvester-search`, `searcharvester-extract` и `searcharvester-deep-research` из папки `hermes_skills`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ВоркфлоуMCP-сервер веб-поиска и обхода: SearXNG плюс You.com и чистый Markdown со страниц, сайтов и закрытых разделов
Скилл веб-исследования: SearXNG ищет, Camofox читает страницы, CloakBrowser открывает сайты, которые проверяют посетителей
SearXNG AI Kit дает агентам веб-поиск по 180 с лишним движкам через CLI и MCP-сервер, без ключа поискового API
Скилл веб-поиска, поиска по X и чтения страниц для моделей без выхода в сеть: без регистрации и ключа, ответ в JSON со ссылками на источники
Три скилла для поиска: четыре источника с оценкой по намерению, глубокий разбор веток обсуждений и страницы в Markdown.
AutoSearch дает агенту поиск по 40 каналам, от arXiv и GitHub до китайских соцсетей, и возвращает источники со ссылками.
Коротко о README
Документация охватывает запуск через Docker Compose, три конечные точки, веб-интерфейс, команду исследовательских агентов и безопасность. Есть документация на трех языках.