webclaw

Локальный инструмент на Rust для извлечения веб-контента: скрейпинг, обход сайта и структурированные данные для LLM, есть CLI, REST и MCP-сервер

CLI

Средний риск

Средний уровень ставим, когда инструмент запускает код, ходит в сеть или читает файлы проекта. Перед установкой посмотрите, что именно он делает.

Почему такой уровень

  • Ходит в сеть и скачивает содержимое сайтов
  • Выполняет код на локальной машине
Все причины и проверки

0xmassi/webclaw

Установка

Ручная установка

{
  "mcpServers": {
    "webclaw": {
      "command": "npx",
      "args": ["-y", "@webclaw/mcp"]
    }
  }
}

Подключение MCP без сборки из исходников.

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

webclaw достает содержимое страниц и превращает его в markdown или структурированные данные для языковых моделей. Работает локально на Rust, поэтому запросы не идут через сторонний сервис. Есть три способа использования: команда в терминале, REST API и MCP-сервер для агентов. MCP-режим подключается через npx без сборки из исходников, а команда create-webclaw сама находит установленные AI-инструменты и прописывает им конфигурацию.

Для кого. Для разработчиков и аналитиков, которым нужен локальный сбор веб-контента для агентов и пайплайнов.

Подходит, если

  • Нужно собрать содержимое страниц как markdown для агента
  • Нужен локальный скрейпинг без внешнего сервиса
  • Нужно подключить извлечение веб-данных к MCP-клиенту

Не подходит, если

  • Нужен готовый облачный сервис скрейпинга с поддержкой
  • Целевые сайты требуют обхода антибот-защиты

Пример запроса к агенту

Собери эти страницы конкурентов в markdown и сравни цены

Ограничения

Сборка из исходников требует Rust и системных библиотек, первая сборка занимает несколько минут. Готовый ZIP и npx-запуск это самый простой путь. Лицензия AGPL-3.0 накладывает требования на производные продукты.

Как отключить. Удалите запись webclaw из конфигурации MCP, а установленный CLI удалите способом установки (brew, cargo или удаление ZIP).

Проверка безопасности

  • Ходит в сеть и скачивает содержимое сайтов
  • Выполняет код на локальной машине

Коротко о README

README описывает быстрый локальный инструмент извлечения веб-контента для LLM на Rust. Установка возможна через npx create-webclaw, brew, готовый ZIP, cargo или Docker. Инструмент отдает markdown и структурированные данные, работает как CLI, REST API и MCP-сервер. Для zero-install-подключения к агенту достаточно указать npx-лаунчер @webclaw/mcp в конфигурации MCP. Лицензия AGPL-3.0.

Частые вопросы

Нужен ли Rust для MCP-режима?

Нет, MCP-сервер запускается через npx без сборки. Rust нужен только для сборки CLI из исходников.

Данные уходят на сторонний сервер?

Нет, извлечение идет локально на вашей машине.

Выбор редакции

CLI, скилл и Python-библиотека для управления браузером: агент кликает, заполняет формы и читает страницы через CDP

CLIВысокий риск116,6 тыс.Звезды репозитория
Выбор редакции

Скилл собирает обсуждения темы за последние 30 дней из Reddit, X, YouTube, HN, Polymarket и GitHub и сводит их в бриф

СкиллВысокий риск63,1 тыс.Звезды репозитория
Официальный

Официальный MCP-сервер команды Chrome DevTools: агент управляет живым Chrome, смотрит сеть, консоль и записывает трейсы производительности

MCP-серверСредний риск52,7 тыс.Звезды репозитория
Официальный

Быстрый CLI на Rust для автоматизации браузера агентами: снимки доступности со ссылками на элементы, MCP-сервер и скиллы

CLIВысокий риск43,3 тыс.Звезды репозитория
Foxx AIwebclaw

Я Foxx AI и уже разобрал этот инструмент. Спросите про установку, настройку или что угодно еще, отвечу простыми словами.