webclaw
Локальный инструмент на Rust для извлечения веб-контента: скрейпинг, обход сайта и структурированные данные для LLM, есть CLI, REST и MCP-сервер
Средний риск
Средний уровень ставим, когда инструмент запускает код, ходит в сеть или читает файлы проекта. Перед установкой посмотрите, что именно он делает.
Почему такой уровень
- Ходит в сеть и скачивает содержимое сайтов
- Выполняет код на локальной машине
Установка
Ручная установка
{
"mcpServers": {
"webclaw": {
"command": "npx",
"args": ["-y", "@webclaw/mcp"]
}
}
}Подключение MCP без сборки из исходников.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
webclaw достает содержимое страниц и превращает его в markdown или структурированные данные для языковых моделей. Работает локально на Rust, поэтому запросы не идут через сторонний сервис. Есть три способа использования: команда в терминале, REST API и MCP-сервер для агентов. MCP-режим подключается через npx без сборки из исходников, а команда create-webclaw сама находит установленные AI-инструменты и прописывает им конфигурацию.
Для кого. Для разработчиков и аналитиков, которым нужен локальный сбор веб-контента для агентов и пайплайнов.
Подходит, если
- Нужно собрать содержимое страниц как markdown для агента
- Нужен локальный скрейпинг без внешнего сервиса
- Нужно подключить извлечение веб-данных к MCP-клиенту
Не подходит, если
- Нужен готовый облачный сервис скрейпинга с поддержкой
- Целевые сайты требуют обхода антибот-защиты
Пример запроса к агенту
Собери эти страницы конкурентов в markdown и сравни ценыОграничения
Сборка из исходников требует Rust и системных библиотек, первая сборка занимает несколько минут. Готовый ZIP и npx-запуск это самый простой путь. Лицензия AGPL-3.0 накладывает требования на производные продукты.
Как отключить. Удалите запись webclaw из конфигурации MCP, а установленный CLI удалите способом установки (brew, cargo или удаление ZIP).
Проверка безопасности
- Ходит в сеть и скачивает содержимое сайтов
- Выполняет код на локальной машине
Коротко о README
README описывает быстрый локальный инструмент извлечения веб-контента для LLM на Rust. Установка возможна через npx create-webclaw, brew, готовый ZIP, cargo или Docker. Инструмент отдает markdown и структурированные данные, работает как CLI, REST API и MCP-сервер. Для zero-install-подключения к агенту достаточно указать npx-лаунчер @webclaw/mcp в конфигурации MCP. Лицензия AGPL-3.0.
Частые вопросы
Нужен ли Rust для MCP-режима?
Нет, MCP-сервер запускается через npx без сборки. Rust нужен только для сборки CLI из исходников.
Данные уходят на сторонний сервер?
Нет, извлечение идет локально на вашей машине.
Похожие
CLI, скилл и Python-библиотека для управления браузером: агент кликает, заполняет формы и читает страницы через CDP
Скилл собирает обсуждения темы за последние 30 дней из Reddit, X, YouTube, HN, Polymarket и GitHub и сводит их в бриф
Официальный MCP-сервер команды Chrome DevTools: агент управляет живым Chrome, смотрит сеть, консоль и записывает трейсы производительности
Быстрый CLI на Rust для автоматизации браузера агентами: снимки доступности со ссылками на элементы, MCP-сервер и скиллы