webclaw CLI
Локальный инструмент на Rust для извлечения веб-контента: скрейпинг, обход сайта и структурированные данные для LLM, есть CLI, REST и MCP-сервер
- 2 440 ★ репозитория
- Последний коммит
- AGPL-3.0
Расширенный доступ
Почему такой уровень
- Ходит в сеть и скачивает содержимое сайтов
- Выполняет код на локальной машине
Установка
- Работает в
Ручная установка
{
"mcpServers": {
"webclaw": {
"command": "npx",
"args": ["-y", "@webclaw/mcp"]
}
}
}Подключение MCP без сборки из исходников.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Ходит в сеть и скачивает содержимое сайтов
- Выполняет код на локальной машине
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
webclaw достает содержимое страниц и превращает его в markdown или структурированные данные для языковых моделей. Работает локально на Rust, поэтому запросы не идут через сторонний сервис. Есть три способа использования: команда в терминале, REST API и MCP-сервер для агентов. MCP-режим подключается через npx без сборки из исходников, а команда create-webclaw сама находит установленные AI-инструменты и прописывает им конфигурацию.
Для кого. Для разработчиков и аналитиков, которым нужен локальный сбор веб-контента для агентов и пайплайнов.
Подходит, если
- Нужно собрать содержимое страниц как markdown для агента
- Нужен локальный скрейпинг без внешнего сервиса
- Нужно подключить извлечение веб-данных к MCP-клиенту
Не подходит, если
- Нужен готовый облачный сервис скрейпинга с поддержкой
- Целевые сайты требуют обхода антибот-защиты
Пример запроса к агенту
Собери эти страницы конкурентов в markdown и сравни ценыОграничения
Сборка из исходников требует Rust и системных библиотек, первая сборка занимает несколько минут. Готовый ZIP и npx-запуск это самый простой путь. Лицензия AGPL-3.0 накладывает требования на производные продукты.
Как отключить. Удалите запись webclaw из конфигурации MCP, а установленный CLI удалите способом установки (brew, cargo или удаление ZIP).
Частые вопросы
Нужен ли Rust для MCP-режима?
Нет, MCP-сервер запускается через npx без сборки. Rust нужен только для сборки CLI из исходников.
Данные уходят на сторонний сервер?
Нет, извлечение идет локально на вашей машине.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыСервер на Rust превращает страницы в Markdown или JSON: поиск, скрейпинг, карта сайта, обход и PDF через MCP, CLI и API, совместимый с Firecrawl
Плагин сканирует сайты и превращает страницы в Markdown с метаданными: семь скиллов и MCP-сервер с девятью инструментами
Консольный клиент Firecrawl со скиллами для агентов: поиск в сети, скрапинг, обход сайтов, карта URL, взаимодействие со страницами
servo-fetch рендерит страницы встроенным движком Servo и отдает агенту Markdown, JSON или скриншот без Chromium и ключей.
MCP-сервер и CLI для обхода сайтов: небольшая модель выбирает ссылки и абзацы, агент читает только ответ на вопрос.
MCP-сервер с поиском DuckDuckGo и извлечением текста страниц: можно передать сразу несколько адресов
Коротко о README
README описывает быстрый локальный инструмент извлечения веб-контента для LLM на Rust. Установка возможна через npx create-webclaw, brew, готовый ZIP, cargo или Docker. Инструмент отдает markdown и структурированные данные, работает как CLI, REST API и MCP-сервер. Для zero-install-подключения к агенту достаточно указать npx-лаунчер @webclaw/mcp в конфигурации MCP. Лицензия AGPL-3.0.