pagesift MCP
Свой сервис на Rust для агентов: страницы, PDF и Office в чистый Markdown, API как у Firecrawl и Jina Reader, MCP в комплекте
- 244 ★ репозитория
- Последний коммит
- AGPL-3.0
Расширенный доступ
Почему такой уровень
- Агент командует серверу ходить по любым адресам и запускать браузер без окна, а входящий HTTP-доступ к общему сервису держится только на ключе.
Установка
- Работает в
Ручная установка
cargo install pagesift --lockedСтавит консольную команду из crates.io. Для Python есть `pip install pagesift`, для Node.js `npm install @pagesift/node`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Агент командует серверу ходить по любым адресам и запускать браузер без окна, а входящий HTTP-доступ к общему сервису держится только на ключе.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
pagesift забирает страницу по URL (браузер запускается только там, где без него содержимого не видно) или читает локальный файл, оставляет основной текст и возвращает Markdown с метаданными. Один бинарник на Rust работает как консольная команда, библиотека для Python и Node.js, HTTP-сервер и MCP-сервер. На входе HTML, PDF, Word, Excel, PowerPoint, EPUB и CSV. Команда `crawl` обходит сайт с учетом `robots.txt` и пауз между запросами к одному хосту, умеет сфокусированный обход по запросу, а `map` перечисляет адреса сайта. HTTP-сервер повторяет API Firecrawl версий v1 и v2 и адрес `/r/<url>` в духе Jina Reader, так что клиентский код достаточно направить на свой сервер. MCP-сервер запускается командой `pagesift mcp` по stdio или командой `pagesift mcp http` как общий локальный сервис. Агенту доступны инструменты `pagesift_scrape`, `pagesift_batch_scrape`, `pagesift_crawl`, `pagesift_crawl_status` и `pagesift_map`.
Для кого. Разработчикам агентов и RAG-систем, которым нужен собственный сервис извлечения текста вместо платных облачных API.
Подходит, если
- Агент читает документацию и статьи, и ему нужен чистый Markdown с заголовками, списками и таблицами.
- Облачный Firecrawl или Jina Reader заменяют своим сервером: в клиентском коде меняется только адрес.
- В индекс RAG за один вызов грузят смесь HTML, PDF, Word, Excel и электронных книг.
- Сайт обходят аккуратно: с учетом `robots.txt`, лимитов на хост и повторов при ошибках 429 и 503.
- Сервис запускают в небольшом контейнере, где память ограничена и подбирается по лимиту контейнера.
Не подходит, если
- Сканированные PDF и картинки: pagesift читает только текстовый слой и не распознает текст.
- Нужен самый быстрый обход без пауз: между запросами к одному хосту выдерживается интервал, и по сырой скорости `spider` его заметно опережает.
- Лицензия AGPL-3.0 не годится, и коммерческую брать не планируют: тогда берут инструмент с разрешающей лицензией.
- Нужен управляемый облачный сервис: размещенного API у pagesift пока нет.
Пример запроса к агенту
Через pagesift обойди раздел документации `https://docs.rs/tokio` до 50 страниц и сложи Markdown в папку `./data/`.MCP
- Транспорт
- stdio, http
- Авторизация
- не нужна
Ограничения
Лицензия AGPL-3.0 обязывает открывать код производных работ. Для закрытого встраивания или частного развертывания без этих обязательств есть коммерческая лицензия. Сервис ставят и обслуживают сами; облака нет. Защита от обращений во внутреннюю сеть и от подмены DNS включена по умолчанию, а нужные подсети открывают флагом `--allow-cidr`. Общий MCP-сервис по HTTP слушает только 127.0.0.1. В локальной установке команда `pagesift doctor` показывает, какие браузеры и компоненты найдены, а образ Docker уже содержит браузер.
Как отключить. Уберите MCP-подключение командой `claude mcp remove pagesift`, остановите контейнер или службу `pagesift mcp http` и удалите бинарник командой `cargo uninstall pagesift`.
Частые вопросы
Как подключить pagesift к Claude Code?
Установите бинарник командой `cargo install pagesift --locked`, затем выполните `claude mcp add pagesift -- pagesift mcp`. Сервер запустится по stdio и даст агенту инструменты скрейпинга.
Какие инструменты открывает MCP-сервер pagesift?
Пять: `pagesift_scrape` для одной страницы, `pagesift_batch_scrape` для списка адресов, `pagesift_crawl` для обхода сайта, `pagesift_crawl_status` для проверки задачи обхода и `pagesift_map` для списка адресов.
Заменит ли pagesift Firecrawl и Jina Reader?
В части API да: сервер повторяет конечные точки `scrape`, `batch/scrape`, `crawl` и `map` версий v1 и v2 и адрес `/r/<url>`. Код с клиентом Firecrawl переключают, задав `api_url` на свой сервер, например `http://localhost:3002`.
Как дать один MCP-сервис нескольким агентам?
Запустите `pagesift mcp http --port 3003` и подключите агентов командой `claude mcp add --scope user --transport http pagesift http://127.0.0.1:3003/mcp`. Браузеры и кеш у агентов общие, а каждый запрос попадает в журнал аудита.
Как проверить, что окружение готово?
Выполните `pagesift doctor`: команда проверяет браузеры и окружение. Образ `ghcr.io/yolow92/pagesift` поставляется с браузером, поэтому в контейнере дополнительная настройка не нужна.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыСервер на Rust превращает страницы в Markdown или JSON: поиск, скрейпинг, карта сайта, обход и PDF через MCP, CLI и API, совместимый с Firecrawl
Плагин сканирует сайты и превращает страницы в Markdown с метаданными: семь скиллов и MCP-сервер с девятью инструментами
MCP-сервер читает сайты на вашем компьютере и отдает агенту короткий Markdown со ссылками, без лишнего HTML в контексте.
Краулер с открытым кодом превращает сайты в чистый Markdown для ИИ-агентов: ставится из PyPI, запускается в Docker и подключается к Claude Code по MCP
Официальный MCP-сервер Firecrawl: поиск в интернете, скрейпинг страниц в Markdown, обход сайтов и действия на странице
Консольный клиент Firecrawl со скиллами для агентов: поиск в сети, скрапинг, обход сайтов, карта URL, взаимодействие со страницами
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| pagesift (эта карточка) | нет | не нужна | 244 | |
| Crawl4AI | да | API-ключ | 86 959 | краулер на Python; pagesift — один бинарник на Rust с API, совместимыми с Firecrawl и Jina Reader |
| Firecrawl MCP Server | да | API-ключ | 7 765 | официальный MCP к облачному Firecrawl; pagesift дает похожий API на своем сервере без оплаты за страницу |
| MarkItDown | да | не нужна | 194 189 | переводит файлы разных форматов в Markdown; pagesift добавляет обход сайтов, HTTP-сервер и режим MCP по HTTP |
Коротко о README
README открывается таблицей установки для CLI, Python, Node.js, сервера и MCP, затем сравнивает pagesift с другими инструментами. В нем приведены замеры скорости и памяти на открытых наборах, отдельно перечислены задачи, где pagesift уступает.