doc-scraper MCP
Краулер на Go превращает сайты документации в Markdown, а агенту дает офлайн-поиск search_docs и чтение страниц по MCP.
- 109 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Инструмент шлет запросы к сторонним сайтам: массовый обход нагружает чужие серверы.
- Загруженный текст попадает в контекст агента как есть, поэтому страница со скрытыми инструкциями может повлиять на ответы.
Установка
- Работает в
Ручная установка
go install github.com/Sriram-PR/doc-scraper/v2/cmd/doc-scraper@latestПервая команда из README. Есть также бинарные релизы, образ Docker и пакет `doc-scraper.mcpb`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Инструмент шлет запросы к сторонним сайтам: массовый обход нагружает чужие серверы.
- Загруженный текст попадает в контекст агента как есть, поэтому страница со скрытыми инструкциями может повлиять на ответы.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
`doc-scraper` обходит сайты технической документации, вырезает основной контент и сохраняет страницы как Markdown с frontmatter, а также `pages.jsonl`, `llms.txt` и `llms-full.txt`. Инструмент распознает больше 30 генераторов документации, соблюдает `robots.txt` и карты сайта, ограничивает частоту запросов, возобновляет прерванный обход и обновляет только изменившееся (`get_freshness`, `diff_crawl`). MCP-сервер запускается командой `doc-scraper mcp-server -config ...` и дает агенту 13 инструментов, среди них BM25-поиск `search_docs` и чтение `read_page` по сохраненному корпусу без сети. Агент работает с выбранной документацией, а не с памятью модели.
Для кого. Разработчикам, чьи агенты путают версии библиотек и которым нужен закрепленный офлайн-корпус документации.
Подходит, если
- Агент ошибается в API свежей библиотеки, и ее документация нужна под рукой.
- Документацию читают без сети: в дороге или во внутреннем контуре.
- Корпус обновляют по расписанию и смотрят, что изменилось с прошлого обхода.
- Сайт документации превращают в `llms-full.txt` для другого инструмента.
Не подходит, если
- Нужен обход произвольных сайтов с защитой от ботов: инструмент соблюдает `robots.txt` и ограничивает частоту.
- Страницы целиком строятся JavaScript-ом: такие оболочки инструмент отмечает, а не обходит.
- Нужна одна страница на один раз, обычного чтения страницы хватит.
Пример запроса к агенту
Обойди документацию Rust CLI book, найди в ней раздел про обработку ошибок и покажи, как он оформлен.MCP
- Транспорт
- stdio
- Авторизация
- не нужна
Ограничения
Нужны установка бинарного файла (релиз, `go install` или Docker) и настройка сайта командой `doc-scraper add`. Сайты, целиком отрисованные JavaScript-ом, обход сообщает, но не читает. Корпус лежит в `./crawled_docs/<сайт>/`, а свежесть данных зависит от повторных обходов. MCP работает по `stdio`, для Claude Desktop есть пакет `doc-scraper.mcpb`. Телеметрии нет: сетевые запросы идут только к сайтам, которые вы указали.
Как отключить. Удалите MCP-сервер из конфигурации клиента и бинарный файл. Каталог `crawled_docs` и состояние обхода удалите отдельно, если корпус больше не нужен.
Частые вопросы
Как быстро проверить инструмент?
Выполните `doc-scraper add -site rust_cli_book <адрес>`, затем `doc-scraper crawl -site rust_cli_book`. Страницы появятся в `./crawled_docs/rust_cli_book/`.
Как подключить к Claude Code?
Командой `claude mcp add --transport stdio doc-scraper -- /path/to/doc-scraper mcp-server -config /path/to/config.yaml`.
Ходит ли агент в сеть при поиске?
Нет. `search_docs` и `read_page` работают по сохраненному корпусу офлайн. Сеть нужна только для самих обходов.
Есть ли пакет для Claude Desktop?
Да, файл `doc-scraper.mcpb` из последнего релиза ставится вместо ручной настройки.
Сколько инструментов у MCP-сервера?
Тринадцать, в том числе `search_docs`, `read_page`, `get_freshness` и `diff_crawl`. Полный список есть в документации проекта.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыMCP-сервер Ref: поиск по документации API и библиотек, который отдает агенту только нужные куски страниц
Docs MCP Server
Grounded Docs MCP Server
Локальный MCP-сервер: индексирует документацию из сайтов, GitHub, npm, PyPI и файлов и дает агенту поиск по нужной версии
MCP-сервер, который достает из документации нужный раздел, а не весь файл: индекс по заголовкам и точное чтение по байтам
Deepwiki MCP
Deepwiki MCP Server
MCP-сервер, который забирает страницы deepwiki.com, чистит их и отдает агенту в Markdown: одним документом или по страницам
Удаленный MCP-сервер, который отдает агенту документацию и код любого публичного GitHub-репозитория без установки
MCP-сервер строит граф зависимостей репозитория и документацию, а инструмент codebase-qna отвечает агенту на вопросы о коде
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| doc-scraper (эта карточка) | нет | не нужна | 109 | |
| Docs MCP Server | нет | не нужна | 1 875 | индексирует документацию для поиска в MCP; doc-scraper сам обходит сайты и хранит Markdown-корпус с историей изменений |
| Crawl4AI | да | API-ключ | 87 271 | общий краулер для данных; здесь обход заточен под сайты документации и офлайн-поиск агента |
Коротко о README
Обход вежливый и возобновляемый: промежуточный результат не затирает последнюю хорошую копию. Лицензия Apache-2.0, документация на отдельном сайте, есть бенчмарк определения генераторов.