jevcrawl MCP
MCP-сервер и CLI для обхода сайтов: небольшая модель выбирает ссылки и абзацы, агент читает только ответ на вопрос.
- 89 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Тексты страниц отправляются на оценку внешнему сервису с платными вызовами
- Читает страницы по адресам, которые задает агент
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/jevcrawlОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Что отправляет автору: что отправляет автору: текст страниц (блоки, подписи ссылок и URL) отправляется в TypeSafe для оценки. ключ API берется из окружения и не сохраняется.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Тексты страниц отправляются на оценку внешнему сервису с платными вызовами
- Читает страницы по адресам, которые задает агент
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
jevcrawl обходит сайт ради ответа на вопрос агента и не выкачивает все подряд. Небольшая модель выбирает каждую ссылку и каждый абзац, а агент получает дословные фрагменты страниц с адресом, путем заголовков и позициями символов. Модель только оценивает текст и не пишет его сама. Инструментов три: `crawl(goal, start_url)` ищет ответ на глубине нескольких страниц, `scrape(url, goal)` читает одну известную страницу, `map(start_url, goal)` возвращает ранжированный список адресов. Без цели `scrape` отдает весь текст и не обращается к модели. Страницы, пустые без JavaScript, открываются в Chromium при установке дополнения `js`.
Для кого. Тем, чьи агенты ищут ответы в документации и на больших сайтах и тратят много токенов на лишние страницы.
Подходит, если
- Ответ лежит в документации через несколько кликов от главной, а читать весь сайт слишком дорого.
- Нужна одна страница с отбором только нужных абзацев по заданной цели.
- Перед чтением сайта агенту нужен ранжированный список адресов, чтобы выбрать, что открывать.
- Результат должен содержать дословный текст с адресом и путем заголовков для проверки.
Не подходит, если
- Нет ключа Jev: решения о ссылках принимает внешняя модель, и без `TYPESAFE_API_KEY` обход не работает.
- Нужен полный архив сайта: jevcrawl отбирает фрагменты и не копирует страницы целиком.
- Требуется вход на сайт или обход закрытых разделов: инструмент читает только открытые страницы.
Пример запроса к агенту
Найди на docs.python.org, что делает оператор := и в какой версии он появился, и покажи цитаты с адресами.MCP
- Транспорт
- stdio
- Авторизация
- API-ключ
Переменные окружения
TYPESAFE_API_KEYобязательная
Ограничения
Нужны ключ Jev из `console.typesafe.ai` и менеджер `uv`. Решения о ссылках и абзацах принимает размещенная модель, поэтому текст страниц оценивается внешним сервисом и обращения к нему платные: в `crawl` есть предел `max_decision_usd`, по умолчанию 0,05 доллара. Для страниц с JavaScript ставят дополнение `jevcrawl[js]` и один раз скачивают Chromium, браузер открывает не больше пяти страниц за вызов. Приведенные в README замеры сделаны на 50 и 20 задачах, это небольшие выборки.
Как отключить. Удалите сервер из настроек клиента, например `claude mcp remove jevcrawl`, и отзовите ключ в консоли Jev.
Частые вопросы
Как подключить к Claude Code?
Командой `claude mcp add jevcrawl -e TYPESAFE_API_KEY=<ключ> -- uvx jevcrawl`. Для Claude Desktop и Cursor в `mcpServers` добавляют команду `uvx` с аргументом `jevcrawl`.
Откуда берется ключ?
Его выдает консоль `console.typesafe.ai`, и он передается переменной `TYPESAFE_API_KEY`. Без него решения о ссылках принимать нечем.
Чем отличаются `crawl`, `scrape` и `map`?
`crawl` ищет ответ на нескольких страницах, `scrape` читает одну, `map` только ранжирует адреса. По `map` агент решает, что открывать дальше.
Как читать страницы на JavaScript?
Поставьте `uvx --from "jevcrawl[js]" jevcrawl` и один раз выполните `uvx --from "jevcrawl[js]" playwright install chromium`. Адреса таких страниц попадают в `stats.js_rendered_urls`.
Защищен ли он от внедрения команд со страниц?
По описанию автора текст страниц только оценивается и никогда не исполняется как указание. Результат все равно стоит проверять перед использованием.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыПлагин сканирует сайты и превращает страницы в Markdown с метаданными: семь скиллов и MCP-сервер с девятью инструментами
MCP-сервер читает сайты на вашем компьютере и отдает агенту короткий Markdown со ссылками, без лишнего HTML в контексте.
Консольный клиент Firecrawl со скиллами для агентов: поиск в сети, скрапинг, обход сайтов, карта URL, взаимодействие со страницами
Краулер с открытым кодом превращает сайты в чистый Markdown для ИИ-агентов: ставится из PyPI, запускается в Docker и подключается к Claude Code по MCP
MCP-сервер веб-поиска и обхода: SearXNG плюс You.com и чистый Markdown со страниц, сайтов и закрытых разделов
Локальный веб-поиск для агентов: ищет, читает страницы и отдает сжатые фрагменты с источниками, экономя токены контекста
Коротко о README
Описаны быстрый старт для Claude Code и других клиентов, три инструмента, дополнение `js`, методика замеров против Crawl4AI и настройка.