SkillFoxx
Telegram

XCrawl Skills

Пять скиллов для API XCrawl: скрапинг одной страницы, карта URL сайта, обход сайта целиком и поиск, с примерами cURL и Node

  • 449 ★ репозитория
  • Последний коммит
СкиллОфициальный

Широкий доступ

Почему такой уровень

  • Скиллы отправляют запросы стороннему платному сервису и тратят кредиты вашего аккаунта
  • Массовый обход чужих сайтов может нарушать их условия использования и законы о данных
  • Ключ API лежит открытым текстом в `~/.xcrawl/config.json`
Все причины и проверки

xcrawl-api/xcrawl-skillsАвтор:XCrawl

Установка

Работает в

В терминале, через SkillFoxx CLI

npx skillfoxx add skills/xcrawl-skills

Определит агенты на машине, покажет уровень доступа и зафиксирует версию.

Другие способы установки

Доступ и проверки

Как мы проверяем

Широкий доступИнструмент может менять данные, выполнять команды или работать с секретами.

  • Скиллы отправляют запросы стороннему платному сервису и тратят кредиты вашего аккаунта
  • Массовый обход чужих сайтов может нарушать их условия использования и законы о данных
  • Ключ API лежит открытым текстом в `~/.xcrawl/config.json`

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

XCrawl Skills — набор из пяти скиллов для работы с XCrawl, сервисом веб-данных для поиска, скрапинга, составления карты URL и обхода сайтов. Скилл `xcrawl` служит входом по умолчанию и разбирает прямые запросы и извлечение с одной страницы. Остальные узкие: `xcrawl-scrape` для структурированных данных с адреса, `xcrawl-map` для обнаружения URL, `xcrawl-crawl` для массового обхода с асинхронными результатами и `xcrawl-search` для поиска по запросу с выбором страны и языка. В каждом `SKILL.md` описаны сценарии, параметры запроса и ответа и примеры на cURL и Node. Базовый адрес API: `https://run.xcrawl.com`, основные точки `POST /v1/scrape`, `POST /v1/map`, `POST /v1/crawl` и `POST /v1/search`. Результаты асинхронных задач забирают по идентификатору через `GET`. Скиллы возвращают ответ API как есть, без пересказа. Ключ `XCRAWL_API_KEY` лежит в локальном файле `~/.xcrawl/config.json` и передается в заголовке `Authorization: Bearer`. Примеры запросов из README: «получить страницу синхронно и вернуть Markdown со ссылками», «собрать только URL под `/docs/` с лимитом 2000», «запустить обход с глубиной 2 и лимитом 100 и ждать завершения».

Для кого. Разработчикам агентов и аналитикам, которым нужны веб-данные через готовый API: страницы в Markdown, карты сайтов и результаты поиска по странам.

Подходит, если

  • Страницу надо получить синхронно и вернуть в Markdown вместе со ссылками
  • Из документации сайта требуется собрать только адреса под `/docs/` и ограничить их числом
  • Нужен ограниченный обход сайта по глубине и лимиту страниц с ожиданием результата
  • Поисковую выдачу надо получить для конкретной страны и языка
  • Из страницы нужно извлечь данные по схеме `json_schema` или по подсказке

Не подходит, если

  • Ключа XCrawl нет и заводить аккаунт не планируется: все запросы идут через платный сервис
  • Нужен собственный краулер на своих серверах: скиллы лишь вызывают API XCrawl
  • Сайт запрещает автоматический сбор в условиях использования: проверять разрешения придется самому
  • Агент не может выполнять `curl` и `node`: примеры опираются на эти двоичные файлы

Пример запроса к агенту

Собери через XCrawl только URL под /docs/ на этом сайте с лимитом 2000 и верни список

Ограничения

В README нет команды установки, и автор не описывает установку сам: подходит общий путь `npx skills add xcrawl-api/xcrawl-skills`, раз в репозитории есть `SKILL.md`. Последний коммит датирован мартом 2026 года. Нужен ключ XCrawl: на `dash.xcrawl.com` доступен бесплатный тариф с 1000 кредитов. Должны быть доступны `curl` и `node`. Скиллы возвращают ответ API без обработки, поэтому разбор и очистку данных делает сам агент.

Как отключить. Удалите папки скиллов `xcrawl*` из каталога скиллов агента и файл `~/.xcrawl/config.json` с ключом. Сам ключ можно отозвать в кабинете на `dash.xcrawl.com`.

Частые вопросы

Какой скилл выбрать для одной страницы?

Прямой запрос без уточнений обработает `xcrawl`: он по умолчанию вызывает скрапинг. Если важны структурированные данные и форматы, берите `xcrawl-scrape`.

Как узнать, какие страницы есть на сайте?

Скилл `xcrawl-map` собирает URL сайта и помогает спланировать охват. Затем `xcrawl-crawl` обходит выбранную область, а результаты отдает через идентификатор задачи, который опрашивают, пока задача не завершится.

Куда класть ключ API?

В файл `~/.xcrawl/config.json` в виде `{"XCRAWL_API_KEY": "<ваш_ключ>"}`. Скиллы читают ключ из этого файла и отправляют его заголовком `Authorization: Bearer`.

Как скиллы передают ответ агенту?

Без пересказа: по умолчанию возвращается тело ответа API как есть. В нормализованном выводе скилла есть статус, тело запроса, сырой ответ либо пара для асинхронной задачи, идентификаторы задач и ошибка.

Сколько запросов даст бесплатный тариф?

README называет бесплатный план на 1000 кредитов после регистрации на `dash.xcrawl.com`. Сколько кредитов тратит каждый вид запроса, смотрите в документации XCrawl.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы

Переносимый скилл для CLI и Python-библиотеки Crawl4AI: страницы на JavaScript, извлечение данных по CSS-схемам и пакетный обход.

СкиллШирокий доступ50

Пять скиллов, по которым агент встраивает поиск, скрапинг и действия на страницах Firecrawl в код вашего приложения

СкиллРасширенный доступ201,3 тыс.
Официальный

Каталог скиллов Firecrawl для Claude Code, Cursor и Codex: поиск, скрейпинг и обход сайтов, работа с формами и интеграция API

ПлагинРасширенный доступ155

Скилл веб-поиска, поиска по X и чтения страниц для моделей без выхода в сеть: без регистрации и ключа, ответ в JSON со ссылками на источники

СкиллРасширенный доступ978

Локальный сборщик контента для агентов: посты, видео и страницы из открытых источников и ваших сессий. Скилл, MCP, CLI.

СкиллШирокий доступ244

Скилл веб-исследования: SearXNG ищет, Camofox читает страницы, CloakBrowser открывает сайты, которые проверяют посетителей

СкиллШирокий доступ546

Сравнение с похожими

Карточки с тем же главным запросом: чем они отличаются.

ИнструментОфициальныйАвторизацияЗвезды репозиторияГлавное отличие
XCrawl Skills (эта карточка)да449
Firecrawl CLIнет684консольный клиент другого сервиса, Firecrawl, а скиллы XCrawl работают с его API и ключом XCrawl
Crawl4AIдаAPI-ключ87 271краулер с открытым кодом, который запускается у вас в Docker, а XCrawl вызывается как облачный API

Коротко о README

Описание представляет XCrawl как сервис веб-данных и перечисляет скиллы. Затем даны предпосылки (ключ, `curl` и `node`), настройка файла ключа, выбор скилла, примеры намерений, единый контракт ввода и вывода для разных сред выполнения, общие соглашения об адресах и ссылки на документацию.

Бейдж для README

Исходный SKILL.md

---
name: xcrawl
description: Use this skill as the default XCrawl entry point for direct XCrawl requests, including single-URL fetch, format selection, sync or async execution, and JSON extraction with prompt or json_schema.
allowed-tools: Bash(curl:*) Bash(node:*) Read Write Edit Grep
metadata: {"version":"1.0.2","openclaw":{"skillKey":"xcrawl","homepage":"https://www.xcrawl.com/","requires":{"localFiles":["~/.xcrawl/config.json"],"anyBins":["curl","node"]},"apiKeySource":"local_config"}}
---

# XCrawl

## Overview

This skill is the default XCrawl entry point when the user asks for XCrawl directly without naming a specific API or sub-skill.
It currently targets single-page extraction through XCrawl Scrape APIs.
Default behavior is raw passthrough: return upstream API response bodies as-is.

## Routing Guidance

- If the user wants to extract one or more specific URLs, use this skill and default to XCrawl Scrape.
- If the user wants site URL discovery, prefer XCrawl Map APIs.
- If the user wants multi-page or site-wide crawling, prefer XCrawl Crawl APIs.
- If the user wants keyword-based discovery, prefer XCrawl Search APIs.

## Required Local Config

Before using this skill, the user must create a local config file and write `XCRAWL_API_KEY` into it.

Path: `~/.xcrawl/config.json`

```json
{
  "XCRAWL_API_KEY": "<your_api_key>"
}
```

Read API key from local config file only. Do not require global environment variables.

## Credits and Account Setup

Using XCrawl APIs consumes credits.
If the user does not have an account or available credits, guide them to register at `https://dash.xcrawl.com/`.

Сообщить о проблеме