SkillFoxx
Telegram

Web Content Fetcher — скилл

Скилл превращает ссылку в чистый Markdown через Scrapling с запасным Jina Reader, в том числе статьи WeChat, Juejin и CSDN

  • 613 ★ репозитория
  • Последний коммит
Скилл

Расширенный доступ

Почему такой уровень

  • Режим `--stealth` запускает безголовый браузер для сайтов с защитой от скрапинга, что может нарушать правила этих сайтов.
  • Запасной путь отправляет адрес страницы стороннему сервису Jina Reader.
Все причины и проверки

shirenchuang/web-content-fetcherАвтор:shirenchuang

Установка

В терминале, через SkillFoxx CLI

npx skillfoxx add skills/web-content-fetcher

Определит агенты на машине, покажет уровень доступа и зафиксирует версию.

Другие способы установки

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Режим `--stealth` запускает безголовый браузер для сайтов с защитой от скрапинга, что может нарушать правила этих сайтов.
  • Запасной путь отправляет адрес страницы стороннему сервису Jina Reader.

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Скилл `web-content-fetcher` по ссылке достает основной текст страницы и возвращает его чистым Markdown с заголовками, ссылками, картинками, списками и блоками кода. Агент вызывает скрипт `scripts/fetch.py`: тот сначала делает быстрый HTTP-запрос на 1–3 секунды, а если текста получилось мало, сам переключается на режим `--stealth` с безголовым браузером, который тратит 5–15 секунд на страницы с JavaScript. Таблица доменов в скилле подсказывает режим сразу: статьи WeChat, Zhihu и Juejin идут через `--stealth`, а sspai, CSDN и большинству блогов хватает быстрого режима. Если Scrapling не установлен или не справился, агент обращается к Jina Reader по адресу `https://r.jina.ai/<url>`. Скрипт принимает лимит символов вторым аргументом и флаг `--json`, который добавляет в ответ режим, селектор и длину текста.

Для кого. Исследователям и редакторам, которые просят Claude Code прочитать статью по ссылке, особенно на китайских площадках, и вернуть ее в Markdown.

Подходит, если

  • Агент должен прочитать статью из WeChat по ссылке и пересказать ее.
  • Страница отдает сплошной HTML, а в заметках нужны заголовки, ссылки и код.
  • Документация или блог сохраняется в Markdown для базы знаний.
  • Сайт рисует контент на JavaScript, и быстрый запрос возвращает пустую оболочку.

Не подходит, если

  • Страница закрыта логином, как Xiaohongshu: без сессии скрипт ее не откроет.
  • Сайт стоит за проверкой Cloudflare: на Product Hunt скрипт упирается в нее.
  • Адреса страниц нельзя передавать внешним сервисам: запасной путь отправляет адрес в Jina Reader.

Пример запроса к агенту

Прочитай статью по ссылке из WeChat, верни ее в Markdown с картинками и перечисли главные тезисы.

Ограничения

Нужны Python 3.10 или новее и пакеты `scrapling` и `html2text`; на системном Python в macOS и Linux их ставят с флагом `--break-system-packages` или в виртуальном окружении. Режим `--stealth` запускает безголовый браузер и работает заметно медленнее. Запасной Jina Reader ограничен 200 запросами в сутки на бесплатном уровне и не открывает WeChat. Файла лицензии в репозитории нет, хотя README называет проект MIT. Последний коммит — март 2026 года.

Как отключить. Удалите папку `web-content-fetcher` из каталога навыков, например из `~/.claude/skills/`, и при желании выполните `pip uninstall scrapling html2text`.

Частые вопросы

Как поставить web-content-fetcher в Claude Code?

Выполните `npx skills add https://github.com/shirenchuang/web-content-fetcher --skill web-content-fetcher` и поставьте зависимости командой `pip install scrapling html2text`. Вручную подойдет копия папки в `~/.claude/skills/`.

Когда включать режим stealth?

Для страниц, которые собираются на JavaScript: WeChat, Zhihu, Juejin. На остальных скрипт сам переходит с быстрого режима, если текста слишком мало.

Как ограничить размер вывода?

Передайте число вторым аргументом, например `python3 scripts/fetch.py https://example.com/article 15000`. Без него лимит равен 30 000 символам.

Как получить метаданные вместе с текстом?

Добавьте флаг `--json`: ответ будет содержать `url`, `mode`, `selector` и `content_length`.

Что делать, если Scrapling недоступен?

Агент запрашивает `https://r.jina.ai/<url>` через `web_fetch`. Путь быстрый, но не открывает WeChat и часть китайских сайтов.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы

Скилл читает ссылку и отдает агенту полный текст в Markdown: выбирает отдельный путь для страниц WeChat, документов Feishu, PDF и статей arXiv

СкиллРасширенный доступ512

Скилл news-extractor достает из ссылки заголовок, текст, картинки и метаданные статьи с 12 новостных площадок и отдает JSON или Markdown без браузера

СкиллРасширенный доступ639

Скилл вместо WebFetch читает страницу и возвращает только блоки, отвечающие на вопрос, дословно и с путем заголовков.

СкиллРасширенный доступ55

Скилл собирает свежие новости с десятков технологических, финансовых и AI-источников без ключей API, дайджест на китайском.

СкиллРасширенный доступ1,3 тыс.

Скилл ищет статьи публичных аккаунтов WeChat по ключевому слову через поиск Sogou и отдает заголовки, ссылки и даты в JSON

СкиллШирокий доступ276

Сравнение с похожими

Карточки с тем же главным запросом: чем они отличаются.

ИнструментОфициальныйАвторизацияЗвезды репозиторияГлавное отличие
Web Content Fetcher (эта карточка)нет613
jina-cli — чтение сайтов и поиск через Jina Readerнет311скилл и утилита вокруг Jina Reader; здесь основной путь — Scrapling с переходом в браузерный режим, Jina остается запасным
Fetcher MCPнетне нужна1 088MCP-сервер, который открывает страницы в Chromium через Playwright; здесь скилл со скриптом и выбором режима по домену

Коротко о README

Описание на китайском подает проект как бесплатный инструмент извлечения текста с упором на WeChat, Juejin и CSDN. В нем разобраны стратегия извлечения, маршруты по доменам и список проверенных китайских и зарубежных площадок, где у части отмечены ограничения.

Бейдж для README

Исходный SKILL.md

---
name: web-content-fetcher
description: >
  Extract article content from any URL as clean Markdown.
  Uses Scrapling script as primary method (with auto fast→stealth fallback),
  Jina Reader as alternative for simple pages.
  Preserves headings, links, images, lists, and code blocks.
  Use this skill whenever the user wants to fetch, read, extract, scrape, or summarize
  content from a URL — including blog posts, news articles, WeChat articles (微信公众号),
  documentation pages, or any web page. Also trigger when the user says things like
  "帮我读一下这篇文章", "抓取这个网页", "提取正文", or "read this page for me".
---

# Web Content Fetcher

Given a URL, return its main content as clean Markdown — headings, links, images, lists, code blocks all preserved.

## Extraction Strategy

Always try **one method per URL** — don't cascade blindly. Pick the right one upfront.

```
URL
 │
 ├─ 1. Scrapling script (preferred)
 │     Run fetch.py — check the domain routing table to decide fast vs --stealth.
 │     Works for most sites. Returns clean Markdown directly.
 │
 └─ 2. Jina Reader (fallback — only if Scrapling fails or dependencies not installed)
       web_fetch("https://r.jina.ai/<url>")
       Free tier: 200 req/day. Fast (~1-2s), good Markdown output.
       Does NOT work for: WeChat (403), some Chinese platforms.
```

### Scrapling script

```bash
python3 <SKILL_DIR>/scripts/fetch.py "<url>" [max_chars] [--stealth]
```

`<SKILL_DIR>` is the directory where this SKILL.md lives. Resolve it before calling the script.

The script has two modes built in:
- **Default (fast):** HTTP fetch, ~1-3s, works for most sites
- **`--stealth`:** Headless browser, ~5-15s, for JS-rendered or anti-scraping sites

Сообщить о проблеме