DataChain — скилл
Python-библиотека для типизированных версионируемых датасетов над S3, GCS и Azure с командой datachain skill install, которая учит Claude Code, Cursor и Codex р
- 2 831 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Выполняет пайплайны и обращается к бакетам S3, GCS или Azure по вашим учетным данным
- Генерирует и запускает Python-код для обработки датасетов
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/datachainОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Выполняет пайплайны и обращается к бакетам S3, GCS или Azure по вашим учетным данным
- Генерирует и запускает Python-код для обработки датасетов
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
DataChain превращает файлы в облачном хранилище в типизированные версионируемые датасеты: вычислительный движок обрабатывает файлы параллельно с асинхронным вводом-выводом и восстановлением после сбоев, а база датасетов хранит Pydantic-схемы, версии и происхождение данных с быстрой фильтрацией, join и group_by, включая векторный поиск по тем же строкам без отдельного хранилища. Поверх этого стоит база знаний: markdown-конспекты по датасетам, читаемые и человеком, и агентом. Команда datachain skill install добавляет агентский скилл, который подключает базу знаний и генерацию кода к Claude Code, Cursor, Codex, GitHub Copilot и Pi, а в облачном Studio агенты обращаются к тем же датасетам через MCP.
Для кого. Для дата-инженеров и разработчиков, которые хотят, чтобы агент сам находил, фильтровал и обрабатывал файлы в облачном хранилище вместо разовых скриптов.
Подходит, если
- Нужно, чтобы агент сам построил пайплайн по файлам в S3, GCS или Azure и сохранил результат как переиспользуемый датасет
- Нужны версии и происхождение данных для больших наборов файлов, а не просто список путей
- Агенту нужен векторный поиск по тем же датасетам без отдельной базы
Не подходит, если
- Данные не лежат в облачном хранилище файлов и уже структурированы в обычной базе данных
- Нужен только простой векторный поиск без версионирования и происхождения данных
Пример запроса к агенту
Найди в s3://bucket/oxford-pets/ фотографии собак, похожие на это изображение, исключи снимки без маски и собак породы кокер-спаниель, оставь только шире 400 пикселейОграничения
Скилл собирает базу знаний из датасетов, уже посчитанных DataChain, для остальных данных ее сначала нужно построить. Распределенные вычисления и доступ агентов к датасетам через MCP работают только в облачном Studio, локально доступен только вычислительный движок на одной машине. Нужны учетные данные для облачного хранилища.
Как отключить. Удалите папку установленного скилла из каталога скиллов агента (например ~/.claude/skills) и при необходимости уберите пакет командой pip uninstall datachain.
Частые вопросы
Обязательно ли использовать облачный Studio?
Нет, вычислительный движок и база датасетов работают локально, Studio нужен только для распределенных вычислений и доступа агентов к тем же датасетам через MCP.
Чем это отличается от обычного векторного хранилища?
DataChain хранит типизированные версии датасетов с происхождением данных и делает векторный поиск по тем же строкам, без отдельной базы под эмбеддинги.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыШаблон для аналитиков данных: AGENTS.md, CLAUDE.md и набор скиллов по Python, SQL, Polars и диагностике моделей.
31 скилл для Claude Code и Codex на весь путь аналитика: проверка данных, когорты, воронки, A/B-тесты, дашборды, резюме
Скиллы DataHub: поиск по каталогу, метаданные, lineage и качество данных плюс разработка коннекторов
Python-фреймворк синтетических данных с плагином для Claude Code и Codex: блоки собирают в YAML-потоки и генерируют датасеты
CLI для дашбордов как кода: агент описывает панели в YAML и TSX, DAC проверяет их, собирает SQL по метрикам и открывает в браузере
Скилл и CLI для анализа таблиц: чистка с записанными решениями, статистика на нужном уровне, PDF-отчет и отдельный аудит.
Коротко о README
README описывает DataChain как контекстный слой для неструктурированных данных: библиотека превращает файлы в S3, GCS и Azure в типизированные версионируемые датасеты, которые можно фильтровать, соединять и группировать с скоростью склада данных. Для агентских сценариев есть необязательная база знаний и агентский харнесс, устанавливаемый одной командой под конкретного агента. В примере быстрого старта показано, как агент через естественный запрос строит пайплайн поиска похожих изображений собак по метаданным пород и маскам в S3.
Бейдж для README
Исходный SKILL.md
---
name: datachain-core
description: Use ONLY for abstract DataChain SDK questions, API usage, method signatures, or code patterns, when no specific dataset or bucket is referenced. If the request mentions creating, saving, listing, exploring datasets or buckets, use datachain-knowledge instead.
---
Read {skill_dir}/SDK.md in full before answering DataChain SDK questions or generating DataChain Python code. It holds the SDK rules: API usage, UDF signatures, settings, delta semantics, materialization patterns, saving, exporting. The last section holds the steps that need a local checkout and the dc-knowledge/ knowledge base.
## Scope of this skill
This skill does not own methodology. Decisions about which datasets to build, what scope, what shape, what fields to save, and when to dialogue with the user about layer choices belong to the CAST methodology in the datachain-knowledge skill.
## Before writing any pipeline code
1. If dc-knowledge/index.md exists, read it first.
2. When the task overlaps an existing dataset, read its .md under dc-knowledge/datasets/ for schema, code patterns, and lineage.
3. Check bucket access: anonymous or authenticated, via dc-knowledge/buckets/ or datachain bucket status.