MLflow Skills — плагин
Десять скиллов MLflow учат агента ставить трассировку, разбирать падения и оценивать качество GenAI-приложений
- 91 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Скиллы запускают команды `mlflow` и скрипты, ходят на сервер MLflow и читают трассы с данными пользователей
- Хук плагина срабатывает в сессии агента и подсказывает вызов скиллов
Установка
- Работает в
Ручная установка
npx skills add mlflow/skillsУстановщик скиллов, первый способ из README.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Скиллы запускают команды `mlflow` и скрипты, ходят на сервер MLflow и читают трассы с данными пользователей
- Хук плагина срабатывает в сессии агента и подсказывает вызов скиллов
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Набор скиллов от команды MLflow для Claude Code, Cursor, Codex CLI, Gemini CLI и OpenCode. Скилл `mlflow-trace-instrumentation` добавляет трассировку в приложения на Python и TypeScript, `mlflow-trace-retrieval` ищет и фильтрует трассы, `mlflow-trace-analysis` разбирает спаны, падения агента и многоходовые сессии, а `mlflow-trace-metrics` строит сводные метрики вроде расхода токенов. Оценкой занимается `mlflow-evaluation`: он готовит наборы данных, подбирает оценщики и запускает проверку. Скилл `mlflow-agent-improvement` исправляет поведение агента по трассам и закрепляет исправление регрессионным тестом. Остальные скиллы помогают с первой настройкой (`mlflow-onboarding`), поиском по документации (`mlflow-docs`) и подключением к SageMaker. Диспетчер `mlflow-agent` направляет общий запрос к нужному скиллу. В плагин входит хук `mlflow-suggest-hook`.
Для кого. Разработчикам ИИ-агентов и LLM-приложений, которые уже используют или собираются подключить MLflow для трассировки и оценки.
Подходит, если
- Агент на LangChain отвечает неверно, и надо найти по трассе шаг, где он ошибся
- В приложение нужно добавить трассировку MLflow без ручной разметки каждого вызова
- Нужен набор оценщиков и датасет, чтобы мерить точность агента до и после правок
- Бизнес-правило изменилось, и агента нужно поправить с регрессионным тестом, который падает до исправления
Не подходит, если
- Проект не использует MLflow и переходить на него не планируется
- Нужен общий обзор метрик модели без трассировки приложения: скиллы заточены под GenAI-агентов
- Задача не про наблюдаемость и оценку: для них скиллы ничего не добавляют
Пример запроса к агенту
Добавь трассировку MLflow в мое приложение на LangChain и покажи, почему последний запрос упалОграничения
- Скиллы рассчитаны на работающий сервер или бэкенд MLflow и установленный пакет `mlflow`: без них агенту нечего трассировать.
- Часть сценариев привязана к Databricks и Amazon SageMaker и требует доступа к этим платформам.
- Скилл `mlflow-agent` помечен как вызываемый только вручную, автоматически агент его не запускает.
- Оценка с LLM-судьей расходует платные запросы к модели, объем зависит от размера датасета.
Как отключить. В Claude Code выполните `/plugin uninstall mlflow` или удалите папки скиллов из `~/.claude/skills/`. Хук `mlflow-suggest-hook` отключается вместе с плагином.
Частые вопросы
Как поставить скиллы MLflow?
Командой `npx skills add mlflow/skills`. Альтернативы: скопировать папки репозитория в каталог скиллов агента, например `~/.claude/skills/`, или подключить репозиторий в проект как `.skills/mlflow`.
Какие агенты поддерживаются?
Claude Code, Cursor, Codex CLI, Gemini CLI и OpenCode. Подходит любой агент, который понимает формат скиллов.
Чем `mlflow-trace-analysis` отличается от `mlflow-agent-improvement`?
Первый только диагностирует: разбирает трассу и называет причину. Второй вносит исправление после диагностики и подтверждает его регрессионным тестом.
Нужна ли Databricks для работы?
Нет, скиллы работают с обычным MLflow. Для Databricks и SageMaker есть отдельные справочные файлы и скилл подключения к SageMaker.
Что делает скилл `mlflow-trace-metrics`?
Он запрашивает сводные метрики по трассам: например, расход токенов и динамику по времени. Для отдельной трассы используйте `mlflow-trace-retrieval`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныПлагин Roboflow дает агенту навыки по компьютерному зрению: данные, обучение, проверка моделей, инференс и вызовы API.
Flowtrace раскладывает работу агента на шаги-файлы в git-репозитории: их видно, проверяют, правят по одному и запускают заново на новых данных
AI Builder Club Skills
AI Builder Club — Skills
Плагин-маркетплейс для Claude Code: сделать репозиторий готовым к работе агента и запускать самоподдерживающиеся циклы
Skill Flow собирает скиллы из разных источников в группы и разворачивает их сразу на десятки агентов: Claude Code, Cursor, Codex.
Локальный MCP-сервер хранит скиллы как версии и пускает улучшенные варианты в работу только после проверки человеком
Инструмент сборки проверенных скиллов из реального рабочего процесса и управления их жизненным циклом через ваш маркетплейс
Коротко о README
README объясняет, зачем MLflow нужны скиллы, и перечисляет десять скиллов в таблице с описаниями. Дальше идут три способа установки: через установщик скиллов, копированием из исходников и на уровне проекта. Отдельные папки содержат справочные материалы по оценке, трассировке и Databricks, а `.claude-plugin/plugin.json` описывает плагин для Claude Code.