SkillFoxx
Telegram

OralDetect Finetune — скилл

Скилл для дообучения детектора OralDetect на ваших снимках зубов: проверка данных, запуск обучения, отчет до и после

  • 110 ★ репозитория
  • Последний коммит
Скилл

Расширенный доступ

Почему такой уровень

  • Скилл запускает скрипты Python и долгое обучение на GPU на вашей машине
  • Сторонний набор весов и датасетов загружается с Hugging Face после подтверждения доступа
Все причины и проверки

isjinghao/oralgptАвтор:isjinghao

Установка

Работает в

В терминале, через SkillFoxx CLI

npx skillfoxx add skills/oraldetect-finetune

Определит агенты на машине, покажет уровень доступа и зафиксирует версию.

Другие способы установки

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Скилл запускает скрипты Python и долгое обучение на GPU на вашей машине
  • Сторонний набор весов и датасетов загружается с Hugging Face после подтверждения доступа

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Скилл oraldetect-finetune лежит в репозитории OralGPT, семейства моделей и бенчмарков для цифровой стоматологии. OralDetect распознает объекты на снимках пяти модальностей, причем класс задается названием в словаре, поэтому модель находит и то, что не училась искать. Скилл ведет агента от папки с вашими снимками до дообученной модели шестью шагами, и каждый шаг заканчивается контрольной точкой: пока она не выполнена, следующий не начинается. Шаги такие: привести разметку к формату COCO, найти веса, проверить датасет и словарь классов с визуальным контролем рамок, собрать файлы запуска own_finetune.yaml и own_eval.yaml, оценить базовую модель, пробно запустить обучение и стартовать его, затем замерить результат и сравнить до и после. Скрипты скилла определяют формат разметки (COCO, YOLO, VOC, LabelMe), конвертируют ее, проверяют датасет, строят блокноты с графиками и собирают итоговую HTML-страницу в русской или английской версии. Каждый скрипт пишет отчет даже при ошибке, чтобы причина остановки не пропала. Метрики precision, recall и F1 до и после лежат в одном текстовом файле, а сравнение истинной разметки, ответа до и после показывает картинка.

Для кого. Исследователи и инженеры компьютерного зрения, которые дообучают детектор на собственных стоматологических снимках и хотят поручить рутину агенту.

Подходит, если

  • У вас есть папка со стоматологическими снимками и разметка, и нужно дообучить OralDetect на этих данных
  • Разметка лежит в формате YOLO, VOC или LabelMe, и ее надо привести к COCO с разбиением на обучающую и проверочную части
  • Перед запуском на GPU нужен пробный прогон конфигурации, который отловит ошибки путей
  • Требуется отчет с метриками и картинкой сравнения до и после дообучения

Не подходит, если

  • Нужна только разметка снимков без обучения: скилл рассчитан на полный цикл дообучения
  • В разметке только метки уровня изображения без рамок: такие данные скилл отклоняет
  • Нет GPU и окружения CUDA 12.x: обучение им не запустится
  • Нужен клинический вывод: репозиторий описывает исследовательские модели и бенчмарки

Пример запроса к агенту

Дообучи OralDetect на моих панорамных снимках в папке /data/pano, разметка в YOLO, и покажи метрики до и после.

Ограничения

Нужны CUDA 12.x и один или несколько GPU, Python 3.10, torch 2.5.1, `mmcv` 2.1.0 и закрепленные версии numpy и `albumentations`. Веса OralDetect-Family в 2,7 ГБ скачиваются с Hugging Face после запроса доступа, набор с открытым доступом это не отменяет. Скилл дополнительно требует `nbformat`, `nbclient` и `ipykernel`. Лицензия репозитория на GitHub не определена. Это исследовательские модели, к медицинским решениям относиться как к советчику нельзя.

Как отключить. Удалите папку oraldetect-finetune из каталога скиллов вашего агента. Созданные запуском файлы лежат в каталогах `datas`, launch_bash и own_finetune репозитория, удалите их вручную, если они не нужны.

Частые вопросы

Как поставить скилл oraldetect-finetune?

Склонируйте репозиторий OralGPT и скопируйте OralDetect/skills/oraldetect-finetune в каталог скиллов вашего агента, например .claude/skills. Отдельной команды установки в репозитории нет.

Что нужно подготовить до запуска?

Три пути: клон репозитория с run_finetune.py, папка со снимками и каталог для весов. Окружение проверяется одной командой с импортом torch, `mmcv`, `mmengine`, `mmdet`, transformers, webdataset и yaml.

Какие форматы разметки поддерживаются?

Скрипт to_coco.py определяет COCO, YOLO, VOC и LabelMe и конвертирует их в COCO. Если формат неизвестен, скилл просит показать один файл разметки и ничего не угадывает.

Что получится в итоге?

Метрики precision, recall и F1 до и после в step6_metrics.txt, картинка сравнения step6_compare.png и страница report.html. Страница есть в русской и английской версиях.

Можно ли использовать результат в клинике?

Нет, в README OralGPT это исследовательские модели и бенчмарки. Скилл готовит обучение и отчет, клинической проверки он не заменяет.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы
Официальный

Скиллы Voxel51 для компьютерного зрения: импорт датасетов, поиск дублей, инференс и оценка моделей в FiftyOne

СкиллРасширенный доступ48
Официальный

Скиллы Probabl для экспериментов по машинному обучению: пайплайн на scikit-learn и skrub, оценка, аудит и подключение к Skore Hub

ПлагинМинимальный доступ145
Официальный

Скиллы NVIDIA для биологии и химии: агент предсказывает структуры белков, стыкует молекулы, проектирует белки и разбирает геномы

СкиллРасширенный доступ508

High-Stakes Analytics Lab

High-Stakes Analytics & Decision Lab

Скилл доказательной аналитики для решений с высокой ценой ошибки: профилирует данные, выбирает метод под них, может ответить отказом или запросом данных

СкиллРасширенный доступ1 тыс.

Скилл Claude Code учит агента библиотеке tangermeme для анализа геномных нейросетей: DeepLIFT/SHAP, мутагенез, дизайн.

СкиллМинимальный доступ333

Скилл анализа данных в Excel: проверяет таблицу, чистит, сверяет итоги с суммами в самой таблице и только потом выдает числа.

СкиллМинимальный доступ464

Коротко о README

README представляет OralGPT как семейство стоматологических моделей: мультимодальные модели, агент OralAgent, детектор OralDetect и бенчмарки. По OralDetect указаны веса на Hugging Face, обучающий набор и бенчмарк. Отдельный README в папке OralDetect описывает окружение, закрепленные версии библиотек, загрузку весов и запуск обучения и оценки.

Бейдж для README

Исходный SKILL.md

---
name: oraldetect-finetune
description: This skill should be used when the user wants to finetune the OralDetect model on their own dataset — e.g. "finetune OralDetect on my data", "train the dental detector on my data", "run OralDetect on my images". The user provides their dataset folder; validates the COCO format against the loader's real requirements, places the weights, and generates own_*.yaml launchers that are dry-run verified before any GPU is used.
version: 1.0.0
---

# Finetune OralDetect on a user-supplied dataset

Six steps, in order. Each ends in a **Checkpoint**. Do not start step N+1 until step N's
checkpoint holds. A checkpoint that cannot be met is a stop: report what is missing and what the
user has to decide.

## Directories

Ask the user for these three:

```bash
REPO=<the cloned repo — the directory that holds run_finetune.py>
IMAGE_ROOT=<the dataset folder the user gave you>
WEIGHTS=<where the weights are, or will go>
```

Derive the rest. Everything after this point is addressed through these names:

```bash
SKILL=$REPO/skills/oraldetect-finetune            # the scripts this skill runs
DATAS=$REPO/datas                      # generated jsons + vocabulary
LAUNCH=$REPO/launch_bash               # generated yamls
OUT=$REPO/own_finetune                            # checkpoints, logs, predictions
REPORT=$OUT/report                                # every figure and table

mkdir -p "$DATAS" "$LAUNCH" "$REPORT"
```

`IMAGE_ROOT` is both the folder the user handed over and the root that `file_name` in the COCO json
resolves against. It is the one path outside `$REPO`, because the user's images stay where they are.

## What lands where

`$REPORT` is the deliverable — everything a human reads:

```
$REPORT/
├── step1_format.txt            what format the labels were in, what was converted
├── step3_check.txt             the validation report
├── step3_preview.png           annotated samples
├── step3_preview_classes.png   boxes per class
├── step3_preview.ipynb         the notebook behind both figures
├── step6_metrics.txt           precision / recall / F1, before vs after
├── step6_compare.png           ground truth / before / after

Сообщить о проблеме