nnInteractive Agent — плагин
Сегментация 3D-снимков по текстовому запросу: MCP-сервер, навык и веб-демо поверх nnInteractive для Claude Code и Codex.
- 80 ★ репозитория
- Последний коммит
Широкий доступ
Почему такой уровень
- Инструмент python по умолчанию выполняет произвольный код от имени пользователя, а отрисовки снимков уходят провайдеру модели.
Установка
- Работает в
Ручная установка
pip install "nninteractive-agent[local] @ git+https://github.com/MIC-DKFZ/nninteractive-agent"Затем `nninteractive-agent setup claude` или `setup codex`.
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Инструмент python по умолчанию выполняет произвольный код от имени пользователя, а отрисовки снимков уходят провайдеру модели.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Агент получает запрос вроде «выдели каждое ребро отдельно», рисует подсказки для модели nnInteractive (штрихи, рамки, точки), смотрит 3D-результат и поправляет его, как разметчик-человек. Подходят КТ, МРТ, микроскопия, электронная микроскопия и обычные фотографии. В набор входят MCP-сервер `nninteractive` с инструментами `load_image`, `scribble`, `bbox`, `point`, `render3d`, `stats` и `save`, навык `nninteractive-segmentation` с правилами подсказок и порядком исправления, а также необязательное веб-демо с видами 2D и 3D и чатом. Команда `nninteractive-agent setup claude` или `setup codex` регистрирует сервер, кладет навык и для Claude Code добавляет субагента-проверяющего.
Для кого. Исследователям и разметчикам медицинских и микроскопических изображений, которым нужна 3D-сегментация без ручного рисования масок.
Подходит, если
- На КТ нужно выделить отдельно каждое ребро и сохранить карту экземпляров.
- На стеке микроскопии требуется найти и разметить все ядра клеток.
- Сегментацию показывают коллегам без установленного агента через веб-демо.
- Качество разметки агентом сравнивают с бенчмарком на 14 публичных снимках.
Не подходит, если
- Снимки нельзя отдавать провайдеру модели: агент видит их отрисовки.
- Нет видеокарты NVIDIA, а время расчета важно.
- Результат идет в клинику как диагностический вывод.
Пример запроса к агенту
Выдели на этой КТ каждое ребро отдельным объектом, проверь результат в 3D и сохрани карту экземпляров.Ограничения
Нужен Python 3.10 или новее. Локальный расчет рассчитан на видеокарту NVIDIA примерно с 10 ГБ памяти, на процессоре он работает, но каждая подсказка занимает много времени. Веса nnInteractive около 400 МБ скачиваются в `~/.nninteractive`. Агент видит отрисованные срезы, поэтому подходят только снимки, которые можно показать поставщику модели. Инструмент `python` по умолчанию выполняет код от вашего имени, режим `--python guarded` песочницей не служит. Веб-демо слушает только `127.0.0.1`, при открытии в сеть доступ получает любой, у кого есть пароль.
Как отключить. Уберите MCP-запись `nninteractive` из конфигурации Claude Code или Codex и удалите навык из `~/.claude/skills` или `~/.codex/skills`. Загруженные веса лежат в `~/.nninteractive`.
Частые вопросы
Что делает команда setup?
Для локального режима проверяет PyTorch и видеокарту и скачивает веса. Затем регистрирует MCP-сервер и кладет навык: для Claude Code еще и субагента-проверяющего.
Можно ли считать на другой машине?
Да. Запустите `nninteractive-server` на машине с GPU и передайте `--server URL` при `setup`. Тогда агент подключается к серверу вместо локального расчета.
Как ограничить инструмент python?
Параметр `--python` принимает `full`, `guarded` и `off`. В режиме `guarded` разрешены только вычислительные библиотеки, а доступ к файлам и процессам закрыт. Песочницей это не считается.
Какие форматы изображений читаются?
NIfTI, NRRD, MHA, TIFF, PNG, JPG и NPY: инструмент `load_image` возвращает статистику, ориентацию и обзорные картинки.
Насколько точна разметка?
По бенчмарку авторов на 14 публичных снимках Claude Code и Codex дают средний Dice 0,81–0,85 примерно за четыре минуты на снимок. Одна подсказка на цель дает 0,71.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныMCP-сервер подключает Claude Code и Codex к открытой сессии R или Python в RStudio и Positron, где лежат ваши данные
SP-Mind — агент на Claude Agent SDK для анализа пространственной протеомики: от коррекции изображений до аннотации типов клеток.
Агент Claude Code для дизайна белков: подбор мишени, генерация антител и нанотел, скрининг и ранжирование кандидатов.
Плагин для Claude Code и MCP-сервер: более 1000 научных инструментов для биологии, химии и медицины, команды для сверки данных и скиллы-маршрутизаторы
MCP-сервер научных агентов: Claude Code анализирует спектры и снимки, планирует опыты и готовит расчеты DFT
Плагин Monte Carlo для Claude Code и Cursor: проверка таблиц до запросов, разбор инцидентов данных и создание мониторов.
Коротко о README
Описаны возможности, установка с вариантами `[local]` и `[web]`, настройка Claude Code и Codex, инструменты, веб-демо, запуск на сервере и результаты бенчмарка. Отдельный раздел описывает доступ инструмента `python` и защиту.