Habitat-GS — скилл

Два скилла Habitat-GS учат агента вести робота по сценам 3D Gaussian Splatting через MCP и обучать навигационные политики

  • 341 ★ репозитория
  • Последний коммит
Скилл

Расширенный доступ

Почему такой уровень

  • Автономный цикл навигации запускает фоновый процесс с отдельным диалогом LLM, который расходует токены
  • Обучение политик надолго занимает GPU и диск
Все причины и проверки

zju3dv/habitat-gs

Установка

Ручная установка

tools/manage_habitat_gs_skill.sh install --workspace /path/to/agent/workspace

Запускается в склонированном репозитории после сборки симулятора. Режим symlink включается флагом --mode symlink и безопасен не для всех способов запуска агента.

Доступ и проверки

Как мы проверяем

Расширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.

  • Автономный цикл навигации запускает фоновый процесс с отдельным диалогом LLM, который расходует токены
  • Обучение политик надолго занимает GPU и диск

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Habitat-GS — симулятор навигации для воплощенного ИИ с фотореалистичными сценами в формате 3D Gaussian Splatting, расширение Habitat-Sim (статья ECCV 2026). В репозитории лежат два скилла: `habitat-gs-control` и `habitat-gs-train`. Скилл `habitat-gs-control` учит агента вести робота в живой сессии через MCP-инструменты: загрузить сцену инструментом `hab_init`, осмотреться через `hab_look` и `hab_panorama`, двигаться через `hab_forward` и `hab_turn`, построить маршрут через `hab_find_path`, запустить автономный цикл навигации `hab_nav_loop_start` и сохранить видео через `hab_export_video`. Поддерживаются задачи `pointnav`, `objectnav`, `imagenav`, `eqa` и следование инструкциям. Скилл `habitat-gs-train` ведет весь путь генерации, обучения и оценки политик PointNav, ImageNav и ObjectNav, а также моделей VLN `StreamVLN` и `Uni-NaVid`. Мост HabitatAgent с 16 инструментами запускается командой `python tools/habitat_agent.py --mcp` и работает с Claude Code, Codex и OpenClaw. Скиллы в рабочее пространство агента копирует скрипт `tools/manage_habitat_gs_skill.sh`, режим по умолчанию безопасный: файлы копируются, симлинки создаются только по флагу.

Для кого. Исследователям навигации и воплощенного ИИ, которые запускают симулятор на GPU и поручают Claude Code или Codex управление роботом и эксперименты.

Подходит, если

  • Роботом в сцене хочется управлять словами, например «найди дверь на кухне»
  • PointNav или ObjectNav надо обучить на сценах Gaussian Splatting по готовому конвейеру
  • Проход робота по сцене требуется записать в видео
  • VLN-модели `StreamVLN` и `Uni-NaVid` предстоит обучить и оценить в тех же сценах

Не подходит, если

  • На машине нет видеокарты с CUDA: рекомендуемая сборка включает CUDA, а PyTorch ставят под `cu121`
  • Нужен симулятор без компиляции: установка идет из исходников с подмодулями и `cmake`
  • В сцене требуется физика предметов: для нее симулятор собирают с Bullet, а по умолчанию он выключен

Пример запроса к агенту

Загрузи сцену через `hab_init`, найди в ней кухонную дверь автономным циклом навигации и сохрани видео прохода

Ограничения

  • Без самого симулятора скиллы бесполезны. Он требует `conda`, Python 3.12, `cmake` 3.27, PyTorch под CUDA и скачанные сцены Gaussian Splatting.
  • Скилл `habitat-gs-control` запрещает агенту вызывать оболочку: управлять сессией можно только MCP-инструментами `hab_*`.
  • Для скиллов в рабочем пространстве агента создается отдельный файл `.env`, он не совпадает с `.env` основного проекта.
  • GitHub не определил лицензию репозитория (`NOASSERTION`), поэтому условия использования стоит проверить по файлам репозитория.

Как отключить. Удалите скиллы командой `tools/manage_habitat_gs_skill.sh uninstall --workspace /path/to/workspace`. Статус показывает та же команда с аргументом `status`. MCP-мост останавливается завершением процесса `tools/habitat_agent.py`.

Частые вопросы

Как поставить скиллы Habitat-GS?

Склонируйте репозиторий и выполните `tools/manage_habitat_gs_skill.sh install --workspace /path/to/agent/workspace`. Один скилл ставится флагом `--skill habitat-gs-control` или `--skill habitat-gs-train`.

Чем отличаются `habitat-gs-control` и `habitat-gs-train`?

`habitat-gs-control` ведет робота в живой сессии через MCP, а `habitat-gs-train` проводит через генерацию данных, обучение и оценку навигационных политик. Для обучения управление сессией не нужно.

Какие агенты работают с мостом HabitatAgent?

Автор называет Claude Code, Codex и OpenClaw. Мост запускается командой `python tools/habitat_agent.py --mcp` и дает 16 MCP-инструментов.

Какие задачи навигации поддерживает `habitat-gs-control`?

Скилл работает с задачами `pointnav`, `objectnav`, `imagenav`, `eqa` и следованием инструкциям через инструмент `hab_nav_loop_start`.

Нужна ли видеокарта для Habitat-GS?

Рекомендуемая сборка идет с включенным CUDA, а PyTorch ставят под `cu121`, то есть нужна видеокарта NVIDIA с поддержкой CUDA.

Обсуждение

Вопросов и отзывов пока нет.

Скиллы

Скилл для Claude Code и Gemini CLI: ведет дообучение языковой модели от датасета до экспорта в GGUF, на NVIDIA и Apple Silicon

СкиллРасширенный доступ283Звезды репозитория

Библиотека из 31 скилла манипуляций и 8 наборов инструментов для робототехнического движка GaP в формате Agent Skills.

ПлагинШирокий доступ64Звезды репозитория

Набор из восьми скиллов для ИИ-инфраструктуры: ядра GPU на TileLang, память Megatron, обучение в SLIME и схемы.

СкиллМинимальный доступ158Звезды репозитория

90 скиллов-специалистов и оркестратор Nexus для Claude Code, Codex и Antigravity: баги, тесты, безопасность, ревью, релизы, UX

СкиллРасширенный доступ99Звезды репозитория

Каталог из почти двухсот скиллов: доставка кода, ревью, отладка, управление ИИ, продуктовая работа и координация агентов.

СкиллМинимальный доступ175Звезды репозитория

Мета-навык делит задачу на этапы, подбирает профиль и ведет мультиагентную работу в Codex и Claude Code.

СкиллРасширенный доступ59Звезды репозитория

Коротко о README

README подробно излагает установку симулятора, загрузку сцен Gaussian Splatting, запуск интерактивного просмотрщика и аватаров. Затем идут HabitatAgent, конвейеры обучения PointNav, ImageNav, ObjectNav и VLN, раздел со скиллами и цитирование статьи.

Бейдж для README

Исходный SKILL.md

---
name: habitat-gs-control
description: Interactively pilot a robot in habitat-gs 3D Gaussian Splatting indoor scenes via MCP tools — load a scene, move, observe with RGB/depth, run autonomous nav loops, and export video. Use for hands-on control of a live sim session, NOT for training or evaluating a navigation policy (use the habitat-gs-train skill for that).
---

# habitat-gs-control

Control a robot navigating through photo-realistic 3D indoor environments. You have MCP tools for scene loading, movement, observation, and autonomous navigation.

**IMPORTANT**: Always use MCP tools (`hab_init`, `hab_look`, `hab_forward`, etc.) directly. Do NOT use `exec` or shell commands — the MCP tools are the only supported interface.

## What you can do

- **Observe**: `hab_look` (current view), `hab_panorama` (4-direction scan with depth), `hab_depth_analyze` (obstacle distances)
- **Move**: `hab_forward` (walk forward), `hab_turn` (rotate left/right)
- **Navigate**: `hab_navigate` (auto-walk to coordinates), `hab_find_path` (plan route), `hab_topdown` (overhead map)
- **Long tasks**: `hab_nav_loop_start` (launch autonomous navigation sub-agent), `hab_nav_loop_status` (check progress), `hab_nav_loop_stop`
- **Session**: `hab_init` (load scene), `hab_close` (end session), `hab_export_video` (replay video)

## How to use

1. **Always init first**: call `hab_init` to load a scene before anything else.
2. **Look before you move**: use `hab_look` or `hab_panorama` to see the environment, then decide where to go.
3. **For simple tasks** (move forward, look around): use tools directly.
4. **For complex navigation** (find an object, reach a goal, follow instructions): use `hab_nav_loop_start` with a goal description. It launches an autonomous sub-agent that navigates independently. Check progress with `hab_nav_loop_status` only when asked.
5. **Export video** when the task is done: `hab_export_video` encodes all captured frames into an mp4.

## Navigation modes

The scene may run in two modes (auto-detected):

| | **navmesh** | **mapless** |
|---|---|---|
| Map tools (`hab_navigate`, `hab_find_path`, `hab_topdown`) | available | not available |
| Coordinates visible | yes | no — only `euclidean_distance_to_goal` and `goal_direction_deg` |
| How to navigate | use `hab_navigate` for efficient multi-step movement | use `hab_forward`/`hab_turn` with depth checks |

## Task types for nav_loop

| Type | What it does |
|---|---|
| `pointnav` | Navigate to a target coordinate |
| `objectnav` | Find a specific object in the scene |
| `imagenav` | Find the viewpoint matching a reference image |
| `eqa` | Explore and answer a question about the environment |

Сообщить о проблеме