Habitat-GS — скилл
Два скилла Habitat-GS учат агента вести робота по сценам 3D Gaussian Splatting через MCP и обучать навигационные политики
- 341 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Автономный цикл навигации запускает фоновый процесс с отдельным диалогом LLM, который расходует токены
- Обучение политик надолго занимает GPU и диск
Установка
- Работает в
Ручная установка
tools/manage_habitat_gs_skill.sh install --workspace /path/to/agent/workspaceЗапускается в склонированном репозитории после сборки симулятора. Режим symlink включается флагом --mode symlink и безопасен не для всех способов запуска агента.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Автономный цикл навигации запускает фоновый процесс с отдельным диалогом LLM, который расходует токены
- Обучение политик надолго занимает GPU и диск
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Habitat-GS — симулятор навигации для воплощенного ИИ с фотореалистичными сценами в формате 3D Gaussian Splatting, расширение Habitat-Sim (статья ECCV 2026). В репозитории лежат два скилла: `habitat-gs-control` и `habitat-gs-train`. Скилл `habitat-gs-control` учит агента вести робота в живой сессии через MCP-инструменты: загрузить сцену инструментом `hab_init`, осмотреться через `hab_look` и `hab_panorama`, двигаться через `hab_forward` и `hab_turn`, построить маршрут через `hab_find_path`, запустить автономный цикл навигации `hab_nav_loop_start` и сохранить видео через `hab_export_video`. Поддерживаются задачи `pointnav`, `objectnav`, `imagenav`, `eqa` и следование инструкциям. Скилл `habitat-gs-train` ведет весь путь генерации, обучения и оценки политик PointNav, ImageNav и ObjectNav, а также моделей VLN `StreamVLN` и `Uni-NaVid`. Мост HabitatAgent с 16 инструментами запускается командой `python tools/habitat_agent.py --mcp` и работает с Claude Code, Codex и OpenClaw. Скиллы в рабочее пространство агента копирует скрипт `tools/manage_habitat_gs_skill.sh`, режим по умолчанию безопасный: файлы копируются, симлинки создаются только по флагу.
Для кого. Исследователям навигации и воплощенного ИИ, которые запускают симулятор на GPU и поручают Claude Code или Codex управление роботом и эксперименты.
Подходит, если
- Роботом в сцене хочется управлять словами, например «найди дверь на кухне»
- PointNav или ObjectNav надо обучить на сценах Gaussian Splatting по готовому конвейеру
- Проход робота по сцене требуется записать в видео
- VLN-модели `StreamVLN` и `Uni-NaVid` предстоит обучить и оценить в тех же сценах
Не подходит, если
- На машине нет видеокарты с CUDA: рекомендуемая сборка включает CUDA, а PyTorch ставят под `cu121`
- Нужен симулятор без компиляции: установка идет из исходников с подмодулями и `cmake`
- В сцене требуется физика предметов: для нее симулятор собирают с Bullet, а по умолчанию он выключен
Пример запроса к агенту
Загрузи сцену через `hab_init`, найди в ней кухонную дверь автономным циклом навигации и сохрани видео проходаОграничения
- Без самого симулятора скиллы бесполезны. Он требует `conda`, Python 3.12, `cmake` 3.27, PyTorch под CUDA и скачанные сцены Gaussian Splatting.
- Скилл `habitat-gs-control` запрещает агенту вызывать оболочку: управлять сессией можно только MCP-инструментами `hab_*`.
- Для скиллов в рабочем пространстве агента создается отдельный файл `.env`, он не совпадает с `.env` основного проекта.
- GitHub не определил лицензию репозитория (`NOASSERTION`), поэтому условия использования стоит проверить по файлам репозитория.
Как отключить. Удалите скиллы командой `tools/manage_habitat_gs_skill.sh uninstall --workspace /path/to/workspace`. Статус показывает та же команда с аргументом `status`. MCP-мост останавливается завершением процесса `tools/habitat_agent.py`.
Частые вопросы
Как поставить скиллы Habitat-GS?
Склонируйте репозиторий и выполните `tools/manage_habitat_gs_skill.sh install --workspace /path/to/agent/workspace`. Один скилл ставится флагом `--skill habitat-gs-control` или `--skill habitat-gs-train`.
Чем отличаются `habitat-gs-control` и `habitat-gs-train`?
`habitat-gs-control` ведет робота в живой сессии через MCP, а `habitat-gs-train` проводит через генерацию данных, обучение и оценку навигационных политик. Для обучения управление сессией не нужно.
Какие агенты работают с мостом HabitatAgent?
Автор называет Claude Code, Codex и OpenClaw. Мост запускается командой `python tools/habitat_agent.py --mcp` и дает 16 MCP-инструментов.
Какие задачи навигации поддерживает `habitat-gs-control`?
Скилл работает с задачами `pointnav`, `objectnav`, `imagenav`, `eqa` и следованием инструкциям через инструмент `hab_nav_loop_start`.
Нужна ли видеокарта для Habitat-GS?
Рекомендуемая сборка идет с включенным CUDA, а PyTorch ставят под `cu121`, то есть нужна видеокарта NVIDIA с поддержкой CUDA.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыСкилл для Claude Code и Gemini CLI: ведет дообучение языковой модели от датасета до экспорта в GGUF, на NVIDIA и Apple Silicon
Библиотека из 31 скилла манипуляций и 8 наборов инструментов для робототехнического движка GaP в формате Agent Skills.
Набор из восьми скиллов для ИИ-инфраструктуры: ядра GPU на TileLang, память Megatron, обучение в SLIME и схемы.
90 скиллов-специалистов и оркестратор Nexus для Claude Code, Codex и Antigravity: баги, тесты, безопасность, ревью, релизы, UX
Каталог из почти двухсот скиллов: доставка кода, ревью, отладка, управление ИИ, продуктовая работа и координация агентов.
Мета-навык делит задачу на этапы, подбирает профиль и ведет мультиагентную работу в Codex и Claude Code.
Коротко о README
README подробно излагает установку симулятора, загрузку сцен Gaussian Splatting, запуск интерактивного просмотрщика и аватаров. Затем идут HabitatAgent, конвейеры обучения PointNav, ImageNav, ObjectNav и VLN, раздел со скиллами и цитирование статьи.
Бейдж для README
Исходный SKILL.md
--- name: habitat-gs-control description: Interactively pilot a robot in habitat-gs 3D Gaussian Splatting indoor scenes via MCP tools — load a scene, move, observe with RGB/depth, run autonomous nav loops, and export video. Use for hands-on control of a live sim session, NOT for training or evaluating a navigation policy (use the habitat-gs-train skill for that). --- # habitat-gs-control Control a robot navigating through photo-realistic 3D indoor environments. You have MCP tools for scene loading, movement, observation, and autonomous navigation. **IMPORTANT**: Always use MCP tools (`hab_init`, `hab_look`, `hab_forward`, etc.) directly. Do NOT use `exec` or shell commands — the MCP tools are the only supported interface. ## What you can do - **Observe**: `hab_look` (current view), `hab_panorama` (4-direction scan with depth), `hab_depth_analyze` (obstacle distances) - **Move**: `hab_forward` (walk forward), `hab_turn` (rotate left/right) - **Navigate**: `hab_navigate` (auto-walk to coordinates), `hab_find_path` (plan route), `hab_topdown` (overhead map) - **Long tasks**: `hab_nav_loop_start` (launch autonomous navigation sub-agent), `hab_nav_loop_status` (check progress), `hab_nav_loop_stop` - **Session**: `hab_init` (load scene), `hab_close` (end session), `hab_export_video` (replay video) ## How to use 1. **Always init first**: call `hab_init` to load a scene before anything else. 2. **Look before you move**: use `hab_look` or `hab_panorama` to see the environment, then decide where to go. 3. **For simple tasks** (move forward, look around): use tools directly. 4. **For complex navigation** (find an object, reach a goal, follow instructions): use `hab_nav_loop_start` with a goal description. It launches an autonomous sub-agent that navigates independently. Check progress with `hab_nav_loop_status` only when asked. 5. **Export video** when the task is done: `hab_export_video` encodes all captured frames into an mp4. ## Navigation modes The scene may run in two modes (auto-detected): | | **navmesh** | **mapless** | |---|---|---| | Map tools (`hab_navigate`, `hab_find_path`, `hab_topdown`) | available | not available | | Coordinates visible | yes | no — only `euclidean_distance_to_goal` and `goal_direction_deg` | | How to navigate | use `hab_navigate` for efficient multi-step movement | use `hab_forward`/`hab_turn` with depth checks | ## Task types for nav_loop | Type | What it does | |---|---| | `pointnav` | Navigate to a target coordinate | | `objectnav` | Find a specific object in the scene | | `imagenav` | Find the viewpoint matching a reference image | | `eqa` | Explore and answer a question about the environment |