openreality-mcp
MCP-сервер превращает видео с телефона в 3D-сцену, где агент измеряет, строит маршруты и выгружает данные для роботов
- 656 ★ репозитория
- Последний коммит
- BSD-2-Clause
Широкий доступ
Почему такой уровень
- Видео и записи отправляются в облачный сервис Open Reality и хранятся в вашем аккаунте там
- Серверные агенты расходуют бюджет аккаунта, а ключ входа лежит на диске в файле учетных данных
- Через файл hardware.json сервер может управлять подключенным оборудованием, например рукой-манипулятором
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/openreality-mcpОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- Видео и записи отправляются в облачный сервис Open Reality и хранятся в вашем аккаунте там
- Серверные агенты расходуют бюджет аккаунта, а ключ входа лежит на диске в файле учетных данных
- Через файл hardware.json сервер может управлять подключенным оборудованием, например рукой-манипулятором
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
openreality-mcp подключает агента к системе Open Reality, которая собирает из ролика на телефоне постоянную трехмерную сцену. Через более чем сорок инструментов агент загружает видео, запись робота или сплат, ждет завершения реконструкции, читает карточку сцены и спрашивает, какие объекты в ней есть и каковы размеры помещения. Измерения идут по правилу честных единиц. Длина называется метрами только после калибровки по двум точкам с известным расстоянием, до этого сервер отдает относительные единицы и агент не вправе переводить их в метры. Дальше доступны расстояния и углы между точками, поиск пути по свободному пространству до объекта или точки и серверные агенты сцены, которые осматривают ее, подписывают объекты и отвечают на вопросы. Для работы с роботами сервер выгружает сцену в форматах openreality, groot_lerobot_v2, isaac_usd и mujoco_mjcf. Тяжелые файлы пишутся на ваш диск, а не в контекст модели. Плагин Claude Code ставит вместе с сервером скилл с порядком работы. Отдельная команда `openreality-mcp simulator` запускает автономный имитатор на тестовых данных без аккаунта и видеокарты.
Для кого. Для разработчиков, исследователей робототехники и пространственных систем, которые хотят отдавать агенту сканы помещений и получать от него измерения, маршруты и обучающие данные.
Подходит, если
- Нужно превратить видео помещения в сцену и узнать размеры комнаты и список объектов в ней
- Нужно откалибровать сцену по известному расстоянию и измерить предмет или проем в метрах
- Нужно построить маршрут по свободному пространству от двери до стола и описать его словами
- Нужны обучающие данные для робота в форматах LeRobot, GR00T, Isaac Sim или MuJoCo из реального скана
- Нужно отработать рабочий процесс без аккаунта и видеокарты на встроенном имитаторе
Не подходит, если
- Видео нельзя отправлять в облако: сервис реконструкции хранит сцены в вашем аккаунте на стороне Open Reality
- Нужна коммерческая реконструкция на собственном сервере: условия лицензии модели не позволяют
- Нужен готовый фотограмметрический пакет со своим интерфейсом: здесь все делается через инструменты MCP
- Нужны метры без калибровки: сервер откажется называть относительные единицы метрами
Пример запроса к агенту
Загрузи ~/Videos/kitchen.mp4 и собери сцену, потом скажи, какие объекты в ней есть и каков размер комнатыMCP
- Транспорт
- stdio
- Авторизация
- ключ необязателен
Переменные окружения
OPENREALITY_TOKENсекрет- Ключ ork_... или токен входа вместо сохраненных учетных данных
OPENREALITY_URL- Адрес брокера: по умолчанию облачный, для собственного сервера укажите его адрес
OPENREALITY_LOGIN_URL- Страница передачи входа из браузера, по умолчанию https://open-reality.io
Ограничения
MCP-сервер работает у вас как процесс stdio, а реконструкция, хранение и агенты сцены выполняются на брокере Open Reality, поэтому для настоящей работы нужен аккаунт: вход через `openreality-mcp login` открывает браузер и сохраняет ключ в файле `~/.config/openreality/credentials.json`. Серверные агенты тратят ограниченный бюджет аккаунта, воспроизведение записанного запуска бесплатно.
Брокер можно развернуть самим: каталоги server и core лежат в репозитории и запускаются на вашей видеокарте или в вашем аккаунте Modal. Для такого сервера модель реконструкции VGGT-1B загружается у владельцев по лицензии CC BY-NC 4.0, то есть только для некоммерческого использования. Для коммерческой работы нужен облачный сервис или собственная лицензия. Каталоги server и core опубликованы как зеркала закрытых репозиториев и обновляются вручную. Для симуляторных экспортов нужна метрическая привязка сцены, а столкновения в MuJoCo учитывают только плоскость пола и рамки найденных объектов. Нужен Node 20 или новее.
Как отключить. Выполните `claude mcp remove openreality`, для Codex `codex mcp remove openreality`. Ключи входа смотрят и отзывают командами `openreality-mcp keys list` и `openreality-mcp keys revoke <идентификатор>`, файл `~/.config/openreality/credentials.json` можно удалить.
Частые вопросы
Как подключить openreality-mcp к Claude Code?
Команда `claude mcp add openreality -- npx -y openreality-mcp serve` регистрирует сервер. Флаг `--scope user` делает его доступным во всех проектах. Затем один раз выполните `npx -y openreality-mcp login`, вход открывается в браузере.
Почему сервер не называет значения метрами?
Реконструкция по видео дает относительный масштаб. Сервер выдает метры только после калибровки сцены по двум точкам с известным расстоянием и в ответе указывает units: m. Агент получает отказы и оговорки без правки и не может выдать относительное число за метры.
Нужна ли видеокарта?
Для облачного сервиса Open Reality видеокарта не нужна. Для собственного сервера нужна ваша видеокарта или аккаунт Modal. Встроенный имитатор работает вообще без видеокарты и аккаунта, но ничего не реконструирует.
В каких форматах выгружаются данные для роботов?
В openreality, groot_lerobot_v2, isaac_usd и mujoco_mjcf. Для двух симуляторных форматов сначала нужна метрическая привязка сцены. Файлы пишутся на диск, агент получает пути.
Можно ли управлять реальным оборудованием?
Да, через необязательный файл hardware.json. Для каждого устройства, например руки-манипулятора SO-101, openreality-mcp запускает его собственный MCP-сервер как дочерний процесс. Команды устройства до брокера не доходят, ограничения и отказы устройства агент видит без правок.
Можно ли использовать результат в коммерческом проекте?
Облачный сервис использует модель с коммерческой лицензией. Для собственного сервера действуют условия лицензии модели, прочитайте их до запуска.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыBlender MCP
MCP for Blender
MCP-сервер и аддон для Blender: агент создает и меняет объекты, материалы и сцены, подгружает ассеты и выполняет Python в Blender
Blender MCP: агент в Cursor, Cline, Windsurf или Claude Desktop строит и правит 3D-сцены в Blender по описанию, сервер ставится командой uvx
Screenplay снимает записи экрана по одному запросу: агент пишет сценарий, а программа играет его в браузере и монтирует видео.
MCP-сервер Posecode учит модель текстовому языку движений, проверяет углы суставов и отдает ссылку на 3D-анимацию.
MCP-сервер видеостудии 37Studio: агент ведет бренды, делает ролики, публикует в соцсети и отвечает на сообщения.
Локальный MCP-сервер для правки и разбора изображений: агент обрезает кадры, находит объекты и читает текст с фото
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| openreality-mcp (эта карточка) | да | ключ необязателен | 656 | |
| ROS MCP Server | нет | не нужна | 1 525 | соединяет агента с роботом на ROS через rosbridge: датчики и команды, без реконструкции сцен |
| Bagel — вопросы к данным роботов и дронов | да | не нужна | 407 | отвечает на вопросы по журналам роботов, дронов и IoT, сцены не строит |
Коротко о README
Описание репозитория показывает демо сеанса в Claude Code рядом с трехмерной панелью, таблицу возможностей и быстрый старт в четырех клиентах. Дальше идут примеры запросов, раздел о развертывании на своем сервере с предупреждением о лицензии модели, указатель по каталогам mcp, server и core и схема потока данных. В конце перечислены проекты, на которых построена реконструкция.