nulspace0 (3D,XR, TouchDesigner, UE5)

Взял старый Kinect Xbox 360 сделал с ним аудиореактивную визуальную систему в TouchDesigner. Сенсор отдаёт карту глубины, из неё выделяется силуэт человека. Дальше силуэт проходит через восемь визуальных состояний. Звук раскладывается на три частотные полосы, и каждая управляет своим слоем: низкие частоты запускают глитч-искажения и переключают сцены по детекту удара, средние управляют интерфейсным слоем, высокие- цифровым шумом.

«Камыши» - интерактивная среда на Unity, которая реагирует на зрителей. Камера глубины считывает движение перед экраном и превращает его в ветер: стебли камыша кланяются в сторону от человека, по полю бежит волна, вместе с движением меняется звук. Стоит зрителям задвигаться- из тумана проступают здания, растут и набирают плотность. Замерли -растворяются обратно. Проект собирался в очень сжатые сроки и сознательно сделан двухрежимным: он может работать как цифровая декорация на сцене и как самостоятельная развлекательная инсталляция для публики. Две сцены - общий план многослойного поля до горизонта и крупный план камыша вплотную к зрителю. Ветер, чувствительность детекции, туман, небо -всё настраивается на ходу с панели прямо во время показа. Здания и камыши нарисовала студентка-сценограф. Unity · C# · HLSL · Orbbec SDK

Выхожу из сумрака и начинаю активно делать контент. Начну с того что уже есть. В этом году мы сделали VR-игру, где ты в буквальном смысле оказываешься внутри мозга. Каждая доля здесь-отдельный мир-метафора. Продолговатый мозг-мамонт(так как древний) Принятие решений- весы. Навигация-штурвал. Есть мини-игры: лопаешь шарики с фактами о мозге, руками через физику собираешь синаптические связи, читаешь научные справки в текстовых зонах. Делали проект в нашей VR/AR-студии: я руководил и делал техническую часть, немного подключался к 3D, а основную работу сделали школьники, которых я обучаю. С этой игрой взяли 2 место на всероссийском конкурсе. Не всё шло гладко долго всего провозился с физикой тянущихся синапсов: руками соединяешь связь между нейронами, а она должна вести себя как настоящая резинка. Раньше такое не делал, и на какое-то время завис. Но в итоге получилось, но не идеально. #VR #геймдев #образование #XR

Летом нашёл на Авито старый Kinect от Xbox 360. Это такой контроллер с камерой глубины - Microsoft делал его для бесконтактного управления играми ещё 15 лет назад. Взял, чтобы попробовать технологию, я люблю всякие такие штуки. Потратил неделю чтобы вообще разобраться как подключить к PC и написать первые программы. Но когда заработало - просто вау, ощущается как магия 🤩 Двигаешь рукой, программа это видит и реагирует. Без мышки,без геймпада и без помощи нейросетей. Kinect в своё время не стал популярным, но Microsoft потом выпустили уже промышленную версию - Kinect Azure, но её тоже перестали выпускать. Сейчас на рынке есть другие альтернативы - Intel RealSense, ZED - но это всё решения для роботики и промышленности и достаточно дорогие. Для домашних экспериментов не особо вариант. Зато именно эти технологии сейчас двигают роботику вперёд - камеры глубины стоят на автономных роботах, они видят пространство вокруг, объезжают препятствия, распознают людей и тд. То же самое в XR - Apple Vision Pro, Quest, иммерсивные инсталляции - всё это работает на тех же принципах. Пока машинное зрение возглавляет мой личный топ любимых технологий. ( а на втором - AR). Продолжу изучать и, возможно, буду делать какие-то проекты

Dance💃

Если вдруг пропустили – прошел Meta Connect 2025 Показывали Ray-Ban Display с цветным дисплеем в линзе и браслетом для управления жестами. Еще обновили линейку Ray-Ban Meta и представили спортивные Oakley Vanguard. Для гарнитур Quest добавили Hyperscape-режим — сканирование реального пространства в VR, а в Horizon появился полноценный центр развлечений с Disney+, ESPN и другими сервисами. В общем такого тизер-хайпа, как было в прошлом году с очками Orion не было, но видимо это затишье перед бурей. Скриньте этот твит – 2027 будет взрывным в XR.

Работа двухлетней давности. Один из немногих заказов, которые были интересны. Здесь нужно было разрабатывать дизайн с нуля, а не просто моделировать по готовой картинке. Задача ограничивалась только дизайном - без оптимизации, развертки и так далее. Сейчас, конечно, сделал бы иначе. Вчера закинул модель в Substance Painter: сделал автоматическую развертку, накинул стандартные материалы и отрендерил.

Основные тезисы с конференции AWE2025 про иммерсивные технологии: - "XR - не будущее, а настоящее. XR становится мейнстримом". В индустрии все привыкли к разговорам про "слишком раннюю стадию развития технологий", но это уже отговорки. Все норм с индустрией, идите пилите контент. - "Нет ИИ без XR". Нейронки уже пожрали интернет, им нужно понимать реальный мир. XR даст ИИ глаза, уши и локальный контекст: зрительные сцены, пространственные карты, поведенческие паттерны. - "Если 25% населения пользуется технологией, она считается мейнстримом". AR на смартфонах - 35% пользуется, VR шлемы - 27%, умные очки показывают рост, промышленные решения тоже растут. Спикер из Qualcomm: - "Сейчас лучшее время для работы в иммерсивных технологиях. Темпы грядущих инноваций превзойдут всё, что сообщество видело за прошлые годы". ИИ решит вечные проблемы XR - создание контента и интуитивные интерфейсы. - "Очки - лучший форм-фактор для ИИ". Ваши умные часы знают пульс, а очки знают, на что вы смотрите. (- опа, пульс подскочил, на баб небось смотрит? - нее, на % ставку по кредиту) Спикер из Snap: - Снэпчат - это 900 млн пользователей в месяц и 8 млрд запусков AR-линз в день. - Snap OS 5 расширяет возможности API, потому что разрабы просили: обработка запросов OpenAI, Google Gemini и DeepSeek в пространстве, генерация 3D объектов через промты, распознавалка голоса, отслеживание гео до см в городах, AR-туры, поддержка WebXR. - Планы: выпуск очков в 2026м, монетизация для разрабов. Пользователь не будет осознавать, что пользуется AR, т.к. цифровое и физическое не разделены в будущем. Спикер из Lucasfilm: - мы переходим от сторителлинга к сториливингу - то есть, жизни внутри истории. Например, коллаба с AR очками Magic Leap - у тебя есть друг-Чубакка, ты с ним постоянно взаимодействуешь = привязываешься. Сняв очки, чувствуешь утрату. Таких проектов будет больше. Спикер из игровой студии Another Axiom: - Игровой виар-рынок сложен и непредсказуем, поэтому личный рецепт успеха: "Строить вместе с комьюнити, а не для него". - XR - идеальная среда для экспериментов. Многое, что считалось раньше плохой идеей, внезапно выстреливает. Например, способ перемещения в Gorilla Tag вместо хватательных кнопок. - Радикальная прозрачность перед коммьюнити. Если вы выкатили прототип и вам за него не стыдно - значит, выкатили слишком поздно. Смотрю, народ на AWE полон позитива по поводу индустрии! 📝