AVStream

Как-то утром я нарисовал на клетчатой бумажке несколько висящих прямоугольников, а сегодня они обросли рендером, техническим райдером, медиапланом и бюджетом. Так что теперь это личинка медиаискусства. Подал заявку на фестиваль мультимедиа Digital Rain…

Если долго мучиться, комплект трекинга получится. Доделал первый вариант корпусирования для антенн и главное - для метки. Метка раньше была размером с антенну, теперь в половину Nokia 3110. Комплект разворачивается за минуту в любом месте. Для работы не нужен интернет и сторонний софт, под трекинг работает мой собственный софт на Win/Mac, который элементарно интегрируется с любым мультимедиа оборудованием и софтом на площадке по UDP, DMX, Midi, OSC, настраиваются зоны, триггеры срабатывания, команды на вход и выход. Заодно лендос сделал по нему, куда ж сегодня без лендоса-то. https://avstream.ru/spatial/

Рулю стробоскопами в реалтайме под свое мультимедийное шоу. Свет вызывает привыкание конечно :)

Как-то утром я нарисовал на клетчатой бумажке несколько висящих прямоугольников, а сегодня они обросли рендером, техническим райдером, медиапланом и бюджетом. Так что теперь это личинка медиаискусства. Подал заявку на фестиваль мультимедиа Digital Rain со своим проектом "Между нами". Идея такая: внутри большой круглой фермы подвешены 16 акустических систем, на решётку которых приклеена акустически прозрачная светлая ткань. На каждом из них появляется лицо и музыкальный инструмент, и каждый объект воспроизводит голос или звук, который на нём изображён. Вся это радостная компания разговаривает, спорит, шепчется, поёт, распадается на отдельные реплики и периодически собирается в единый хор. При этом колонки на лебедках перемещаются по высоте. Вместе с колонками двигаются и мэппинги на них и получается пространственная композиция, которая постоянно перестраивается вокруг зрителя и визуалом и звуком. Концептуально это история о связях между человеками. Отдельные голоса существуют сами по себе, но влияют друг на друга и иногда образуют нечто общее. Круг символизирвет собой хор, соцсеть, двор, или домовой чат, из которого невозможно выйти. На рендерах показана расширенная версия мечты с 64 колонками и лебедками :) В заявку подал реалистичный 16 колоночный развес. Теперь жду решения кураторов, 3 августа объявят :)

Вчера на очередном техосмотре врач спросил меня: "чем вы занимаетесь?" И я впервые смог нормально сформулировать ответ на этот вопрос. Я мультимедиа-инженер. Разрабатываю мультимедийные концепции и системы, пишу программные движки, которые объединяют видео, свет, трекинг, кинетику и пространственный звук в единый сценарий работы пространства или шоу. Придумываю, как всё это должно работать вместе, пишу недостающий софт под задачу, связываю оборудование и довожу систему до запуска и умею в контент и саунд дизайн. Поэтому теперь вы тоже знаете. Если нужно придумать, собрать и запустить мультимедийную систему от пары экранов с двумя беринджерами на стойках до сложного интерактивного пространства со светом, трекингом, кинетикой и пространственным звуком, пишите. Будем придумывать и запускать.

Тестирую собственную систему трекинга. В интерфейсе создаётся виртуальная зона. Когда метка входит в неё, движок отправляет MIDI-команду в Resolume и переключает контент на LED-экране. Система реагирует не просто на движение или присутствие человека, а на координаты конкретной метки. Поэтому без метки можно ходить перед экраном и махать руками и ничего не произойдёт. Зоны создаются и перемещаются программно, без установки отдельных датчиков в каждой точке пространства. По юзерной логике это немного похоже на бесключевой доступ в современных автомобилях. Подойдя к машине с ключом в кармане, она любезно откроет вам дверь или багажник. Только здесь система дополнительно знает координаты метки внутри сцены / помещения и использует их для управления видео, светом, звуком и любыми другими железками / софтами.

Кажется у меня начинается новая глава. Поступил в магистратуру на «Интерактивный дизайн и медиаискусство». Это неизбежное продолжение того, чем я занимаюсь: мультимедиа, интерактив, трекинг, звук, свет, генеративные системы и прочие инженерные радости по UDP. Хочется структурировать накопленный опыт, получить новые знания и дальше развиваться в мультимедийной среде. Учиться, учиться и ещё раз учиться, как завещал великий Торвальдс Линукс!

Ученье - свет, а неученье - звук.

Тестирую и допиливаю свою систему трекинга артистов. Пока что в роли артиста электроскейт. На нём штатив с меткой, по углам «площадки» стоят антенны. Координаты скейта передаются в Touchdesigner, а дальше всё просто. Электричекий артист ездит туда сюда по гаражному кооперативу, а две DMX головы следят за ним. Follow-Light во всей красе :)

Получен навык приручения кинетических лебедок от @lympro. Первый раз работал с операторами POP в Touchdesigner, они оказались конечно в тыщу раз удобнее CHOP и прочего ужаса инстансинга, который был до POP. Примитивы - весчь. А когда добавили Mediapipe и лазеры, то сразу захотелось техно вечеринку :) Кинетика даёт плюс 100500 к любому шоу. А при синхроне её со светом, лазерами и звуком, получается совсем другой уровень восприятия.

Никогда, слышите? Никогда не разрешайте агентам выполнять любые действия на компьютере, как это сделал ленивый я. Агент должен был удалить одну папку сборки "dist" чтобы заменить внутри неё файл. Вместо этого из-за одной ошибки в кавычках он начал выполнять эквивалент rmdir /s /q \ rmdir - Remove Directory, тут понятно. /s - удаление вложенных папок, файлов внутри папки; /q - не ждать подтверждения, сразу удалять. че там, ты ж разрешил. И вишенка на торте: \ - это корень диска в винде. То есть он просто беззаботно начал сносить всё из корня диска. По разбору полёта оказалось, что агент сделал команду для cmd, но запустил её из под powershell. cmd /c "rmdir /s /q \"g:\blablabla\dist\"" В итоге Powershell радостно отработал по тому, до чего смог дотянуться. Мораль: \ Ну и бэкапьтесь, господа, бэкапьтесь качественнее.

Наконец-то польза от этих ваших нейросетей.

Вчера посетил воркшоп по инженерной и главное - контентной части архитектурного мэппинга в @lympro. Чистый кайф конечно я вам скажу. Кажется, чё там, включил проектор, сделал маску, светишь себе на домик. Но есть нюансы) Вроде всё тот же резолюм был основой воркшопа, но попутно узнал множество фишек от матёрых спецов, которые планирую пробовать применять на практике, особенно по части подготовки контента.

Сегодня в моей инженерной голове случился важный сдвиг. Touchdesigner перестал быть главной песочницей, где я всё собираю и где живут все проекты. Теперь тач стал просто одним из клиентов, который принимает данные от моего движка. Хочешь - тачдизайнер, хочешь - свет по DMX, хочешь - звук по OSC, хочешь - что хочешь. Я упорно продолжаю делать свой трекинг для музейных, иммерсивных, и любых шоу-инсталляций и сегодня добил очень важную и очень скучную историю - подключение устройств. Теперь антенны и метки при первом запуске ведут себя как нормальные приличные девайсы, создают временный вайфай, цепляешься к нему телефоном, говоришь куда и как подключаться, после чего они сами появляются в движке без каждоразного ручного прошивания. Ещё теперь видно какие устройства живые, кто подключён, какой сигнал, кто отвалился и что вообще просиходит в цилиндрах. Математика тоже переехала полностью из тача в движок. Я всё ближе к коробочному решению, и самое смешное, что поговорить об этом особо не с кем, потому что для нормального человека всё выше звучит как "ПРИКИНЬТЕ Я ПОДРУЖИЛ ЖЕЛЕЗКУ С ЖЕЛЕЗКОЙ И ОНИ МОРГАЮТ ТЕПЕРЬ ПРАВИЛЬНО!!!". Но для меня это важная веха, коей делюсь в инженерном дневнике тута. Вы получили это сообщение, потому что когда-то зачем-то видимо случайно подписались в телеге на этот канал. Если вы не хотите больше получать сообщений про трекинг от этого автора, нажмите сюда.

Кайфую от того, как меняется рабочий процесс. Сначала пару дней ходишь, думаешь думу. Затем с раннего утра, пока все спят, два часа плотно сидишь за архитектурой, техническим стеком, декомпозицией задач, модульностью проекта и согласованием всех этих модулей между собой. Продумываешь все возможные и невозможные структуры. Записываешь это в длинную портянку на 20к знаков с пробелами. Такое техническое мини-эссе. Затем кидаешь этот поток технологического сознания в GPT 5.5 Thinking, просишь сделать из этого структурный промпт, придерживаясь всех ограничений и архитектуры. Он 3 минуты думает и выдаёт другую портянку. На 40к знаков. Дальше кидаешь эту портянку в Cursor с Opus 4.8 (потому что на Fable 5 жаба давит) и уходишь в парикмахерскую. Приходишь через 40 минут, а он ещё делает. И нещадно жрёт токены, да.

Увлекательно короче)

Дома завёлся новый питомец, по паспорту Hippotizer. Кушает видео контент, реагирует на внешние запросы по artnet/tcp/итд. Дрессирую пока что, привыкаем друг к другу. После резолюма в нём всё странно, но интересно. Кто такие юзал, как они? Норм или есть нюансы?

Ну всё, я максимально преисполнился. Оформил PRO подписку на Cursor и теперь над моими безумными инженерно-креативными мыслями трудятся лучшие агенты Смиты.