Заметки Computer Vision инженера

Сергей - фаундер прикольного стартапа Phail.ai - они измеряют насколько все эти новомодные модельки реально эффективны. Недавно Сергей проезжал через Берлин - и я решили поговорить с ним поглубже на эту тему и обсудить как в реальности можно забенчмаркать сложные события. Ну и про то как это вообще сегодня работает. Когда есть бесчисленное число рук, гриперов и вычислителей. https://youtu.be/mo6mpvFdjVw *** Канал Сергея в телеграмме - https://t.me/the_things_i_liked

Я в какой-то момент увидел в рекламе приложение Chatty. Подумал что идея неплоха, можно использовать при обучении. Посмотрел что у них с ценовой политикой и не согласился :) Они там по 15 баксов в месяц хотят. Что на мой взгляд перебор для такого. Короче за пол часа собрал себе вот эту поделку - https://github.com/ZlodeiBaal/TG_bot_language . Если кому надо: 1) Создайте бота и получите токен через @BotFather 2) Создайте на OpenRouter под него токен 3) Положите креды в .key_example и переименуйте его в .key По цене за первые дни пока тестил слил 0.14 бакса. В качестве модели я использую GPT Audio Mini. На один ответ пришлось 2 запроса делать, в один не справился. Наверное можно в один, но я не понял как. Сейчас из языков добавил немецкий (я сейчас учу) и ещё пару языков которые друзья учат (норвежский, испанский, англ). Короче, у меня стойкое ощущение что весь софт потихоньку туда движется. Теперь тебе вместо приложения нужен рецепт что оно делает.

Меня достаточно давно спрашивали про RDK S100. И наконец я его добыл и забенчмаркал. Надо сказать что тренд очень позитивный. Когда уже и LeRobot из коробки работат. Но пока что чувствуются огрехи экпорта, пайплайны не идеальны. Но в ребят много веры. На их базе много чего интересного уже видел. Видео - https://youtu.be/WHAEl05g8Xk Статья - https://medium.com/@zlodeibaal/rdk-s100-review-80-tops-robotic-board-d9ad0f464942

Офис в Норвегии резвится🤣

Поговорил с Глебом про то куда сейчас идут World Models для роботов: https://youtu.be/_acRtKuupP8 Мне было ужасно интересно. Глеб создал одно из немногих открытых комьюнити где достаточно регулярно походят онлайн семинары по тому как такие модели устроены, люди рассказывают свой экспирианс + то что у них получилось/не получилось. Собственно поговорили и про комьюнити, и про модели, и про то как это пускать на реальном железе

Так. Я сделал максимально кринжовое видео из всех что было на моём канале. Тут в PUBG (в который я с альфы с друзьями поигрываю), завезли AI ботов. Им говорить голосом команды и они их исполняют. Естественно мне стало интересно - а что они используют. А как это выяснить? Конечно же позадавать вопросы самому боту. Надо сказать что модель там крайне тупая + обложенная политиками безопасности по самое не балуйся. Но есть ощущение что какая-то простая VLA на данных присутствует. Вообще я рад этому тренду использования AI в играх. Что-то новое. И ARC был классным во многом за счет нейроночек управляющих NPC, озвучки и трансфера голоса. Ещё и тут. https://youtu.be/gPGmxWZrqxg

В последнее время я часто использую OneShot модели. И мне захотелось понять какие у каких ограничения и что где лучше работает. Думаю следующее видео сделаю про них. А пока расскажите что вы используете. А то вдруг что-то забыл.

В последнее время я часто использую OneShot модели. И мне захотелось понять какие у каких ограничения и что где лучше работает. Думаю следующее видео сделаю про них. А пока расскажите что вы используете. А то вдруг что-то забыл.

Сделал коротенькое видео про то что сверху: 1) Добавил несколько примеров того где трекинг ломается/как себя ведёт 2) Рассказал с какими платами камера отказывается работать а с какими нет. Думаю плюс-минус полезно если где-то хотите использовать https://youtu.be/mTF31gjOXkk

Мне нравиться как прогрессируют не только VLM, но и классические алгоритмы. Вот это вот SLAM из коробки, на борту Insight9 камеры. Про камеру я рассказывал несколько месяцев назад. Очень круто что это становится как-будто бы "отдельным модулем". Понятно, что пока что всё не так просто. Но по сравнению с тем как SLAM настраивался 5 лет назад - это прямо небо и земля. То что на видео - это побаловаться. В нормальных проектах у нас тоже есть, но иначе. А у вас где-то на практике SLAM используется?

Мне давным-давно любопытно было потестить китайские GPU платы. Насколько оно сейчас PyTorch френдли, какие проблемы с инференсом и обучением, и.т.д. Но я ни знаю ни одного сервиса где есть какая-то аренда такого инстанса. Желательно почасовая. Ни immers.cloud ни salad.com ни vast.ai и никто известный их нее предлагает. Когда-то пробовал чатгпт запрячь. Он нашёл пару сервисов, но там без китайского номера никак. Да и контракты там надо было брать по месяцу а то и больше. Короче: 1) А вы тестили? Насколько оно всё любопытно? Насколько сейчас работает? Когда догонят и обгонят? 2) Знаете ли вы где-нибудь сервис где можно задёшево потыкать пальцем? 3) Может у вас есть свои GPU-шки и вы можете прокинуть SSH на них? Если сделаю ролик - обещаю там благодарностей натыкать:)

Как и обещал - основное видео. Меня, конечно, поражает прогресс который произошёл в последние пол года. Не то что получается делать то чего было нельзя. Но насколько удобнее! https://youtu.be/W_tR3qSTD4I

Завтра-послезавтра сделаю видео про то какая сетка One-shot-detection с visual prompting из зэ бест. А пока что коротенькое превью:)

Наконец добрался протестировать DeepX плату. Давно хотел. В целом неплохая, но нет какого-то "прорыва" и отличия от рынка. Возможно кроме цены, ибо плата достаточно дешевая. https://youtu.be/fNuI3ayaDgQ А что думаете вы? Тестировали ли уже?

Когда мы уехали из России в 2022 году, мы стали думать, куда в Европе хотим перебраться. Внезапно по совокупности факторов в нашей пятёрке появилась Греция. А грецию мы любим. На тот момент там была удобная номадская виза. Но, как видно на этой картинке, вся суть Греции — в соседних противоречащих друг другу параграфах. Тогда было, что самый простой способ получить номадскую визу — въехать в Грецию по туристической визе, а уже потом начать оформлять номадскую. Но туристические визы греки в тот момент практически перестали выдавать россиянам. В итоге с этим вариантом мы обломались и поехали в Норвегию. Сейчас у меня неделя отпуска, и мы как раз ездим по Греции. Но каждый раз, когда я снова вижу такую комбинацию знаков или чего-то похожего — а тут такого много, — мне вспоминается та самая история. Любопытно: есть ли среди подписчиков те, кто в итоге получил греческую номадскую визу? Сам я переезжать не собираюсь, но любопытно, удалось ли кому-то пройти этот квест.

Собственно сегодняшнее видео - опять тирлист (прошлый неплохо зашёл, но не отвечал на вопрос полностью). Но на этот раз я попробовал больше сфокусироваться на том какие платы более предпочтительны для робототехники и почему. Ещё, наверное, я сделаю один тирлист для "инференса для камерах". Но это скорее через пару видео доберусь. https://youtu.be/cykGngPqzro (картинка с платами в первом комменте)

Что-то в последний месяц меня много народу спрашивали что надо сделать чтобы переехать в разные другие страны (доки, и.т.д.). Я подумал что надо на мой второй канал бахнуть на эту тему видео чтобы в будущем просто его присылать. Собственно краткий рассказ про базовый комплект доков которые лучше подготовить заранее (хейтеры скажут чтобы бы не делать, только бы ВПН не настраивать!) 😁. Так как опыта переезда в разные страны достаточно, возможно кому-нибудь поможет. Сам был очень благодарен что мне когда-то эти базовые вещи проговорили. Ну и да. Если вопросы есть - спрашивайте в треде, попробую ответить. https://youtu.be/r2wpX6Off_0 Нормальное видео выложу завтра + одну любопытную плату тестирую, надеюсь до отпуска что-нибудь ещё выложу.

Давно не рассказывал что с RemBrain. Четыре года назад мы хотели делать мозги для роботов. "Интегрируем мозг в ваш проект". Потом поняли что это не работает. Долго экспериментировали, но кажется нашли рабочую нишу. С осени уже три интеграции. Сборка медицинских девайсов, сборка электроники. Главное что поняли - надо делать решение на уровне "воткнул в розетку - работает". Стандартизация всего и все. Максимальное упрощение интерфейсов. А дальше поверх этого можно и классический CV втыкать и VLA и вообще без моделей работать. По сути железка - это средство доставки мозгов. Чуть подробнее можно почитать в one pager. Есть серьезное подозрение что в робототехнике это единственный подход. Как только появляется интегратор или посредник он сразу начинает думать "а зачем тут мне кто-то ещё, сейчас я сделаю все сам и заберу прибыль". И, естественно, все проваливает. Видео выше - демка с последней выставки.

Сначала хотел написать длинный и философский пост. А потом подумал что это и так ржака. Как вы думаете, куда это всё заведёт через пару лет?:) https://habr.com/ru/articles/914640/ - тут чувак воспринял галлюцинации сети за реальность и запустил большую статью…