Lost in Data

To Use or Not to Use Гамлетовский вопрос как никогда актуален в отношении работы с агентами. Я думаю у многих из нас работа за последний год (у кого-то ещё раньше) изменилась благодаря взаимодействию с агентами. Не просто окном с чатом, но именно агентами, которые способы при правильной постановке задачи выполнить её ОТ и ДО. Иногда мне попадаются видео от опытных разработчиков, которые уже успели бросить работу с агентами, чтобы не терять понимание кода и собственные навыки. Но не использовать эту волшебную палочку-выручалочку становится трудно, когда распробуешь всё её могущество. Я бы переформулировал вопрос так: как продолжить использовать агентов, но при этом не отупеть? Совсем не использовать агентов не получится — если задача легко и качественно решается агентом, то зачем её выполнять руками? Следовательно, высвободившийся свой ресурс надо куда-то перенаправлять. Например, делать больше задач, пробовать новые технологии, не бояться разгребать технический долг и проводить масштабный рефакторинг. И тут мы попадаем в ловушку современной цивилизации: ну кто нам мешает ходить до работы и магазина пешком, не переедать фастфуд с доставкой на дом, да хоть просто заниматься упражнениями дома (а сколько программ для тренировок на ютубе!) Главная ловушка агентов в том, что если мы продолжаем выполнять тот же объём работы с ними, что мы выполняли до них, то мы неизбежно тупеем, т.к. этот объём работы сделали уже не мы сами своей головой. К сожалению появляется соблазн не развиваться, а просто закрывать таски при помощи агентов, минимально напрягая извилины. Нам дали мощнейший инструмент с пока ещё копеечной ценой подписки, но для его правильного раскрытия нужна мощная дисциплина, когда высвободив собственный ресурс с одних задач, мы волевым усилием направляем свой ум на решение задач новых, ещё нерешенных. Например, продумываем новую архитектуру, которую ИИ нам воплотит в коде. Если не заниматься разработкой архитектуры, то в какой-то момент мы полностью потеряем контроль над происходящим и просто станем лишним звеном между заказчиком и агентом, никому ненужной промт-прокладкой, которую выкинут на обочину. Блин, пафосно вышло, но разве нужны были раньше крестьянам с их тяжелым физическим трудом фитнес-тренеры? Им также не были нужны психологи, бизнес-коучи и мотивационные спикеры. Сама необходимость выживать делала необходимость труда для них очевидной. С изобретением искусственных мозгов необходимость напрягать свои собственные становится постепенно неочевидной, поэтому и мне приходится об этом напоминать.

Есть компании, которые выпускают не "ещё одно мобильное приложение, которое вы обязаны поставить", а создают нечто действительно важное. С прошлого месяца я возглавил дата-инженерию в компании Третье Мнение, которая разрабатывает искусственный интеллект для врачей. Это тот самый случай, когда дата-инженер может участвовать в создании моделей машинного обучения, которые спасают жизни. Мне очень нравится возможность наконец-таки воплощать свои идеи, а также работать в сильной команде выпускников Физтеха и МГУ. Пока анонс на будущее: буду искать людей к себе в команду. Хотелось бы видеть человека с хорошими скиллами в разработке на Python и уверенного пользователя терминала Linux.

Продуктовое мышление Не знаю, как вы, а для меня продуктовое мышление вещь далёкая. Особенно в супермаркете трудно бывает найти нужную полку с определённым продуктом. Поэтому соболезную аналитикам, которых валят на собесах этим самым «продуктовым» мышлением. На самом деле не имею ничего против хороших продакт менеджеров, которые реально придумывают полезные фичи и тесно участвуют в процессе разработки, будучи связующим мостиком между инженерами и конечными пользователями.  Благо теперь я таких людей лично знаю, так что они для меня уже не единороги. Но сама концепция превращения всего в «продукт», который надо продать, меня несколько напрягает. Люблю понятные бизнесы типа нефтяной скважины или ларьков с шаурмой. Никому не надо обосновывать их необходимость. https://t.me/Vkatysh_s_nulya/212

Не хочу забывать любимый (не шучу) свой дата-инжиниринг. Почему классно быть ДЕ сегодня? Потому что у нас огромный выбор разных новых технологий и нейросети, чтобы быстро их освоить. Особенно мне нравится идея DuckDB — SQL движка без привязки к конкретной…

Мы с приятелем в НИИ программируем ИИ…Ну что это конец старой хайп парадигмы и переход в новую. Не все это еще поняли похоже. Прогрессия цены за последние три больших релиза Антропика 3-5-10. Наступает новая эра сразу в нескольких плоскостях. Во-первых, заканчивается…

Мы с приятелем в НИИ программируем ИИ…Ну что это конец старой хайп парадигмы и переход в новую. Не все это еще поняли похоже. Прогрессия цены за последние три больших релиза Антропика 3-5-10. Наступает новая эра сразу в нескольких плоскостях. Во-первых, заканчивается эра безудержных субсидий всего и вся это уже свершившийся факт. Как я уже писал не раз просто нет столько капитала, слишком большие суммы. Антропик это знает и не боится что его кто-то пере субсидирует тут сейчас уже больше и поэтому поднимает ценник на последнюю модель еще в два раза. Весь «большой ИИ» американский – это олигополия, как-то договорятся под ковром сбавить градус капексов и прочих расходов. Во-вторых, это официальное признание конца старой парадигмы и хайпа что всем дадут по своему карманному 24/7 Phd за 20 баксов в месяц. Модель будет другая – продвинутые тулзы будут для продвинутых людей за большие деньги. Дадут, но не всем, не за 20 и даже не за 2 тыс видимо, и не для всех юз кейсов. Еще более важно что это первая модель которая пытается ограничить свое использование для разработчиков конкурирующих продуктов и не только. Т.е. Антропик опять же признал конкретно что оупен сорс это проблема и надо с ней что-то делать иначе придется вечно работать в минус. Признал при этом с позиции силы, лидера индустрии, не боясь опять же конкурентов. Посмотрим чем ответят Китайцы (Мету в опен сорсе можно уже давно списать они переходят в закрытые модели). Это будет иметь очень большие последствия в итоге, но возможно постепенно будет переформатирование идти.

Моша шарит за DuckLake

Читаю, не поверите, про дата-инжиниринг, пишут, что в озере данных хранятся 🥁🥁🥁 сырые данные!

Не хочу забывать любимый (не шучу) свой дата-инжиниринг. Почему классно быть ДЕ сегодня? Потому что у нас огромный выбор разных новых технологий и нейросети, чтобы быстро их освоить. Особенно мне нравится идея DuckDB — SQL движка без привязки к конкретной…

Не хочу забывать любимый (не шучу) свой дата-инжиниринг. Почему классно быть ДЕ сегодня? Потому что у нас огромный выбор разных новых технологий и нейросети, чтобы быстро их освоить. Особенно мне нравится идея DuckDB — SQL движка без привязки к конкретной СУБД. Работай хоть с файлами, хоть с внешними базами данных. Ещё зимой я на каникулах баловался, строя свой Duck Lake на основе DuckDB+parquet для работы с данными биржевых торгов. Оказывается теперь DuckDB совместим с dbt и может быть использован для построения витрин данных. Другие предлагают использовать DuckDB для Extract-Load задачи выгрузки данных из одного источника в другой. А у вас есть опыт работы с DuckDB?

Fragile Tech Стриминг с цензурой или сохранённая дискография? Каршеринг/агрегатор такси или своя машина? Сенсорные органы управления или физические кнопки? Оплата картой/телефоном или наличные деньги? Наличные деньги или физическое золото? До самых упоротых техноэнтузиастов сейчас начинает доходить, что последние технологии за внешним удобством скрывают поразительную хрупкость. Стоит кому-то остаться без смартфона со связью, так он может не добраться до дома или оплатить продукты в магазине. Или не может закончить поездку на шеринге. Это не значит, что из-за новых технологий всё рухнет, хотя откат к ориентации по карте без GPS или необходимость подсчитывать мелочь на кассе для кого-то уже может быть болезненной. Если кому-то показалось, что мир в последние годы сошёл с ума, то я могу предложить своё объяснение. Желание максимизировать материальное изобилие и комфорт привело не только к доставке горячего кофе прямо в квартиру, но в первую очередь к возведению в абсолют рикардианского принципа сравнительного преимущества. Если одна страна концентрируется на ширпотребе, другая на хайтеке, третья на производстве еды, то суммарное благосостояние в мире растёт. Глобализация сделала всех нас богаче. Просто послушайте своих старших родственников, каким дефицитом были хорошие вещи лет 40 назад, а потом откройте первое попавшееся приложение маркетплейса. Но пандемия обнажила уязвимость глобализации через разрыв логистических цепочек, что видно сегодня на примере бедных стран Азии, где не на чем приготовить себе еду — это газ не доплыл из залива. И если смотреть на мир сквозь призму деглобализации и борьбы за безопасность против процветания, то мир может стать чуточку яснее.

как-то так

До меня дошли уже слухи из первых уст про готовящиеся сокращения в Т-Банке Забавно видеть, насколько цикличны истории найма и инвестиций в айти > > 2022 ААААА САНКЦИИ, НАМ ВСЕМ ЖОПА, ФРИЗ НА НАЙМ >> 2024 МЫ НАНЯЛИ ЕЩË 10К АЙТИШНИКОВ НА НУЖДЫ ИМПОРТЗАМЕЩЕНИЯ ЗОКИИ, А ТАКЖЕ ЗАКАЗАЛИ ИИ-СЕРВЕРОВ НА ПАРУ-ТРОЙКУ СОТЕН МЛН ДОЛЛАРОВ >> 2026 ЧËТ МЫ ПЕРЕГНУЛИ ПАЛКУ С НАЙМОМ, НАДО КАК-ТО ПОДСОКРАЩАТЬСЯ, АХ ДА КСТАТИ, НАШИ ИИ-СЕРВЕРА ПОМОГУТ ЗАМЕНИТЬ ЛОУ-ПЕРФОРМЕРОВ

Иногда приходит время переобуваться в полёте 👟 Я долго оставался ИИ-скептиком, но уровень работы новых агентов добил и меня. Что меня поразило? Агенты теперь умеют сами получать обратную связь от результатов своей работы, методом проб и ошибок доходить…

В перегруженном информационным шумом 2026 году совсем затерялась одна новость, которая, как мне кажется, стоит внимания. Вы помните, когда последний раз человек летал на Луну? Это было аж в далёком 1972 году, более полувека назад. С тех пор человечество не…

Стырю, пожалуй, эту цитату из Дюны

Попался провокационный пост про ведение тг-каналов. А я не совсем согласен. Всё таки формат телеграм-канала мне напоминает скорее дневники или мини-версию старых ЖЖ-блогов, где рефлексия автора ненаказуема. Интересно читать мысли живых людей, а не "потреблять контент" как блины с лопаты. Например, раньше я любил писать образовательные посты. Но около образовательного контента и так стало много. Никому камень в его огород кидать не хотел, но сколько я видел постов про принципы ACID для транзакций или про индексы в базах данных. Многие темы давно избиты, а некоторые не брезгуют именно что наворачивать контента с помощью нейросетей. Телеграм меняется, технологии меняются, времена меняются, меняются и авторы с их каналами.

У меня в личку спросили, а что это я подробных инструкций не дал. Ну зачем так сразу. Кстати, репозиторий на гитхабе интересный нашёл, можете почитать. Просто в образовательных целях.

Попалось в комментах соседнего канала, что некоторые пользователи в России сталкиваются с проблемами в работе телеграма. Хмм, интересно, а что случилось? 🤷‍♀️ Честно говоря, и сам толком не знаю, но могу сказать, что мой список базы для айтишника остаётся в силе. Каждый, кто в состоянии арендовать собственный сервер, подключиться к нему по SSH и запустить пару shell-скриптов или поднять docker контейнер, теперь может тоже забыть о новостях и жить спокойно свою жизнь.