• Dmitry Legchikov

Вчера поиграл по дворе в футбол с сыном и его друзьями из детского сада. Лег в 23:30. Ждите громкие релизы! ⚡

Вот ежедневный фитнес-график легенды компьютерных наук Джефа Дина (гения, который стоял за созданием TPU, Gemini, TensorFlow, MapReduce, Bigtable и пр.). Футбол - 2 игры в неделю, тренировка в зале - 2 раза в неделю, йога - 2 раза в неделю, бег на работу/с работы 3–4 раза в неделю (по 8 км в одну сторону), езда на велосипеде на работу/с работы 3–4 раза в неделю (по 8 км в одну сторону), забег или велозаезд на более длинную дистанцию на выходных. 7 часов сна: 23:30-6:30. Спорт увеличивает пропускную способность. Длительное отсутствие спорта часто приводит к апатии, унынию, малодушию.

Лекс записал эпизод с Хабибом

А сколько найдете вы? ;)

Короче rage bait пост. Про бизнес, предпринимателей, венчур и «взрослую индустрию tech». TLDR: венчуру в его текущем виде конец, будут только большие раунды, предприниматели прошлого цикла (а-ля инстаграм кофаундеры) потеряли свою ценность, их опыт не нужен. А теперь по порядку. Мы находимся у порога технологического цикла. Входного порога конечно. AI такая штука которая срезает все «среднее», «ну такое» и прочее ниже этого по качеству. Технология меняет местами в приоритете две важных вещи. Возможность сделать и возможность проверить. Раньше самым большим порогом входа было: собрать команду, найти денег чтобы им платить, мотивировать и так далее. Поток людей в индустрию рос. Было много гипотез, но чтобы их проверить нужно было время и ресурсы. Гипотезы были очень простые. О давай продавать это или отмечать фотки на карте, отмечать клиентов в табличке и трекать прогресс. Все было открыто (интернет меньше регулировался). Поэтому предприниматели славились своими софт скилами. Не так важно было знать проблему и ее решать, важно было найти людей и итерировать. Это ценилось превыше всего. Сегодня я вижу картинку по-другому. Порог до проверки гипотезы упал до нельзя. Простые вещи проверить можно на коленке. Посмотрите на вайбкодинг подделки. И тут оказалось, что решение проблемы в RL стоит сотни миллионов, а твой новый SaaS две выручки дай бог. И для меня поменялось местами следующее. Раньше важно найти с кем и засетапить. Теперь важно очень точно понимать что делать, и желательно формулировать конкретно. И это пресловутое знание в век AI компаний оказалось очень техническим и очень сложным. Залетели первые компании типа perplexity & Harvey. А дальше читая описание компаний поднимающих 200м сразу даже не понятно. И это не потому что они делают чушь (клоуны ахахах), а потому что не понимаешь в чем вообще суть проблемы ими решаемой. Следом за кризисом у предпринимателей будет кризис аллокации капитала. Ведь теперь нужно разбираться «на что» давать бабки, а не кому давать бабки. Что очень ломает мир инвесторов. И софт скилы отходят на второй план, ведь собрать команду под четкую проблему и зная что внутри легче, чем под «Тиндер для собак». А значит нужны инвесторы которые шарят. А таких будет мало, ибо им легче сделать свою компанию. Все эти вещи можно заметить уже сейчас: топ рисерч челы уходят из гугла, в инвест фондах меняются лица, потому что прошлые лидеры просто не понимают что происходит. Тупо банально не вдупляют в смысл происходящего. Такая стадия во многих индустриях. Там где венчура то и нет. Где стало сильно меньше высокорисковых идей с потенциалом. Потому что идеи стали сложные слишком. Это нас ждет и в tech. И да я бы не инвестировал бабки в трек рекорд прошлых лет, а лучше бы студентам норм профессора по ml закинул. Такие дела. Вторую часть может тоже напишу. Но предрекаю огромное количество «великих предпринимателей» у которыхт в эпоху AI ничего не выйдет. Совсем.

Есть такие книги, мнение о которых радикально меняется за последние 10-20 страниц. Читаешь первые 50 страниц - ничего интересного. Продолжаешь в надежде, что дальше будет интереснее. Потом еще 100, 200. А потом уже бросать жалко. Проблема в том, что книг слишком много и дочитывая скучные книги до конца ты не оставляешь времени для нужных. Но как их найти? Полагаться на отзывы бывает трудно, у разных людей разные интересы. То что в отзывах восхваляют одни для других никакого интереса не представляет. Вот сейчас дочитал Сартра «Возраст зрелости». 315 страниц. Если бы не имя автора, то бросил бы после 50 страниц. Но мне нравятся идеи Сартра и другие книги - только из-за этого дал шанс и дочитал. Последние 50 страниц оказались очень интересными. Вся картинка сложилась после того как посмотрел видео про экзистенциализм Сартра и обсудил с LLM. Оказалось в книге раскрывается очень мощная идея. Объясню простыми словами. Люди не хотят принимать трудные решения: - не буду жениться, вдруг найду получше; - не буду искать работу, вдруг новая будет хуже; - не буду делать стартап, идея не слишком хорошая; Они думают, что пока они не сделали свой выбор, они остаются свободными. Со временем соблазн откладывать сложные решения только растет. Но они не понимают, что просто выбрали не выбирать. В какой-то момент человек осознает: Невозможно прожить жизнь, сохранив все потенциальные версии себя Ты имеешь все шансы прожить тысячи разных жизней. В конце концов, умирая, оказывается, ты прожил только одну. Каждым своим выбором ты убиваешь десятки других возможных жизней. Когда человек признает: Я не тот, кем мог бы быть. Я тот, кем себя сделал своими выборам В этот момент и наступает возраст зрелости. Для меня эта идея неплохо объясняет суть прокрастинации (могут быть и другие причины). Постоянно откладываешь дела из страха, что принятое решение сейчас отрежет тебя от других возможностей в будущем. Хочется сохранить свободу выбора за собой. Полезным может оказаться вопрос самому себе: Что если постоянное желание сохранить свободу выбора на самом деле мешает тебе сделать что-то большое?

За последнюю неделю встретил несколько запросов от топ менеджеров разных компаний на менторинг по Claude Code. Не курсы и лекции, а именно человек который сядет рядом и поможет вместе разобраться на конкретном проекте. Кто-нибудь занимался таким менторингом или есть желание попробовать?

В сети уже шутят над слайдами из дека с достижениями команды «А им нужен питч дек» «Мы те, кто создали интернет» «Будут ли VC спрашивать почему эта команда лучшая для работы над стартапом» Но список достижений действительно внушительный - посмотрите сами

Jeff Dean спустя 27 лет работы покидает Google. Наверное один из самых влиятельный и плодотворных инженеров в мире. За его плечам такие технологии как MapReduce, Bigtable, Protobuf. Далее со основал Google Brain и был главным идейным вдохновителем и архитектором Tensorflow. В последнее время руководил исследованиями ИИ и разработкой Gemini. Jeff ушел делать свой стартап - Discovery Loop. Ушел не один, прихватил нескольких давних коллег из Google (по его словам проработал с ними от 14 до 30). Стартап будет заниматься ИИ для автоматизации исследований для ученых и инженеров. Амбициозно, технологично. Но привлекло меня не это, а фотография фаундеров. Очень необычно видеть такую солидную команду основателей. Прямо противоположность командам из YC, где уже чуть не со школы делаю стартапы. Поделаем ветеранам удачи!

MoonshotAI запустили AI native credit card. Тратишь деньги - получаешь токены кэшбеком. В добавок получаешь расширенные лимиты на Kimi Code. Пока доступна только в Китае. А вы до сих пор получаете ягодки и мили? ;)

Две крутые находки от команды Interconnect, которые помогут мониторить open source модели. The Artifacts Hub — навигатор по Hugging Face. Обзор 792 ключевые модели, выпущенные за последние 2 года. AI index, популярность инференса на openrouter, сравнение моделей друг с другом. Adoption Dashboard — Интерактивная карта скачиваний по странам и организациям. Наглядный способ увидеть разрыв между США и Китаем. Кто из новых игроков набирает вес в открытой экосистеме. Из интересного - можно увидеть на сколько месяцев открытая модель отстает от закрытой frontier модели. Например, у Kimi K3 отставание от Fable всего 1.2 месяца. А у Inkling уже 7.7 месяцев

В 2020 году Giambattista Parascandolo, который сейчас руководит разработкой reasoning моделей в OpenAI, приехал в MIT на собеседование на должность профессора. Вся его презентация была посвящена reasoning моделям. Но большинство профессоров из комиссии лишь посмеялись над этой идеей и сочли ее полной ерундой… По крайней мере, так он написал в биографии на своем сайте ;)

В соцсетях заметил мем про меритократию (когда человека оценивают по знаниям и способностям, а не по статусу и богатству) в Сан-Франциско. Мол в СФ оценивают всех как равно только если ты ex. Harvard, ex. MIT, ex. Anthropic, ex. OpenAI. В саммари обсуждения от Grok увидел идеому - Potemkin Village. Пошел искать значение. Потёмкинские деревни Potemkin village) — идиома, означающая показной фасад, построенный, чтобы скрыть неприглядную реальность. Про происхождение Григорий Потемкин наместник южных земель, якобы возводил вдоль маршрута следования императрицы Екатерины бутафорские деревни. Например, раскрашенные щиты вместо изб. Хотя историки считают эту версию сильным преувеличением Оказалось, что в ML литературе есть близкий аналог - Potemkin understanding. Это когда модель правильно формулирует концепцию на данных из бенчмарка, но в реальной жизни описанный концепт применять не умеет. В статье Potemkin Understanding in Large Language Models приводится пример про рифмование. Модель спрашивают: «Что такое ABAB?». Модель безошибочно отвечает, что рифмуются 1-я с 3-й и 2-я с 4-й строками. Точность на таких вопросах у топовых моделей была порядка 94%. Затем той же модели дают четверостишие с пропущенным последним словом и просят вставить слово так, чтобы получилась ABAB. Модель подставляет слово, которое не рифмуется. То есть определение воспроизводится, а операция с ним не выполняется

Во времена универа, помню, готовишься к экзамену, а потом незаметно читаешь биографию Геделя или NP полноту. А экзамен по химии… Наблюдаю похожую ситуацию с LLM. Начинаешь делать задачу и из-за простого доступа к любой информации скатываешься в ненужные детали, оптимизации, перфекционизм. У вас наверняка такое бывает тоже. В такие моменты задаю себе два вопроса: Первый: я сейчас реально решают какую-то проблему или маскирую любопытство под бурную деятельность? 90% второе и переключаешься к реальной задаче Иногда любопытство связанно с задачей и даже косвенно помогает с поиском решения. Тогда задаю второй: если продолжу углубляться и потрачу еще час, это действительно наилучшее применение моего времени и сил? Оно окупится? Часто ответ оказывается нет и возвращаешься к задаче Если у вас есть свои способы, борьбы с LLM-прокрастинацией - делитесь в комментариях

Как я вывел для себя новый принцип - Знать нужно ровно столько, чтобы тебя нельзя было обмануть Три вечера делал домашку из CS336. В задании уже есть описанный AGENTS.md который запрещает агенту писать код и сразу выдавать решение. Только подсказки и наставление. Спустя три вечера доделал задание и решил сделать финальное ревью на соответствие требованиям из задания. После нескольких минут раздумий Claude Code выдает - очень извиняюсь, но я пропустил несколько условий из задания, поэтому мы сделали совсем неверным способом. Надо начать сначала и все переделать. Еще раз убедился - умение валидировать работу ИИ агента must have. Что ты не можешь проверить, того ты не знаешь. После этого задался вопросом - а как понять сколько знаний необходимо по какой то теме? Ответ пришел сам. Знать нужно ровно столько, чтобы тебя нельзя было обмануть.

Еще MoonshotAIвыложили свою библиотеку MoonEP - для Expert Parallelism. Вдохновлялись DeepEP от DeepSeek, AcclEP от Alibaba, UltraEP (не понял от какой компании, но авторы из китайских университетов, техрепорт еще). Почему обратил внимание? Сейчас дорешиваю вторую домашку из CS336 - пишу распределенное обучение на многих GPU. Понял, что теперь могу спокойно читать такие статьи и даже понимать. Раньше казалась темным лесом эта область

Сегодня выложили веса и технический репорт модели Kimi K3 - самой большой открытой модели. Kimi K3 в 22580 (!) раз больше, чем GPT-2, которая вышла в 2019 году. В твиттере парень решил проследить эволюцию от GPT-2 до Kimi K3. Получилась очень классная статья с примерами кода. Linear Attention Delta Net Gated Delta Net Kimi Linear AttnRes Эти и другие приемы поясняются в статье. По словам автора, на все ушло 48 часов, кофе и 40 банок газировки

Случайно нашел Leetcode для GPU Около 60 задач: начиная от умножения двух векторов до реализации Attention и целых слоев. Почти все задачи являются компонентами нейросетей. Некоторые только недавно встречал в статьях. Например реализация Top K Selection попадалась в Minimax Sparse Attention. Тут у нее стоит уровень hard. Доступны разные языка: PyTorch, Triton, Jax или чистая CUDA. Недавно доделывал домашку по CS336 - писал FlashAttention на Triton. Потратил недели две и наверное без помощи LLM сам бы до конца не дошел. Зато понял почему GPU разработчики получают заоблачные зарплаты 😊