Дата канальи

Офлайн-встреча о работе с данными  Приглашаем на встречу «Практики управления данными в действии» 18 августа в 17:00. Поговорим о том, как данные становятся двигателем решений. Обсудим агентный подход к доставке данных, безопасное управление ИИ, а также трансформацию ролей в эпоху интеллектуальных дата-систем. Кто вас ждет: ➡️ Яковлева Екатерина, руководитель центра компетенций управления данными MWS— «ИИ в DataGov: новые вызовы и что с ними делать» ➡️ Гаврилов Дмитрий, руководитель центра компетенции аналитики MWS — «Скиллы для DA» ➡️ Николаев Алексей, руководитель центра компетенции дата-инжиниринга MWS — «Агентизация дата-деливери процесса» ➡️ Вихров Андрей, руководитель направления, группа развития методологии работы с данными, MWS — «Как AI ready метаслой раскрывает потенциал данных» Количество офлайн-мест ограничено. Регистрируйтесь по ссылке. А также можете следить онлайн. #TrueTechEvents@truetechcommunity

Пока я в отпуске коллеги решили митап провести — для таких ролей: Дата-аналитики, дата-стюарды, дата-инженеры так что у кого свободный вечер понедельника — стоит сходить, имхо

#оффтоп Как-то ко мне пришел свежеповышенный лид и спросил советов "как управялть проектами". Удивительный вопрос — о чем я незамедлительно ему и сказал — ведь он же как-то летает в отпуск, где-то ночует и кушает, денег и эмоций хватает, потом успешно возвращается (однажды правда вернулся женатым чем всех и удивил) — чем не проект с бюджетом, сроками и зависимостями. Только сказал — и вспомнил про другого, который остался в разгар своего отпуска где-то на краю света (намеренно не рскрываю страны, у парня масса других замечательных качеств, не будем расстраивать) без денег и его кто-то из общих знакомых с соседнего города ездил выручать. Вот и в проектах у него все печально. Продолжаю наблюдения, мб нелишним окажется спрашивать на собеседованиях как вы запланировали сложный отпуск? PS А на картинке цель моего отпуска — это я готовлю вас к тому что пару недель постов будет поменьше 😃

На конференциях только и разговоров, что об агентах. Вообще, я бы назвал это harness'ами. Они могут приносить кучу пользы, и их огромное количество: Claude Code, Codex, pi, Hermes, OpenClaw, Cursor, Muse Code... Хорошая новость в том, что под капотом +- одни и те же механизимы, и если в них разобраться, почти не важно, какой harness у вас под рукой. Поэтому проведу в понедельник, 10 августа в 18:30 открытый вебинар «Агенты без магии». Разберём: * как правильно ставить задачи агенту * что такое скиллы, MCP и зачем они нужны * в чем разница с пайплайнами, и почему для повторяемых задач они лучше подходят (например, n8n) И с теорией, и с примерами. Свои подписки не требуются (но точно не будут лишними :) ) Участие, как и в предыдущий раз, свободное. Но нужно будет заполнить формочку (чтобы я знал, сколько вас будет). А если есть вопросы или кейсы, которые хочется разобрать – пишите в комментарии. А для тех, кто хочет глубоко погрузиться в ИИ и стать магистром AI ☕️ – у нас целая программа в МФТИ есть, с которой успешно выпустилось пять потоков. Онлайн, на английском, совместимо с работой, в небольшой группе. Подача документов через Госуслуги до 11 августа, вам достаточно оставить заявку, дальше мы проведем по шагам. Присоединяйтесь! P.s. Долго думал, какие аналогии провести, получилось вот такое: Claude Code – для храбрых Codex – для спокойных Goose – для желающих пропатчить KDE2 под FreeBSD Hermes – для отаку pi – 🐭

Кто оценил лекции Радослава на youtube, тот тем паче оценит возможность подключиться на семинар по агентам онлайн Мы с Максом мб тоже подключимся — грех не позаимствовать у коллеги идеи по подаче для курса по агентам, который ведем на ВШПИ МФТИ и ФКН ВШЭ 🤫

📉МЛ, который тихо вредит бизнесу Давно не было постов — надо исправляться. Начну с истории, которая повторилась у меня уже в 3 компаниях) После одного из реоргов моей команде в наследство досталась куча ML-проектов — один из них price recommender (модель, рекомендующая среднюю «правильную» цену за ночь при регистрации апартаментов для их сдачи). Всё считалось рабочим, трогать не предполагалось. Но оказалось — мл-модель должным образом не обновлялась больше года, и никто за это время не перемерял её эффект на ключевую метрику. 📐Что сделали - построили распределения цены, спроса, от времени, и заметили подозрительную корреляцию между тем, как применяется/меняется цена, и целевой метрикой. Чтобы проверить более чисто, собрали offline-симуляцию и после запустили пару blackout экспериментов — выключили фичу для контрольной группы и в другой группе построили простой бейзлайн. Что вышло. МЛ-модель оказалась не нейтральной, а сильно негативной.📉 «Умная» мл-модель тихо делала хуже, чем её отсутствие. Мы её выключили — и, по словам комитета DS-ов, такого сильного движения в A/B давно не было ) Это и был импакт, без единой новой строчки кода.😀 Забавно, что в предыдущей и в следующей компании были очень похожие истории. Правда в последней —рекомендательная система прожила в проде всего 3–4 месяца с негативным эффектом. Но там дело было в другом: постоянно «менялись» инженеры-владельцы, и мониторинг постоянно перенастраивался. 🚀 Мораль: иногда самый большой импакт от унаследованного устоявшегося ML-решения в компании приносит кнопка «выключить это МЛ решение», построить честный baseline и уже от него отталкиваться к чему-то сложному, ну и настривать весь мл-опс пайплайн, устойчивым к изменениям)

Всегда гадал как люди так смело выходят на менеджеров в бигтехи — реально страшно же комититься на рост выручки / прибыли там где до тебя годами куча умных людей уже пробовали все что только можно — самые сложные модели, самые хитрые фичи, все уже засунули в пайплайны и автоматизировали — модели постоянно переобучаются и деплоятся, сильнейшие инженеры за ними следят — ведь успехи там хорошо монетизируются. Гадал ровно до тех пор пока друг не поделился своей каналья-историей — правда он в своем канале больше фокусируется на позитиве и полезном, вот и история вышла позитивная и полезная

утро началось с significant increase, а у вас? 😃

Lakehouse для аналитиков и инженеров данных Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.  В программе курса: • Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino.  • Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой.  • Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов. • Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем.  • Построение пайплайнов, инструменты  для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия.  Кто мы: R&D-центр Devhands, наш канал. Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо 🗓 Старт курса: 27 августа Изучить программу и записаться можно здесь. Ждём вас! Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8

А вот и фоточки с конференции подъехали! Спасибо оргам 😍 и фотографу Андрею за классные кадры и оперативность в их выкладке!

В опросе между пятницей и субботой победило воскресенье 😅 Теперь все готово и смело могу пригласить вас снова к нам в гости! Мы в МТС True Tech совместно с ВТБ второго августа организуем масштабное мероприятие в Москве для DS-сообщества «Урбан ML». 17 докладов…

#кейсы #корпжиза #ML 1. Как спасал команду от тельняшек в расписаниях 2. Желание — тысяча возможностей, а нежелание — тысяча причин 3. Как обкузьмить кого угодно — наука от топов 4. Как я на двух стульях сидел 5. Только ML-магия способно донести очевидное до топов 6. Как без ФЛК слить кучу денег 7. Сторителлинг бьет метрики 8. Успешный годовой отчет топу 9. Как до меня дошла важность софтов и причем здесь спасение утопающих 10. Цитаты с обыкновенной такой встречи с канальями 11. Машина Руба Голдберга и как появился канал 12. Кто считает тот и прав 13. Мысли про планктон и LLM с форума 14. Вчера посадили, сегодня выкопали — очень кушать хочется 1 15. Вчера посадили, сегодня выкопали — очень кушать хочется 2 16. Пример карьерного роста в ML как на дрожжах 17. Разоблачение элиты промпт-инженеров 18. Почему учебные программы в региональных вузах часто коричневые и пахнут 19. Сколько шагов в процессе «легкий старт»? 20. Доклад наверх 21. Наняли за бесконфликтность — уволили за бесхребетность 22. 7-9 собеседований и постоянные лейоффы — о, чудо, не ведут к фокусу на хорошем продукте 23. Незабываемый бонус инженерам Yahoo! 24. Раз в год и палка стреляет 25. Особая отечественная форма BDSM-менеджмента 26. Цыплят по осени считают, а карма — есть 27. Рабочий прием столетней давности 28. Бывает ли что-то хуже Яндекс Клауда? 29. Проверка DS на вшивость от опытного топа 30. Стратегия мышки и почему она работает 31. Как выбирают кого хвалить 32. Палим фродстершу 33. Гладко было на бумаге да забыли про овраги 34. Меня зовут не Негоро! 35. Английский VP по Data который не смог в геймдев 36. Агрессивный карлик на DataDay 37. Два петуха на жердочке и разбор обратной связи 38. Почему этот ваш ML не нужен и на чем вообще зарабатыввает бизнес 39. Мастер-класс по адекватному отношению к HR 40. Про повышения зп 41. Про собеседования 42. Команда вывела на чистую воду залетного лида 43. HR — лицо компании и причем здесь рыбалка 44. Кандидат на самый ебанутый вопрос от HR 45. В наши ряды заселаись луддиты 46. Стартапы про ценообразование часто убыточны — и причем здесь Лукашенко 47. Корпорации управляют чем угодно, только не ML — разберем популярный фреймворк модного банка 48. Реальные KPI для DS

В опросе между пятницей и субботой победило воскресенье 😅 Теперь все готово и смело могу пригласить вас снова к нам в гости! Мы в МТС True Tech совместно с ВТБ второго августа организуем масштабное мероприятие в Москве для DS-сообщества «Урбан ML». 17 докладов…

Обещанный позавчера пост с кейсами разделил надвое — чуть больше ML и чуть больше корп шизы #кейсы #ML 1. Фродстеру на заметку 2. Чем заменить соц дем 3. «Синьор» и бустинг 4. Классический кейс обсиратушки с каунтами 5. Как уволить валидатора-идиота 6. Финалист конкурса ужасных фичей: децили 7. ID как фича — случай с поликлиниками 8. Когда за дело берутся аналитики то данных три года ждать 9. Косяк, который был у каждого синьора, но он о нем молчит 10. Джун наэкономил байтов 11. Когда DevOps подложил свинью 12. Забыл половину трейда и выиграл сорву 13. Самое дешевое внедрение модели 14. Как объегорить каналью с MAPE 15. История от Влада 1 16. Как потеряли половину трейна и вместе с ней 1000+ человека-часов 17. Как ML-шантажист пошел в жопу 18. История от Влада 2 19. Как с меня требовали внедрить то что сделали канальи 20. Чемпион конкурса педантов 21. Как делать модели в недвижке 22. Как я свою годовую зп за 2 дня отбил 23. Любимая рубрика про названия компаний 1 24. Как каналья модель отключила 25. Кому сложно с ЦПТ и бустрапом — тому в геофизики, там научат 26. Ловим накрутчика 27. У фей не бывает затруднений 28. Почему DS должен уметь в арифметику с плавающей точкой 29. Как найти ошибку в статье великих и наделать своих 30. Тимлид самоучка экспертует в ML 31. Редчайший кейс прямого фин эффекта от аналитиков 32. Когда каналья проектирует схему данных 33. Разумные применения кластеризации 34. Любимая рубрика с названиями компаний 2 35. Как я слил все бабло на LLM даже без агентов 36. Чемпион в конкурсе худшего графика — прямиком от ... 37. Здравый смысл — плохой советчик, A/B и Ходжа Насретдин 38. HitlerGPT 39. Канадская загадка 40. Канадская разгадка 41. Кейс-менеджмент как средство заткнуть безов 42. Как безы данные безопасили — или дураку хэш-функция на 5 минут 43. Гороскопы в ML: как тест фичи на знак зодиака привел к радикальному снижению фрода в банке 44. Очередная встреча с канальей, прямая речь 45. Дизайнер — друг DS или враг? 46. Разоблачение платформы голосовых агентов 47. Все же она вертится! 48. Как нахлобучить «независимый» измеритель рекламы 49. Bias имени Ивана Ивановича 50. Стрижка только начата — или немного про ценообразование 51. Фича, про которую забывают (очень зря) 52. Про отток

Про признак «у пользователя день рождения» в ML В этом году на день рождения (он был уже давно, сейчас просто вспомнил историю) я получил очень много поздравлений, и что-то меня побудило всем поздравившим ответить в тот же день. В итоге больше половины моих ответов телеграм удалил, решив, что я спамер. Даже были прецеденты, когда мы с человеком попереписывались, а на следующий день его реплики есть, а мои все потерли. В этом нашелся и позитивный момент, я до сих пор случайно нахожу диалоги с поздравлениями и снова радуюсь им, но конечно основное, что меня позабавило, это что в классификаторе спама либо нет признака «у пользователя ДР», либо он не работает. И это, кстати, частый недостаток ML моделей в B2C сервисах. Например, в одной компании, где я работал, два моих коллеги мужского пола постоянно определялись внутренним классификатором пола как женщины, а один из них на этот счет даже неплохо плевался желчью. Причина тому была очень простой: у них день рождения 8 марта, и они получают аномально высокое для мужчины количество звонков в этот день. Среди тысяч сотрудников оказалось достаточно мужчин, родившихся 8 марта, чтобы баг исправился сам собой, когда для модели сделали нормальные признаки. Общий же рецепт довольно простой: при разработке модели хорошо бы подумать, почему она может ошибаться на каких-то примерах, и что сделать, чтобы не ошибалась. Как правило первые ответы на этот вопрос будут касаться наличия и актуальности нужных признаков, корректности собранного таргета, баланса классов и в целом репрезентативности выборки.