online ergo sum
Статистикарассказываю и показываю всё, что мне интересно: аналитика, геоинформатика, урбанистика, управление продуктом, нейросети автор: @akolomatskiy
- Последний пост
- 9 авг.
- Последнее чтение
- 07:49
- Постов за неделю
- 0
- Всего постов
- 20
- Тип
- открытый
- Язык
- русский
- Категория
- Технологии
- В каталоге с
- 13 авг.
- 1/24сутки в ленте
- 204
- 1/48двое суток
- 233
- 1/72трое суток
- 252
Оценка по просмотрам недавних постов: пост набирает почти всё за первые сутки.
Посты
без подписи
без подписи
без подписи
без подписи
Первая из таких работ — Антология российского метрополитена. По правде говоря, началось всё буквально с идеи одного графика: я подумал, что было бы классно сделать диаграмму глубин станций петербургского метро. А потом — почему бы не сделать такую диаграмму для всех российских городов. А потом — почему бы не соединить все линии метро всех городов в одну линию, чтобы показать такого единого метро-червяка... В итоге шаг за шагом отдельные визуализации стали собираться в единую картину, единую Антологию. Делал по кусочкам, в свободное время. Что-то оказалось неожиданно простым. Что-то бесило сильнее, чем хотелось бы (по большей части — московское метро). Тем не менее, я постарался собрать в одном месте множество различных показателей и инсайтов относительно метро в России — насколько большое метро в Москве, насколько глубокое и уникальное метро в Петербурге, как по-разному звучит метро в разных городах, как часто станции меняли своё название (пожалуй, самый неожиданный инсайт для меня). А в конце ещё вспомнил вопросы, которые обычно задавал себе каждый день, спускаясь под землю, и добавил блок с частыми вопросами о метро. Ну и вишенка на торте — мини-игра на знание российского метрополитена. В общем, получился довольно большой просветительско-развлекательный проект, который мне очень нравится. Собственно, ссылка на проект: Антология российского метрополитена Буду рад за вашу поддержку и честную обратную связь (а также лайки и репосты, конечно!)
Мне всегда нравится смотреть на интересные датавиз-проекты других авторов. В частности, отмечу тут легендарные The Size of Life (Neal Agarwal), Космонавты (ТАСС) и многие работы The Pudding (например: kids books animals, women's sizing). При этом я сам делаю не так много визуализаций. Хотя уже довольно давно я думал о том, чтобы делать собственные датавиз-проекты. Даже брал курс у Алексея Смагина, который, впрочем, так и не закончил. И в какой-то момент на меня нашло наконец вдохновение (ну или начали действовать антидепрессанты), и я начал генерировать в своём Obsidian множество идей, которые мне было бы интересно реализовать. Так и родилась идея очередного сайд-проекта: собирать интерактивные истории по разным интересным для меня темам. Не без помощи своего любимого Cursor, конечно.
без подписи
ДЖЕРРИМЕНДЕРИНГ Недавно на работе зашёл на официальный сайт города Новосибирска и на меня прям нахлынули воспоминания из моего политологического прошлого. Решил тут с вами поделиться. Карта избирательных округов Новосибирска выглядит как очень странное лоскутное одеяло, что явно говорит о том, что их границы рисовали чуть ли не подстраиваясь под каждого отдельного избирателя. Такой механизм как раз и называется джерримендеринг — политическая технология, когда границы избирательных округов перекраивают особым образом, чтобы обеспечить победу конкретной партии или кандидату. Благодаря такой манипуляции можно заранее "распылить" голоса конкурентов по разным округам, чтобы оставить их в меньшинстве, или же, наоборот, "объединить" голоса лояльной аудитории в одном округе. Собственно, главная проблема джерримендеринга заключается в том, что он нарушает базовый принцип демократии. Вместо справедливого распределения избирателей с учётом пропорционального сохранения состава общества, границы округов искусственно подбираются под заранее определённый результат.
Эпоха дешевой техники заканчивается. За последний год, оперативная память подорожала в 2,5 раза. В Германии — в 4 раза! В базовых смартфонах, оперативки составляла 5% стоимости материалов, теперь — 50%. Маржа у простой техники и раньше была в единицах процентов, так что смартфон, который раньше стоит 50$, теперь продается за 120$. Многие люди не могут позволить себе такую покупку. Главный производитель телефонов для Африки Transsion, потерял половину выручки, Oppo и Xiaomi отгрузили на 20% телефонов меньше. Скоро повышение цен почувствуем и мы с вами. Последний флагман Samsung уже поставили с меньшим объемом оперативки, чем планировали; Apple отложил начало продаж новых айфонов и маков. ❧ Почему дорожает оперативка? ИИ-гиганты скупают специальную высокопроизводительную HBM (Hight-Bandwidth Memory) память за любые деньги. Производство каждого гигабайта такой памяти убирает с рынка 3 гигабайта обычной оперативки. Почему бы производителям памяти просто не расширить производство? Все компании, которые растили производство чипов памяти, реагируя на «горячий рынок» — обанкротились. И теперь у оставшихся игроков «эволюционная память», что лучше иметь недостаток чипов памяти (и пусть их кому-то не хватит), чем инвестировать лишнего. Построить один такой завод стоит 20 миллиардов долларов. ❦ Горячо рекомендую первоисточник, такой рассказ про оперативку, её историю и индустриальные инсайды о текущих сделках (раньше Apple имела многолетние фиксы, которые недавно истекли, и теперь заводы фиксируют стоимость максимум на квартал, а руководители компаний переезжают в Корею на ПМЖ, чтобы лучше лоббировать поставки), что просто не оторваться. ※ То, что современные сайты сжирают гигабайты (!) оперативной памяти — отдельный разговор, к которому мы пока не готовы…
Дата-журналистика от Генпрокуратуры По запросу РБК ведомство выкатило статистику, описывающую типичного российского коррупционера. Он не похож на «обычного» преступника. Образованный и трезвый. Высшее образование — у 87% взяточников (против 13,5% среди всех осуждённых в стране). Пятая часть преступников в России нарушает закон в состоянии опьянения — среди коррупционеров пьяных около 1%. Это холодный расчёт, а не импульс. Не попадается дважды. Больше половины всех российских преступников уже совершали преступления (53,2%) — среди коррупционеров таких 14,6%, а среди взяткополучателей — 7,2%. Либо их плохо ловят, либо после первого приговора карьера заканчивается. Становится всё моложе. Число коррупционеров 18–24 лет за 8 лет выросло на 84,6%. Учащихся и студентов среди взяткодателей стало почти в шесть раз больше: с 60 человек в 2018 году до 352 в 2025-м. Коррупция в погонах стягивается к полиции. В 2025 году 67% силовиков, пойманных на коррупции, — полицейские (в 2018-м — 58%). Если сузить до взяточничества, их доля ещё выше — 75%. При этом сами силовики стали реже мелькать в делах о взятках: 34,5% от всех осуждённых за взяточничество против 46,7% в 2018-м. Силовая коррупция в целом сжимается, но то, что остаётся, концентрируется в полиции. Читать полностью
без подписи
без подписи
без подписи
Когда я работал в сфере транспортного консалтинга, меня всегда расстраивало, что мы в основном оперировали прогнозами, которые сложно оценить. А прогнозы, в свою очередь, подразумевают допущения. Допускаем, что эти дома будут построены к такому-то году и в них будет жить столько-то людей. Допускаем, что те или иные государственные проекты будут реализованы. Допускаем, что динамика количества личных автомобилей и уровень автомобилепользования будут соответствовать тренду. Получается, результат твоей работы — это текущая ситуация плюс множество "ЕСЛИ, ТО". Тем не менее, я вспомнил об этом не просто так. На днях увидел новость о пассажиропотоке на одном из новых трамвайных маршрутов, по которому я закрывал значительную часть работы по моделированию (название, к сожалению, не могу назвать из-за NDA). Оказалось, что прогноз сошёлся с реальностью с точностью 95%. При этом расчёт был сделан ещё в 2020-2021 годах, то есть в то время, когда мы все жили в совершенно другом мире. Честно говоря, эта новость сильно воодушевила меня, даже несмотря на то, что в той компании и даже в той сфере я уже не работаю больше двух лет. Приятно осознавать, что ты оказался прав. Вообще я часто вспоминаю, как один из наших заказчиков однажды сказал: "Сложно делать прогноз на пару лет, потому что его можно будет проверить и за него придётся отвечать. Зато легко делать прогнозы на 20-30 лет: в отдалённом будущем о твоих оценках никто не вспомнит". К счастью или к сожалению, но это суровая правда консалтинга.
Ранее я писал о сервисе Cocoon (Confidential Compute Open Network), который используется в ИИ-функциях Telegram — для создания саммари и редактирования текста. Мы вместе с ChatGPT разобрались, что это такое, и теперь делюсь информацией с вами. Если упростить, то вот как обычно работают стандартные LLM: 1. Пользователь пишет запрос. 2. Запрос уходит на серверы условного OpenAI, DeepSeek или Anthropic, где работает конкретная языковая модель (ChatGPT 4o, DeepSeek v3, Claude Opus и т. д.). 3. После выполнения запроса пользователю возвращается ответ с результатом. Соответственно, всё происходит централизованно: данные проходят через один сервис, и у разработчика есть вся информация обо всех запросах. С Cocoon всё работает иначе. Здесь запрос не уходит в какой-то один дата-центр, а попадает в распределённую сеть: 1. Пользователь вызывает триггер (например, «Сделать саммари текста»). 2. Telegram, как клиент, формирует запрос: получает текст, добавляет свой системный промпт, выбирает модель из доступного списка, и отправляет всё это в Cocoon. 3. В рамках Cocoon некий прокси, выступающий в роли диспетчера, принимает запрос и самостоятельно выбирает подходящую машину для его выполнения. При этом прокси видит только метаданные: тип задачи (summary/edit), какая именно модель нужна, размер запроса, но не видит сам запрос (текст и промпт), так как он зашифрован на стороне клиента (Telegram). 4. Запрос пользователя уходит на выбранный прокси GPU-узел, где запускается модель и генерируется ответ, который, опять же, в зашифрованном виде возвращается обратно пользователю. Эти узлы — не серверы Telegram, а какие-то случайные машины, присоединившиеся к проекту. Это могут быть как крупные дата-центры, так и частные владельцы GPU. При этом владелец оборудования не видит ни данных, ни самого процесса: всё работает внутри изолированного окружения TEE (Trusted Execution Environment). Что ещё за TEE, спросите вы? Это защищённая зона внутри процессора, где можно безопасно обрабатывать секретные данные, в том числе на чужом сервере. Когда программа запускается внутри TEE, данные туда попадают в зашифрованном виде, внутри они расшифровываются, выполняется код, а результат снова шифруется перед выходом наружу. Грубо говоря, это сейф, куда не может заглянуть даже сам владелец. Что касается самих моделей, то, насколько я понял, единого требования нет. В рамках Cocoon могут запускаться различные open-source модели: LLaMA, Qwen, Mistral и т. д. То есть в один момент запрос пользователя может обработать одна модель, а в другой — уже другая. Главное, чтобы модели были заранее объявлены и их конфигурации зафиксированы (чтобы избежать компроментации). Кроме того, за выполнение запросов владельцы GPU получают доход в виде криптовалюты TON. Однако публично фиксированной цифры о величине заработка нет. Всё зависит от развёрнутой модели, задержек, стабильности работы, количества и мощности конкурентов и т. д. В общем, выглядит интересно, в стиле моего любимого свободного интернета. Но я даже не представляю, насколько умным нужно быть, чтобы придумывать такие вещи на самом острие технологий.
Впрочем, вспомнил я об этом в связи с очередной новинкой от Telegram, которая появилась в обновлении от 31 марта — ИИ-редактор для создания постов. Редактор доступен прямо в окне ввода текста и позволяет исправить грамматические ошибки, переписать текст в одном из предлагаемых стилей (Formal, Short, Tribal, Corp, Zen, Biblical и Viking), или же перевести сообщение на другой язык. Фича работает на базе всё той же сети Cocoon. Ниже — примеры одного и того же сообщения в разных стилях. Сейчас реально полезными для меня выглядят режимы Short и Formal, а остальные нужны просто для развлечения. Но, может, в будущем разработчики ещё скорректируют доступные стили. Оригинал DataDrops — это галерея дата-виза, место, где живут графики, карты и другие аналитические визуализации. На DataDrops можно исследовать визуализации, загружать свои работы, создавая собственное портфолио, взаимодействовать с другими авторами, а также сохранять понравившиеся работы, формируя личную коллекцию для вдохновения. Formal 🤝 DataDrops представляет собой галерею визуализации данных, предназначенную для размещения графиков, карт и иных аналитических материалов. Пользователи платформы могут исследовать существующие визуализации, загружать собственные работы для формирования портфолио, взаимодействовать с другими авторами, а также сохранять избранные материалы для создания личной коллекции, служащей источником вдохновения. Short 🎯 DataDrops — галерея дата-визуализации с графиками, картами и аналитикой. Здесь можно исследовать работы, загружать портфолио, общаться с авторами и сохранять материалы для вдохновения. Tribal 🍖 Моя DataDrops. Галерея костей. Живут графики. Карты, как шкуры. Моя исследую. Моя класть мясо. Моя видеть других. Моя хранить кости. Для огня. Corp 💼 Восхищенно и с трепетом объявляю о новом этапе в моей профессиональной миссии: DataDrops — это не просто галерея, это стратегический хаб для трансформации данных в вдохновляющие истории! 🚀 Здесь графики, карты и аналитические инсайты обретают свою истинную ценность, создавая экосистему, где каждый визуальный элемент становится катализатором роста. Мы рады приветствовать всех в этом пространстве возможностей: исследуйте инновационные визуализации, масштабируйте свои личные бренды, загружая портфолио, которое отражает вашу уникальную экспертизу, и выстраивайте синергетические связи с ведущими авторами индустрии. Сохраняйте лучшие практики в своей личной коллекции, чтобы постоянно черпать мотивацию и двигаться к новым вершинам успеха! 📈✨ #DataViz #GrowthMindset #Innovation #Community #Portfolio Biblical 🕯 DataDrops — это галерея дата-виза, подобно тому, как сказано: «Ибо все твари ожидают с нетерпением», место, где обретают жизнь графики, карты и иные аналитические видения. На DataDrops можно странствовать по этим визуальным пучинам, возлагать свои творения, дабы собрать портфолио, как собирают жатву, общаться с иными творцами и хранить любезные сердцу труды, создавая сокровищницу для вдохновения. Viking 🪓 DataDrops — это великий зал сокровищ, где графические драконы и карты-морские чудовища хранят золото анализа, как Одинам полагается хранить мудрость. Здесь воины могут охотиться за видениями, сбрасывать свои трофеи в общую кучу славы, биться с другими мастерами за честь, или отбирать лучшие ладьи для своей личной коллекции, чтобы питать дух перед новым походом. Zen 🗿 DataDrops — это галерея дата-виза, тихий сад, где графики и карты цветут подобно лотосам на воде. Как гласит старая притча: «Вода течёт, но камень остаётся», так и здесь исследуют визуализации, чтобы найти истину в линиях. На DataDrops можно собирать своё портфолио, как монах собирает камни мудрости; взаимодействовать с другими авторами, словно путники у костра; и сохранять понравившиеся работы, создавая личную коллекцию для вдохновения, ибо путь мастера начинается с одного шага. P. S. Подробнее о моём проекте DataDrops можно почитать тут.
А вы уже видели, как Telegram экспериментирует с ИИ? Например, ещё с января можно делать саммари длинных постов. По заявлению разработчиков, функция использует open-source модели на базе Cocoon (Confidential Compute Open Network), что гарантирует защиту пользовательских данных. С наскока разобраться, что это такое и как работает не получилось, так что постараюсь на днях побольше почитать и изучить этот вопрос; потом вам расскажу. Фича классная, сам ей регулярно пользуюсь. Правда, сейчас мы, кажется, всё больше приходим к абсурдной ситуации, когда роботы пишут для роботов, которые в итоге собирают для человека лишь короткое резюме оригинального черновика. Думаю, вот, а как в связи с этим изменится наш язык, будет ли вообще в будущем место для текстов, написанных человеком? И нужны ли нам вообще человеческие тексты, или пусть всё генерируют алгоритмы? Буду рад обсудить в комментариях 👇
О, оказывается, коллеги из 2ГИС недавно выпустили очень классную фичу — "Лёгкий маршрут". Суть идеи в том, что при включении такого режима будет формироваться маршрут с минимальным количеством поворотов налево и разворотов. Также при построении маршрута алгоритм будет стараться избегать кольцевые развязки и многополосные дороги. Всё для того, чтобы поездка получалась более простой и комфортной. Мне кажется, что это прям классная инициатива. У меня в окружении есть люди, которые готовы выбирать более долгие, но простые маршруты. Да и я в иной раз предпочитаю избегать некоторых перекрёстков и развязок, где хромает организация движения. В ближайшее время постараюсь опробовать на себе!
В дополнение к предыдущему посту на днях появилась новость, что глава Минцифры Максут Шадаев провёл совещания с операторами связи, где призвал их ввести плату за использование клиентами более 15 Гб международного трафика (пока речь только о мобильной сети). По сути, это плата за использование VPN и подключение к другим зарубежным сервисам
На Хабр вышла хорошая статья по работе VPN КВН и ТСПУ (Технические средства противодействия угрозам). Обязательно почитайте, если хотите понимать техническую сторону противостояния свободного интернета и РКН. Пожалуй, главное, что надо учитывать при использовании средств обхода: Провайдер видит: — IP-адрес VPN-сервера, к которому вы подключаетесь. — Объём трафика (сколько данных скачали/загрузили). — Протокол (OpenVPN, WireGuard и т.д. — определяется через DPI). — Тайминги — когда началось и закончилось соединение. — Сам факт, что это VPN, а не обычный HTTPS. Провайдер НЕ видит: — Какие сайты вы посещаете через VPN. — Содержимое вашего трафика (тексты, видео, файлы). — Ваши пароли, логины, куки. — DNS-запросы (если VPN корректно настроен и DNS идёт через туннель). Грубо говоря: оператор знает, что вы используете VPN, но не знает, зачем. Кроме того, я всё ещё призываю быть бдительными, и не забывать о безопасности при использовании любых сервисов.