Аналитика сегодня (kongru.consulting)

Использование ИИ в анализе данных Поучаствовал в качестве эксперта в статье по использованию искусственного интеллекта в анализе данных, поделился кейсами из своей практики. Пример нашего использования неросетей из статьи: «Мы используем нейросети, чтобы обогатить базу данных. Например, нам нужно было привести в порядок справочник ключевых контрагентов, среди них встречались дубли, и у многих организаций не было ИНН. Сверять ИНН вручную по тысячам компаний — как минимум долго. В платной версии Perplexity мы загрузили список компаний и смогли подтянуть к ним ИНН. Затем мы отправили обновлённый справочник в ChatGPT и Qwen, чтобы выявить некорректные ИНН у юрлиц и очистить данные окончательно». Ссылка на статью: https://skillbox.ru/media/management/neyroseti-v-analize-dannyh-kakie-servisy-i-kak-luchshe-ispolzovat-v-rabote/

Топ-100 самых дорогих сериалов Хороший пример диаграммы дерева с анализом стоимости сериалов от разных производителей. Было бы еще интересно посмотреть корреляцию между стоимостью и оценками) Полный обзор: https://www.statsignificant.com/p/is-tvs-big-budget-era-over?triedRedirect=true

Power BI Copilot Итак, сегодня увидел уведомление о том, что Microsoft уберет визуальный элемент Вопросы и ответы из Power BI в пользу Copilot и захотел поделиться своим опытом по Copilot’у. Уже когда в районе 2022года в Power BI появился отдельный визуальный элемент «Вопросы и ответы» было понятно, что это прообраз решения, когда пользователь сможет задать вопрос к данным и получить ответ в виде либо визуального элемента, лицо числа. Язык запросов в Вопросах и ответах был относительно естественным, но все же требовал какого-то синтаксиса и не всегда понимал вопрос, плюс был только на английском. Для того, чтобы понять сумму продаж по регионам, нужно было вбить «sum Продажи by Регион», где Продажи и Регион – это название столбцов с данными. Тогда не было подходящего движка для того, чтобы сделать запросы более естественными и облегчить жизнь пользователю, а теперь под капотом у Power BI Copilot работает нейросеть GPT-4, которая обучена на объемах текста и кода, умеет находить сложные паттерны, понимать естественный язык и генерировать ответы. Теперь визуальный элемент Вопросы и ответы Microsoft уберет в конце 2026 года, так как в нем, действительно, нет никакой необходимости. Сам Power BI Copilot быстро и качественно отвечает на простые вопросы по заданной модели данных внутри Power BI, например он хорошо заменит формулу DAX (в том числе и сложную) и построит визуальный элемент, который показывает базовые факты. Но он не может эффективно ответить на вопрос: «определи какие данные негативно влияют на мой бизнес» или «как на основании текущих данных увеличить чистую прибыль»? На подобные вопросы любая нейросеть не может интересно ответить на текущий момент в принципе. Для понимая того, где Copilot полезен нужно поделить анализ данных на 5 классических стадий развития, где каждая следующая стадия приносит все больше пользы для бизнеса: 1) Описательный анализ (констатирует факты) 2) Статистический анализ (дает оценки фактам) 3) Исследовательский анализ (описывает скрытые закономерности) 4) Предсказательный анализ (описывает вероятное будущее) 5) Предписательный анализ (определяет дальнейшие действия) Нейросети в целом и Power BI Copilot хорошо выполняют первые 2 стадии: описательный и статистический. Очень средне выполняют третью стадию и не могут интересным образом ответить на вопрос: «опиши мне скрытые закономерности, которые помогут улучшить эффективность процесса». Ответы обычно носят либо очевидных характер, либо случайный и только при постоянном обучении модели со стороны аналитика нейросеть может быть эффективной. На мой взгляд, сейчас это большие инвестиционная история для компаний: прямо сейчас дешевле использовать просто опытного аналитика, чем параллельно обучать нейросеть, но в долгую более выгодно обучать нейросеть, так как это сделает компанию более независимой и ускорит анализ данных в будущем. 4 и 5 стадию анализа сейчас делает аналитик и может привлекать нейросеть для рутинных задач, например описывать ей алгоритм расчета, потом загрузить данные, чтобы она постоянно показывала прогноз данных на основании методологии аналитика. Я прогнозирую, что, не смотря на активное развитие, нейросети в ближайшее время 4 и 5 стадию анализа сделать самостоятельно не смогут, тем не менее, уже сейчас имеет смысл осваивать Copilot для ускорения и упрощения работы аналитика с целью высвободить его время для более сложных, креативных задач, направленных как раз на предсказание будущего и определения дальнейших действий по повышению эффективности компании на основе данных.

Всем привет! Как это часто бывает: когда много работы и много нового, трудно найти время на ведение канала, хотя за последнее время было много событий, которыми хочется поделиться: от внедрения ИИ для автоматизации проверки контрагента до анализа ИТ архитектуры китайских финтех продуктов, поэтому не обещаю, но очень постараюсь исправиться и в ближайшее время и чаще делиться контентом. За последнее время я в своей практике отошел от того, чтобы делать только проекты, связанные с анализом данных и теперь чаще реализую проекты, связанные с ИТ целиком: искусственный интеллект, информационная безопасность, аудит ИТ процессов, анализ архитектуры продукта и сейчас готовлю несколько статей и постов на эти темы. Сегодня хочу начать с одной из наиболее животрепещущих тем, а именно использование нейросетей и ИИ, опишу на примере Power BI Copilot. Дискуссионный вопрос можно ли считать Copilot именно нейросетью, но в качестве движка он нейросеть использует и позволяет решать определенные проблемы с анализом данных на основе ИИ. Если темы, связанные с использованием ИИ на практике и не только в анализе данных вам интересны, то просьба поставить огонечек в реакции или написать комментарий)

Настроение первого рабочего дня в году😅 Всем хорошей первой рабочей недели в 2026 году!

Актуальный мем про прогнозирование Сейчас на рынке модно обсуждать прогнозные модели, которые в текущих обстоятельствах строят прогноз приблизительно как в этот меме и часто проигрывают по точности прогнозам, сделанным на коленке в экселе знающим на экспертном уровне конкретную индустрию аналитиком)

Квадрант Gartner’a за 2024 год Новый квадрант Gartner’а - это лишний повод вспомнить о том, что у продуктов есть предельная полезность. Сейчас к большой тройке в квадрате лидеров добавились Google Looker, Oracle BI и ThoughtSpot вернулся (он там был в 2020 году) и они идут уже вперемешку с Tableau и Qlik, только Power BI продолжает выделяться. Это лишний раз показывает, что продукты нельзя развивать до бесконечности: в какой-то момент достигается абстрактный “идеал” продукта и далее добавлять полезные функции с таким же успехом как раньше не получится, так как продукт закрывает большинство потребностей пользователя. Не удивительно будет, если в скором времени и Power BI перестанет выделять по качеству продукта, но с другой стороны это уже поздно для конкурентов, так как заказчики, которые ранее выбрали какое-то решение уже на нем и будут оставаться без необходимости его менять. Соответственно, нужно не только достигать уровень предельной полезности, но и делать это первым, чтобы захватить наибольшую часть рынка. PS Лишний повод напомнить, что описал этот принцип в отдельной статье: https://habr.com/ru/articles/859674/

Что такое корреляция и как ее интерпретировать? Поучаствовал в написании статьи о корреляции в статистике, о том как находить зависимости и правильно их интерпретировать. Добавил от себя несколько практический примеров применения корреляционного анализа: https://skillbox.ru/media/code/chto-takoe-korrelyaciya-prostymi-slovami/

Визуализация для выборов Хороший пример визуализации данных, показывающий как можно искажать результаты выборов. Если распределение голосов 40 на 60 процентов, то линейно синий вариант всегда будет побеждать, но если нарезать избирательные округа определённым образом, то в некоторых преимущество синего варианта будет выше, чем 60 на 40, но где-то он проиграет и при граммотном распределении красный вариант может выиграть 3 к 2-м по избирательным округам и выйти победителем🤷🏻‍♂

Прожарка облачных технологий от Яндекса На прошлой неделе погостил на интересном по формату мероприятии Яндекс Облака: в формате дебатов два топ менеджера спорили о применимости облачных технологий в банковской сфере, но в целом выводы по итогам актуальны для большинства сфер. С одной стороны выступал Александр Долбнев, директор по работе с финансовым сектором в Яндекс Облаке, с другой Александр Ложечкин, CIO Райффайзен банка. Понятно, что представитель Яндекса отстаивал позицию, что на облачных технологиях можно выстраивать ключевые бизнес процессы, особенно для малых и средних банков, а Ложечкин отстаивал позицию, что у облаков довольно ограниченное применение в текущих реалиях. Тут еще интересен тот факт, что Ложечкин более 10 лет работал в Microsoft и Amazon и развивал сам облачные технологии до прихода в Райффайзен, но по его же словам “работник сосисочной фабрики сосиски не ест”😅 Основные тезисы по итогам дебатов у меня сформировались следующие: 1) облака отъедают маржу у компаний и лучше их использовать для тестирования технологий, а не подсаживаться на полноценной основе 2) безопасность данных в облаке - это тонкий вопрос при выявлении вины между вендором и клиентом, тут много серых зон, где можем быть не очевидно чья вина и стороны будут перекладывать ответственность 3) вендор лок-ин, то есть ситуация, когда клиент становится зависимым от вендора на словах не поддерживают обе стороны) 4) удерживать технический уровень компании больше помогает развитие опенсорса а не облачные технологии Ну и ключевой момент: компании выгоднее выстраивать свою техническую команду и экспертизу и нанимать сильных инженеров, чем перекладывать ключевые ИТ функции на аутсорс. Проблема тут в том, что это очень непростая задача для любой компании и у всех так сделать не получится, поэтому те компании, у которых не будет сильной команды и ИТ культуры внутри будут вынуждены передавать многие функции на сторону вендоров и зависеть от них.

Разные подходы к проектам🤓

Как гуманитарию руководить инженерами? Написал статью для Хабра, где поделился своим опытом взаимодействия и руководства командой технарей, если ты - гуманитарий. У меня экономическое образование и руками хардкорной разработкой я никогда не занимался, при этом последние 8 лет я руковожу тем или иным количеством разработчиков, DEVops’ов, ИТ Архитекторов и так далее. В статье описал лайфхаки для ситуации, когда ты не разбираешься в работе команды на профессиональном уровне и не можешь досконально вникнуть в то, что они делают: как создавать ценность для команды, как коммуницировать и так далее. Ссылка на статью: https://habr.com/ru/articles/904676/?code=4c8017c22395c01a79f5d62d0ee83c5e&state=ogpP6avye6WKgAXu0aanGQmM&hl=ru PS В приложении один из моих любимых мемов в ИТ сфере, который меня во многом вдохновил написать статью)

Почему мир теряет яркие цвета? Хорошая статья про изменение цветовых решений в сторону меньшей яркости: https://habr.com/ru/articles/902500/ Если коротко, то все цветовые решения от логотипов компаний, кино и до цвета машины за последние годы усредняются и движутся в сторону не ярких, не напрягающих цветов (белый, черный, серый, бежевый), чтобы удовлетворять максимальное количество людей. Оценки тут могут быть разными, но понимать саму тенденцию важно!

Мем для тех, у кого есть дети и не только😅

Хороший пример Sankey Редкий хороший пример использования диаграммы Sankey с перетоками. Здесь отображено географическое происхождение и места обучения специалистов в сфере искусственного интеллекта. Китай и США занимают, предсказуемо лидирующие места, в остальном методология вызывает вопросы по тому, что классифицируется под ИИ (судя по всему, МФТИ или мех мат МГУ не классифицируется в ИИ, хотя это скорее профильное образование), но сам пример визуализации полезный.

Где еще используется диаграмма дерева В продолжение поста про капитализацию Теслы: вчера была самая большая просадка на фондовом рынке в США, но сейчас не об этом, а о том, как это визаульно легко отобразить. Диаграмма дерева постоянно используется в отображении данных о капитализации компаний на бирже, так как на ней легко отобразить одновременно 3 параметра: 1) Размер капитализации компании - чем больше прямоугольник, тем дороже компания 2) Изменение в капитализации: красный цвет означает, что компания подешевела, а зеленый, что подорожала 3) Процент изменения показывается как цифрой, так и цветом: чем больше подешевела (в данном случае), тем более темно-красный цвет. Это особенно актуально, чтобы можно было обратить внимание на сильно подешевевшие, но не очень дорогие компании, где логотип не виден PS А акции Tesla упали на 55% за 2,5 месяца и более не превышает стоимость 40 крупнейших автопроизводителей мира)