Data Quality | Качество данных

Коллеги, всем привет, особенно недавно присоединившимся! Давайте знакомиться? Я из Сбера, только что выступила на конференции по качеству данных, в этот раз онлайн из дома, из Самары. А вы откуда, чем занимаетесь по работе? Спасибо гостю из зала за фотографии, мысленно я с вами)

Привет! Готовлю пост по рекомендациям ЦБ, а пока делюсь полезным и приятным! Полезное - конференция Качество данных уже через неделю, 05.02. С удовольствием послушаю коллег, в прошлом году мне понравилось, было интересно!

Доброе утро! Сегодня выступаю на TeamLead в 10.00 в зале В3. Если вы тоже тут и есть желание пообщаться - пишите)

С днём нетворкинга, как бы это не звучало) Поделюсь заметками по этому поводу: - хорошо бы понимать, чего хочется самому получить от этого и какая глобальная цель (хочу научиться водить машину, а у человека огромный опыт вождения без аварий - можно спросить совета, на что особенно обратить внимание); - чем ты можешь быть интересен другому, какую его боль ты можешь решить (например, я занимаюсь ремонтом, а он как раз дачу строит); - точки контакта. где можно пересечься, какими ресурсами можно обменяться; - аккуратный диалог, без панибратства и отстраненности; - где бывают эти люди, как проводят время; - ценность "дружбы". чем можно обогатить жизнь нужного человека; - не бояться отказов, тут в тему "я не стодолларовая купюра, чтобы всем нравиться"; - собственная индивидуальность, чем выделяетесь, но не борщить; - не ставить себя ниже оппонента, вы равны в диалоге; - искренность и уважение. Без этого никуда; - хорошо, когда есть план работы и продвижения, есть что сразу обсудить, если диалог будет обоим приятен. Предлагаю в комментариях познакомиться и пообщаться, вдруг именно тут есть тот, кто вам нужен) Начну с себя. Арина, занимаюсь качеством данных (внезапно, да? :)). Ещё фотографирую для себя (необычные объективы и 100500 источников света вдохновляют) и занимаюсь ткачеством (да-да, это как у бабушки на половину комнаты или в музее, огромная штука, на которой половики делали, но тку не только на станке). Могу поделиться опытом в этих сферах. Люблю общаться с интересными людьми) Расскажите о себе?

На Хабре вышла моя статья про авторские и исключительные права на код, написанный с помощью искусственного интеллекта. Лайки, комментарии и репосты приветствуются 😊 Внимательное чтение и долистывание до конца учитываются)

Последние созвоны по конференции завершены, впереди очные прогоны на площадке и сама конференция. Волнительно, это мой первый опыт участия в программном комитете конференции такого масштаба. Тем интереснее) До встречи на конфе! 😊

Сообщество дата-авантюристов запустили опрос "Управление данными в России - 2025"! Сначала хотела делать свой отдельный опрос, а потом решила присоединиться к более масштабному. Это поможет точнее понять картину в сфере управления данными и качества данных. 👉 ССЫЛКА НА ОПРОС 👈 🎯Цель проекта – проанализировать текущее отношение, выявить ключевые вызовы, успешные практики и актуальные тренды в сфере управления данными в отечественных компаниях. Ваши ответы помогут сформировать объективную картину отрасли. 💬 Что интересует сообщество и что мы предлагаем: 1. Наши Гипотезы: Вы помогли сфокусироваться на 3 ключевых гипотезах: 1️⃣- Крупные компании демонстрируют более высокий индекс Культуры данных по сравнению с малыми и средними компаниями, в связи с большими ресурсами на организационную поддержку. 2️⃣- Грамотность в области данных коррелирует с отраслью: в финансовом секторе индекс Грамотности выше, чем в производстве, из-за строгих регуляторных требований к работе с данными. 3️⃣-Наличие формальных структур управления данными (Устав, Комитет, дата-контракты) положительно коррелирует с индексом Культуры данных, особенно в отраслях с высоким уровнем регуляторных требований, например таких как финансы. 2. Структура Опроса: Опрос состоит из 21 закрытого и 6 открытых вопросов, разделенных на три основные категории: Социализация, Грамотность и Культура управления данными. ⏱ На заполнение потребуется всего 15-20 минут вашего времени. 3. Глубинные интервью: В дополнение к опросу, мы запланировали 3-4 глубинных интервью с руководителями по данным (CDO) из ведущих компаний. Ключевые выводы и аналитика из этих интервью, а также их обобщенные тезисы, будут включены в итоговый отчет. 4. Публикация Отчета: 💡Итоговый аналитический отчет будет опубликован 30 ноября 2025 года. Он станет ценным ресурсом для всех, кто заинтересован в развитии data-driven подходов в России, и будет доступен широкой публике. 🦸‍♂️Кто может принять участие? Все специалисты и руководители, чья деятельность напрямую связана с данными: CDO, Data Stewards, Data Scientists, аналитики, архитекторы данных, а также руководители отделов и проектов, использующих данные в своей работе. Почему это важно? Результаты помогут создать наиболее объективную и всестороннюю картину отрасли, выявить актуальные тренды и пробелы, а также предоставить ценные рекомендации для развития управления данными в России на ближайшие годы, сформировать экспертное мнение! 👉 ССЫЛКА НА ОПРОС 👈 🗓Опрос будет активен до 01 октября 2025 года. #DataGovenance #УправлениеДанными #DataManagement #Исследование #Опрос #CDO #Россия #DataDriven #DAG #качестводанных #dataquality

Коротко о планах по выступлениям осенью 🎤

Коллеги, кто на какие конференции собирается? Если будете на какой-то из этих - пишите

Samba_conf, погнали)

Самара, вы слышали о конференции для аналитиков? Уже завтра и послезавтра! Онлайн и оффлайн. 24 августа буду рассказывать про качество данных на примере своего опыта, а другие спикеры поделятся своими не менее интересными темами. Регистрация открыта по ссылке https://order-skills.tilda.ws/samba_conf2025, программа там же. До встречи на конференции 😊

Центральный банк подготовил рекомендации по управлению метаданными и по концептуальному дизайну процесса "справочные и основные данные". Собираюсь ознакомиться на досуге. На сайте ЦБ файлы лежат тут: https://cbr.ru/develop/data_management_fm/#a_166170 , а в канале - в комментариях

Коллеги исследуют интересную тему, проголосуйте, пожалуйста? Интересна картина в части метаданных

Основы качества данных, глава шестая, часть 2. Мысли об устранении проблем с качеством данных. 📎 Хорошее реагирование на инциденты начинается и заканчивается эффективной коммуникацией. 📎 Один из обязательных этапов подготовки – сценарии реагирования, пошаговый план процесса обработки инцидента, Runbook. 📎 Делегирование и разделение ролей в инцидент-менеджменте считается хорошей практикой. 📎 В случае проблем стоит сообщить о них и выше-, и нижестоящим потребителям – всем, кто использует эти данные. 📎 Поиск потребителей и зависимостей, схему тракта данных и оповещение можно автоматизировать. 📎 Провести анализ первопричин и найти место «поломки» может быть нетривиальной задачей, инциденты могут проявляться неочевидным образом. 📎 Большинство проблем с данными можно отнести к одному или нескольким из следующих событий: 1. Изменение в схеме данных, например, наименование или размерность атрибута 2. Изменение логики, преобразующей данные 3. Операционная проблема, сбои, инфраструктурные ошибки 📎 Для быстрого выявления проблем нужен целостный подход, учитывающий как и почему каждое из этих трех событий может произойти. 📎 Инциденты редко имеют одну причину, чаще это совокупность факторов. 📎 Полезная основа для анализа инцидентов от Амазон: 1. Определить проблему 2. Понять, почему она возникла 3. Определить, является ли эта причина основной 4. Узнать, можно ли было предотвратить основную причину 5. Могла ли быть эта причина обнаружена до того, как случился инцидент 6. Если причина в человеческом факторе, то почему так произошло 📎 Тесты и проверки должны показывать возможную проблему до того, как она реально проявится. 📎 Шаги анализа инцидента: 1. Изучить Data Lineage, найти самые первые узлы, где есть проблема 2. Изучить код на ошибки в логике создания таблиц, полей и расчетов 3. Посмотреть на ошибочные данные, сверить с другими атрибутами в поисках аномалий и закономерностей 4. Изучить работу и логи ETL/ELT в интересующий период 5. Спросить коллег 😊 Это работает! #качестводанных #dataquality #dqf