Шрёдингер Кота

Приглашаем экспертов в data science на закрытую встречу сообщества Когда: 29 августа, онлайн, в 18:00 по Мск. Будем обсуждать горизонты профессионального развития в DS и машинном обучении. Темы встречи: ⚡️Как развиваться внутри data science? ⚡️Какие интересные прикладные задачи стоят перед лидерами индустрии? ⚡️Перспективы для сеньора: расти вверх по карьерной лестнице или углубляться внутри своей специализации? Поговорим про вертикальное и горизонтальное развитие ⚡️Где получать практические навыки и обмениваться опытом и связями? Участники встречи: - Андрей Кузнецов (AIRI) - Евгений Смирнов (АЛЬФА-БАНК) - Роман Поборчий (self-employed) - Дани Эль-Айясс (Social Discovery Group) - Владимир Ершов (Яндекс) - Никита Зелинский (МТС) - Александр Самойлов (Wildberries) - Иван Бондаренко (Новосибирский государственный университет) Встреча пройдет в формате открытой дискуссии, где каждый желающий сможет задать интересующие его вопросы. Участие бесплатное. ✅ Регистрируйтесь на встречу и зовите коллег!

Друзья, всем привет! 👋 Выхожу из спячки сегодня вечером с небольшим выступлением - присоединяйтесь) 🤗

🚀 Уважаемые коллеги, тех, кому интересна математика и машинное обучение, приглашаем Вас принять в неформальном проекте. Минимальное требование - Вы знакомы с Питоном, и у Вас есть несколько часов свободного времени в неделю. (Альтернативно - можно не знать Питон, но хорошо знать теорию групп (в идеале GAP,SAGE).) Задача проекта - применить машинное обучение к теории групп. Целью проекта является написание статьи в хорошем журнале, участники - соавторы. Другим бонусом будет являться - приобретение навыков по современным методам нейронных сетей, Reinforcement Learning и т.д. Если Вам интересно участие - напишите @alexander_v_c (Александр Червов, к.ф.-м.н. мехмат МГУ, 25 лет math&DS, Kaggle, Scholar, Linkedin). Чат для обсуждений: тут . Вводный доклад тут. Пояснения по RL части тут. Краткая суть задачи может быть описана несколькими способами - нахождение пути на графе от вершины А до вершины Б, но размер графа 10^20-10^50 - обычные методы не применимы. Решение пазла типа Кубика Рубика. Задача близка к прошедшему конкурсу Каггл Санта 2023. Математически - разложение элемента группы по образующим. Математические пакеты, которые частично могут решать эту задачу - GAP,SAGE. Достигнутые результаты - уже сейчас мы можем за минуты делать то, что авторы работы DeepCube делали за 40 часов на многих GPU.

Друзья, всем привет! Мои приятели запустили очень любопытный проект - может кому будет интересно присоединиться 🔥

Набросал книжки/курсы, которые помогут стать хорошим DS База 1. Классическое машинное обучение (табличные данные) • Изучить можно по книге "Python Machine Learning by Sebastian Raschka". Читать можно все, кроме 13-й главы, которая устарела • Специализация "Машинное обучение и анализ данных" от МФТИ и Яндекса • Внутри 6 курсов (база по ml первые три курса, очень хороший курс по статистике 4й, 5-6 практика можно пропускать) • Открытые решения / соревнования на Kaggle. Учат метрикам и валидации, и конечно строить звездолеты • Лекции с датафеста https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w и особенно ml training https://www.youtube.com/playlist?list=PLTlO6nV_TaGD21r6xPHhV1k7QfVuug3BB (тк это база старые доклады могут быть даже полезнее) Практика/документация • Углубиться в бустинги (надо хорошо понимать как и когда их применять, тк это основа в табличных задачах) • Документация: https://catboost.ai/ https://xgboost.readthedocs.io/en https://lightgbm.readthedocs.io/en 2. Introducing MLOps (издательство O'Reilly) • 200 страниц о том, как управлять моделями машинного обучения, чтобы они хорошо работали ("DevOps" для моделей). 3. Хайповый system design книжка Designing Machine Learning Systems (O'Reilly) • О правильном построении моделей с точки зрения выбора метрик, поддерживаемости и масштабируемости 4. Развитие аналитических навыков – последнее в базе, но первое по важности • Книга «Девенпорт, аналитика как конкурентное преимущество» • Книга Data science for business • Разобраться с SQL и Pandas – для работы с данными 5. Курс по рекомендательным системам Recsys: https://m.youtube.com/watch?v=igwNb7dBlms (основное - 5 лекций, остальное - прикладные кейсы) 6. АБ-тестирование: • https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f (гайд от VK) • https://practicum.yandex.ru/statistics-basic/ (бесплатный курс от Яндекса) • Книга Trustworthy Online Controlled Experiments 7. NLP – путь тут длинный. Нужно разобраться в tf-idf -> Word2vec и fasttext -> lstm -> трансформеры -> berts -> gpt -> LLM (+lora). Помогут один из следующих курсов • Курс от ШАДа по NLP https://github.com/yandexdataschool/nlp_course • Хорошо зарекомендовавший https://lena-voita.github.io/nlp_course.html • База до трансформеров включительно от Abby, хоть и немного устаревший https://github.com/DanAnastasyev/DeepNLP-Course • Здесь и далее очень круто погружают различные публикации с обзорными статьями. Наприме A Comprehensive Overview of Large Language Models https://arxiv.org/pdf/2307.06435 8. CV. Deep Learning with PyTorch база по DL. Практическая книга по компьютерному зрению (как построить первые модели для классификации, сегментации). А дальше уже самостоятельно изучать темы. Важные блоки: • image classification • segmentation • GAN • object detection • instant segmentation • pose estimation • diffusion models • multimodal models • Vision Transformer • +обзорные статьи PS Если есть что добавить пишите в комментарии)

Друзья, всем привет! 👋 Больше ТГ каналов Богу ТГ каналов 😅 Не могу не поделиться тем, что мой дорогой друг Инсаф завел канал - с его опытом ему точно есть, чем полезным поделиться с людьми) 💪 @ai_tablet

ChatGPT теперь доступен на Mac! 🔥

Друзья, посоветуйте хорошие курсы/книги по Data Engineering, но с уклоном в Data Architecture? 🙏

Мы строили, строили и наконец-то построили :) Книга «Охота на электроовец: большая книга искусственного интеллекта» вышла из печати и доступна к заказу. Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book «Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»

Немного GPT-4 intepretability от OpenAI: https://openai.com/index/extracting-concepts-from-gpt-4/

Ребята, мне интересно, у меня одного с момента выхода GPT-4o обычный ChatGPT-3.5 откатился до уровня RNN 2015 года? 🤔

Друзья, всем привет) Осенью того года у меня началась череда интересных событий, которыми я не успел тогда поделиться с вами - первый семестр учебного года я читал курс по NLP во ВШЭ и в МФТИ 📖 Честно говоря, давно имел большое желание поделиться знаниями и опытом и наконец-то дошел до этого По мере чтения лекций и подготовки к ним я сам повторял для себя какие-то моменты из NLP, поэтому в том числе и для меня это было полезно 🔥 Ну а о качестве и полезности курса, тут уж судить не мне, но кажется, что ребята остались довольны 🤗 В этом году планирую продолжить чтение курса Также с некоторыми студентами мы продолжили взаимодействие уже в рамках написания магистерских диссертаций и вот на этой неделе у них будет защита Хочу пожелать вам успешно все защитить, была проделена отличная работа - вы большие молодцы и у вас все получится ❤️

Друзья, всем привет) 👋 Возможно некоторые из вас уже знают, что я покидаю SberDevices и в целом Сбер - завтра у меня последний рабочий день 😢 Знаю, что меня в том числе читают мои друзья и коллеги по цеху - хочу обратиться в первую очередь к ним ❤️ Для меня было большим счастьем работать вместе с вами все это время над GigaChat, я искренне считаю, что мы все сделали очень большое дело и сделали это на высшем уровне 🚀 Я много чему научился у вас, вы - топовые ребята в индустрии, уверен, что вы знаете об этом, но лишним никогда не будет об этом напомнить 🤗 Мы ни с кем не прощаемся и не теряемся, я всегда на связи 🙏 Завтра буду накрывать прощальную полянку в Сбере, поэтому всех, кто будет в офисе, буду рад видеть 👀

Когда дело касается векторизации текстов на русском языке, моим личным фаворитом является модель Multilingual Universal Sentence Encoder (mUSE) версии large, которая помимо русского и английского может работать с еще 14 языками и которая очень хорошо себя зарекомендовала на многих прикладных задачах. За примером далеко идти не надо, Давид Дале в своей статье про сравнение рускоязычных энкодеров предложений сравнивает много моделей, где mUSE находится в лидерах 💪 Но есть некоторая "проблема", если так можно выразиться - модель доступна только в версии на TF / TF Hub, при этом я сам не раз ощущал потребность в том, чтобы дотюнить ее под свои задачи. И вот уже на протяжении двух лет я вынашивал идею того, чтобы экспортировать ее на PyTorch. Более того, я даже два раза предпринимал попытки сделать это, упирался в какие-то трудности и ограничения, и бросал это дело 😭 И вот сейчас я наконец-то довел это дело до конца и экспортировал эту модель в PyTorch, чем хочу поделиться с вами! ❤️ Сама модель доступна в HF Models, напрямую через torch (пока без нативной поддержки transformers), код конвертации и сама проделанная работа доступны в GitHub 🔥 Честно говоря, работы была не самой простой, и по факту я полностью вручную переписывал граф вычислений TF/ONNX на PyTorch. Надеюсь, что это будет полезно во времена доминирования PyTorch, особенно учитывая тренд с RAG подходами, где как раз таки нужны хорошие и сильные энкодеры для end-to-end обучения 🙏

Друзья, всем привет! 👋 Давно мы с вами не слышались на этом канале, к сожалению, уж такие были обстоятельства... Если коротко, то можно сказать, что наступила весна, уже и лето близится, и в эти периоды времени я нахожу силы для ведения канала. Осенью и зимой с этим все сложно 😓 На самом деле мысль написать что-то в канале появилась у меня месяц-полтора назад, но мне не хотелось ограничиваться просто текстом, мол "я жив, всем привет" - мне хотелось обыграть это поинтереснее, сделать что-то интересное и полезное, чем-то поделиться с вами и коммьюнити 🤔 Поэтому я приготовил для вас классную, как мне кажется, вещь, о полезности которой уже судить вам 🤗 Подробнее об этом напишу в посте ниже, а этим сообщение хочется сказать о своем возвращении из спячки - друзья, рад снова быть с вами ❤️

🏆Сегодня мы официально запускаем новый AIJ Contest, в котором заявлено 5 крутых задач с общим призовым фондом 11+ млн. рублей!!! 1) Strong Intelligence — создать мультимодальную модель, которая обыгрывает знатоков интеллектуальных викторин и показывает суперуровень эрудиции 2) Unique RecSys — обучить ИИ-алгоритм подбирать наиболее релевантный контент 3) Personal AI — создать человекоцентричного ИИ-помощника 4) Equal AI — сделать сервисы доступными каждому — обучить модель распознавать русский жестовый язык по видео 5) Rescue AI — разработать новый способ расшифровки генома Обо всех задачах подробно можно прочитать здесь Первая же задача Strong Intelligence (самая сложная и на повестке современных мультимодальных исследований) разрабатывалась нашей командой AIRI + Sber AI — очень хочется получить много интересных крутых решений. Готов отвечать на вопросы, если будут возникать! Скоро откроем гитхаб и в ближайшее время проведём вебинар, где расскажем подробно про задачи и ответим на возникающие вопросы, а пока желаю всем продуктивного погружения в контекст задач🦾 Следите за информацией)

#nlp #про_nlp #nlp_papers 🌸Зоопарк русскоязычных NLP-моделей🌸 Вышел препринт, объединяющий всю работу AI Forever над семейством языковых моделей для русского языка! A Family of Pretrained Transformer Language Models for Russian 13 русскоязычных трансформеров описаны и провалидированы в одной статье: — encoder (ruBERT, ruRoBERTa, ruELECTRA) — decoder (ruGPT-3) — encoder-decoder (ruT5, FRED-T5) + их версии разных размеров. Результаты приводятся для всех моделей, а также в сравненнии с бейзлайнами, например, YaLM P-tune и RuLeanALBERT. Бенчмарки и тесты: интеллектуальные навыки (RussianSuperGLUE), оценка способности к языку (RuCoLA), оценка токсичности, а также тесты суммаризации, симпликифации и детоксификации текста. 🟣Статья на Arxiv 🟣Хаб моделей на HuggingFace 🟣Все модели: ruBERT-base, ruBERT-large, ruRoBERTa-large, ruELECTRA-small, ruELECTRA-medium, ruELECTRA-large, ruGPT-3-small, ruGPT3-medium, ruGPT-3-large, ruT5-base, ruT5-large, FRED-T5-large, FRED-T5-XL

Более 100 млн человек в мире уже используют chatGPT. В чем уникальность и секрет популярности этой модели ❓ Что у неё «под капотом» ❓ И как можно ее усовершенствовать ❓ 📍 УЖЕ СЕГОДНЯ ответим на эти вопросы и обсудим все детали на вебинаре «ChatGPT & Co». ⏰ Подключайся 25 сентября в 19:00. 🔥 Ссылку найдешь в своем личном канете после регистрации. С вами встретится один из разработчиков GigaChat, исполнительный директор в SberDevices, магистрант ВМК МГУ Дани Эль-Айясс 👩‍💻 На лекции разберем методы, лежащие в основе типа ChatGPT и расскажем про GigaChat - мультимодальную нейросеть от Сбера. #десятилетиенауки #МинобрнаукиРоссии #популяризациянауки

Друзья, всем привет!) 👋 Сегодня в 19:00 выступаю с докладом про ChatGPT-подобные модели, присоединяйтесь) 🔥