🍳 Датазавтраки ☕️ НСК (Академ)

⬆️ Кстати говорили про внутреннюю размерность

Часто грущу от того, что нашей с коллегами последней статьей Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story никто не интересуется и не цитирует... 💢 Напомню, что статья посвящена анализу внутренней размерности активаций LLM и её связи с различными свойствами текста, который подали на вход модели. Более подробное разъяснение статьи можно найти здесь, посмотреть видос про то, что такое в принципе внутренняя размерность (от 3blue1brown) - тут; ещё более подробное разъяснение популярных способов оценить внутреннюю размерность облака точек можно прочитать здесь. Так вот, вместо этой новой статьи, которая связывает внутреннюю размерность активаций на тестах с лексическим разнообразием и сжимаемостью этих текстов алгоритмом gzip и энтропией (что, на мой взгляд, очень интересно, так как связывает внутреннюю размерность со сжатием представлений в LLM, а, как говорит 3blue1brown, compression is intelligence), челики почему-то цитируют нашу старую статью про детекцию сгенерированных текстов с помощью внутренней размерности, хотя мы же и показали в более поздней статье, что для новых моделей GPT этот метод уже не работает. Скорее всего, это происходит от того, что старая статья была опубликована на NeurIPS, а новая, на мой взгляд, более актуальная, интересная и вносящая больший вклад в область interpretability of LLM - на EACL - то есть, на конференции поменбше и статусом пониже, где эта область вообще почти не представлена, так что мало кто будет ожидать найти в материалах конференции такие работы... Я писала про эту работу в дискорде Neel Nanda, но там никто ею не заинтересовался, так как все только рекламируют свои работы, но не читают чужие... В общем, уже и не знаю, что сделать, чтобы на данную работу обратили внимание 🤔🤔🤔 Помогите советом кто сможет 🥺

18.08.2026 🍳 датазавтрак по вторникам ☕️ в Новосибирском Академгородке с 08:30 до 10:00 в "Shurubor coffeeshop" у фонтана ТЦ https://go.2gis.com/wlkqi Датазавтраки найти просто - на столе стоит кот с аватарки датазавтраков.

Тут подсказывают, что во вторник все будет закрыто из соображений безопасности. Придется пропустить

11.08.2026 🍳 датазавтрак по вторникам ☕️ в Новосибирском Академгородке с 08:30 до 10:00 в "Shurubor coffeeshop" у фонтана ТЦ https://go.2gis.com/wlkqi Датазавтраки найти просто - на столе стоит кот. Я буду в командировке, хранителем кота и старшим по датазавтраку будет @BenMarg Кот в этот вторник грустит

И про POD https://en.wikipedia.org/wiki/Proper_orthogonal_decomposition

Нашел про внутреннюю размерность на русском https://ru.wikipedia.org/wiki/Теорема_Косамби_—_Карунена_—_Лоэва

Страница 340 и дальше описывает задачу с камерами

Курс читал Ido Bright, сейчас работает в Lift, тогда работал в University of Washington https://scholar.google.com/citations?user=eVq-go8AAAAJ&hl=en

Вот домашка с того курса, не совсем про это, тут PCA используется.

Бразильский шаман Ido Bright, о котором я рассказывал, использовал Karhunen-Loéve Decomposition для выявления истинной размерности системы. Картинка из его лекций. Еще гуглить Proper Orthogonal Decomposition

Самый простой способ оценить внутреннюю размерность - взять готовую библиотеку https://scikit-dimension.readthedocs.io/en/latest/

Рассказывал про внутреннюю размерность задачи https://en.wikipedia.org/wiki/Intrinsic_dimension

На последнем датафесте мы с Ириной Голощаповой собрали секцию Causal Inference - доклады тут https://ods.ai/tracks/df26-reliable-ml

Я готовил как-то шпаргалку про Causal Inference https://kolodezev.ru/causalily.html

Про причинно-следственный анализ была вводная лекция от Григория Чернова https://www.youtube.com/watch?v=OQSwpOQ0jgw

Про интерпретируемость ML моделей есть книга https://christophm.github.io/interpretable-ml-book/

Рассказывал про обобщенные аддитивные модели https://pygam.readthedocs.io/en/latest/

Рассказывал про https://zcode.z.ai/

Рассказывал про https://www.qwencloud.com/pricing/token-plan