Зачем мне эта математика

описание

Исследуем реальный мир через призму математики Это канал Яндекс Образования Мы делаем Практикум, Учебник, Лицей и другие большие проекты Приходите учиться к нам: education.yandex.ru/ Номер регистрации 4962369782

← к каналу @practicum_math

15 732

подписчиков

Охват к подписчикам

16,0%

ERR

Реакции к просмотрам

1,31%

1 490 на 43 постов

Пересылки к просмотрам

0,85%

962

Постов в день

0,7

всего 44

Где отзываются чаще

доля реакций к просмотрам

10 авг.Теорема, обесценивающая ИИ… или нет? 👀 В математике есть теоремы, названия которых могут показаться шуткой: теорема о четырёх красках, теорема о причёсывании ежа, теорема о бесконечных обезьянах. К их числу относится и No Free Lunch Theorem — в буквальном переводе «бесплатных ланчей не бывает», а в более литературном — «бесплатный сыр бывает только в мышеловке». ⠀ За этим названием скрывается результат современной теории оптимизации и ML, о котором часто вспоминают, когда говорят о нейросетях и ИИ. ⠀ ▶️Смысл теоремы примерно такой: если рассматривать все возможные задачи, то никакой алгоритм не может быть лучше любого другого. На первый взгляд это звучит абсурдно. Неужели сложнейшие нейронные сети ничем не превосходят примитивные алгоритмы? Оказывается, всё зависит от того, какие задачи мы рассматриваем. ⠀ Представим себе две выборки данных. Первая напоминает прямую с небольшим шумом. Вторая выглядит как сложная волнообразная кривая. Где больше шума? 1️⃣ ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸 ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀⠀⠀🔸 ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸 ⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀🔸 ⠀⠀⠀⠀⠀⠀⠀⠀🔸 🔸⠀🔸 ⠀⠀⠀___________________________ 2️⃣ ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸🔸 ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸 ⠀⠀⠀⠀⠀🔸⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀🔸 ⠀⠀⠀🔸⠀⠀🔸⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸 ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀⠀⠀🔸 ⠀⠀⠀⠀⠀⠀🔸⠀⠀⠀🔸 ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀🔸 ⠀ Большинство скажет, что первая задача проще второй: прямую легко описать уравнением вида y = ax + b, а извилистую волну придётся моделировать чем-то более сложным. Но так кажется лишь потому, что мы уже выбрали язык описания. Если моделью служит линейная функция, первая выборка действительно оказывается простой. Но если модель — например, волновой пакет с единственным параметром (сдвигом по оси), картина меняется. Теперь вторая выборка описывается одним параметром. Иными словами, простота задачи — не абсолютное свойство данных. Она зависит от того, какую модель мы заранее решили использовать. ⠀ ⠀⠀⠀⠀История вопроса ⠀⠀⠀⠀⠀⠀⠀📚📚📚 ⠀ В середине XVIII века философ Дэвид Юм сформулировал проблему индукции: можем ли мы логически обосновать перенос выводов из уже увиденного на то, чего мы ещё не видели? ⠀ Если все лебеди, которых мы встречали, были белыми, у нас нет логического основания утверждать, что и следующий лебедь окажется белым, — потому что прошлый опыт сам по себе не гарантирует будущего. ⠀ Та же логика лежит в основе No Free Lunch: без дополнительных предположений о мире ни один способ обучения на прошлых данных не имеет преимущества перед другим. ⠀⠀⠀⠀⠀⠀ ⬇️⬇️⬇️ ⠀ Позже, в 1990-х, физик Дэвид Вольперт работал в Санта-Фе, где учёные годами пытались найти общий язык для описания сложности. Его интересовало, почему одни эвристики поиска работают на одних задачах прекрасно, а на других — из рук вон плохо, и можно ли вообще найти универсально хорошую стратегию поиска. В 1997 году он опубликовал результат, который сегодня и называют No Free Lunch Theorem: если усреднить качество работы любых двух алгоритмов оптимизации по всему пространству возможных целевых функций, оказывается, что оно совпадает. Ни один метод не имеет преимущества перед другим — включая обычный случайный перебор. ⠀ Следствие теоремы выглядит парадоксально: если алгоритм работает исключительно хорошо на каком-то классе задач, обязательно найдётся другой класс задач, на котором тот же алгоритм будет работать исключительно плохо. ⠀ На этом месте многие делают неверный вывод: «Значит, бессмысленно создавать новые алгоритмы?». Совсем наоборот! ❗️Секрет в том, что реальный мир не состоит из математических задач. Мы не пытаемся распознавать произвольные функции — мы работаем с данными, имеющими реальную структуру. Поэтому поиск лучшего алгоритма — это не поиск самой мощной математической конструкции, а поиск правильных предположений о природе задачи. Так что успех ИИ зависит не от универсальности алгоритма, а от того, насколько хорошо он учитывает устройство нашего мира. Будущему AGI достаточно работать не во всех мыслимых вселенных, а в нашей. Накидайте Вольперту 🏆 за кликбейтную теорему. А нам ❤️, если хотите узнать, причём тут теория сложности и бритва Оккама. #это_база5,87%
14 авг.Какой вы тип математика? ❤️ — ноль сомнений в своём деле 🤔 — а вдруг я ушёл не туда? Поддерживайте равновесие реакциями, а мы пока приведём пример — пару противоположных типажей математиков: Годфри Харди и Норберт Винер Харди был одним из главных британских математиков XX века. Он занимался теорией чисел, рядами, дзета-функцией Римана и распределением простых чисел. Вместе с Джоном Литлвудом много лет работал над задачами аналитической теории чисел, а ещё именно Харди разглядел гений Сринивасы Рамануджана. Харди хорошо известен как защитник математики «ради самой математики». В «Апологии математика» он писал о красоте математических идей как о красоте стихотворения или картины. Для него хорошая математика не обязана сразу чинить мосты, считать прибыль или запускать ракеты. Она может быть ценной просто потому, что в ней есть глубина и неожиданный ход мысли. Ирония в том, что даже у Харди нашлось прикладное наследие. Например, закон Харди — Вайнберга теперь используют в популяционной генетике: он помогает описывать, как в большой популяции сохраняются частоты генов при определённых условиях. Винер был другим типом математика. Он поступил в колледж в 11 лет, получил докторскую степень в Гарварде в 18, учился у Бертрана Рассела, Давида Гильберта и, кстати, у самого Харди. Его работы связывали вероятность, броуновское движение, гармонический анализ, преобразование Фурье, теорию связи и инженерные задачи. Позже Винер стал одним из основателей кибернетики — науки об управлении и связи в машинах, организмах и обществах. Слова «обратная связь», «информация», «контроль» в современном технологическом смысле берут начало из этого круга идей. Но важен не только масштаб его работ. Винер постоянно сомневался: в себе, в ценности текущей работы, в том, туда ли движется наука. Математик Морис Фреше вспоминал, что во время совместной работы Винер всё время спрашивал: «А стоит ли моя работа того? Не сдаю ли я позиции?» У этого сомнения была и другая сторона. После Второй мировой войны Винер отказался участвовать в военных исследованиях и писать о работах, которые могли усилить оружие. Для него вопрос «а не туда ли мы идём?» был не только математическим, но и человеческим. В чём же разность этих типажей? ▶️Харди говорит: чтобы сделать что-то большое, нужно заранее признать свой предмет значительным. Не ждать, пока кто-то со стороны разрешит считать задачу важной. Не извиняться за то, что тратишь силы на абстрактную идею. ▶️Винер напоминает: даже математик, который меняет язык науки, может сомневаться, туда ли он идёт. Мы согласимся сразу с обоими. Настоящая математика начинается там, где человек достаточно уверен, чтобы продолжать, и достаточно честен, чтобы спросить себя: «А это правда работает?» Этим сюжетом про математическую нескромность мы вдохновились в канале «Воспоминания математиков». Там можно найти много таких живых эпизодов из истории математики: не только про теоремы, но и про людей, их характеры, сомнения и странные привычки. Очень рекомендуем — подписывайтесь! #это_база5,16%
17:02На первый взгляд перед нами обычная религиозная сцена, но стоит присмотреться… В 1954 году Сальвадор Дали закончил картину Corpus Hypercubus 🤯 Крест на ней не похож ни на один крест, когда-либо написанный до этого: он собран из восьми парящих в воздухе кубов. Дали работал над картиной около четырёх лет, консультируясь с математиками и физиками, в итоге изобразив развёртку тессеракта — четырёхмерного аналога куба. Или, иначе говоря, восемь кубов, «раскрытых» в трёхмерном пространстве, как разворачивают картонную коробку. Увидеть тессеракт напрямую человек не может — точно так же, как гипотетический житель плоского двумерного мира не смог бы увидеть обычный куб целиком, а различил бы лишь его проекцию или сечение. Мы находимся в похожем положении по отношению к четвёртому измерению: нам доступны лишь его проекции. ⏩️Чем глубже наука проникает в устройство мира, тем ближе она подходит к вопросам, которые веками пыталась разрешить религия⏪️ Интерес Дали к геометрии и физике не был случайным эпизодом. После Второй мировой войны в его творчестве произошёл заметный перелом: сюрреализм снов и подсознания, которым он был обязан Фрейду, стал ему тесен. Художник заговорил о том, что новым духовным ориентиром для него стал не психоанализ, а физика; Математик Томас Банхофф, специалист по многомерной геометрии, который сотрудничал с Дали, подтвердил: изображение гиперкуба выполнено с геометрической точностью и не является вольной художественной фантазией на тему четвёртого измерения. Так Дали попал в тренд 1954 года — время, когда физика уверенно расщепляла атом и раздвигала границы известного. Художник заставил зрителя усомниться, что наш трёхмерный опыт исчерпывает устройство мира. Есть тут те, кто знает, как увидеть четвёртое измерение? Если нет, можем рассказать. ❤️, если интересно… #как_устроено4,85%
3 авг.🔥 — если ваша кошка тоже своего рода математик #меммат4,04%
11 авг.Почему нейросеть, которая распознаёт картинки, может провалиться на другой задаче? Вчера мы уже приблизились к догадке — всему виной опять математика. А точнее... Теория сложности вычислений 👀 Это неожиданный сосед теоремы No Free Lunch. Возможно, вы слышали о проблеме равенства классов P и NP — одной из семи проблем тысячелетия. Она посвящена времени и памяти, которые требуются для решения вычислительных задач. Кстати, за её решение назначена премия в миллион долларов. 📃 В теории сложности есть понятие алгоритмического разрыва: он возникает, когда доказанная нижняя граница трудности задачи оказывается ниже, чем сложность лучшего известного алгоритма для неё. Проще говоря, мы понимаем, что задача в теории не должна быть слишком сложной, но пока не знаем алгоритма, который решает её настолько же эффективно. Это явление приближает учёных к ответу на вопрос, сколько ресурсов требует задача. Но нас интересует другая сторона: почему один и тот же алгоритм на похожих данных может вести себя по-разному. Важна природа самой задачи. В ML это называют индуктивным смещением или априорными предположениями. Например: ▶️линейная регрессия предполагает, что зависимости близки к линейным ▶️деревья решений — что пространство признаков можно эффективно разделить последовательностью простых правил ▶️нейронные сети — что сложные зависимости представимы как композиция множества сравнительно простых преобразований ⠀⠀⠀Пример со свёрточными ⠀⠀⠀⠀ нейронными сетями ⠀⠀⠀⠀⠀⠀⠀⠀⠀ (CNN) Механизм их работы довольно прост — мы изобразили его на карточке. Объясним, что происходит. Представьте фотографию чашки. Если чашка находится в левом верхнем углу изображения, мы всё равно её узнаём. Если она окажется в центре кадра или справа, ничего не изменится: это та же чашка. Для человека это очевидно, для алгоритма — нет. Обычная полносвязная сеть рассматривает каждый пиксель независимо: перемещение объекта по изображению меняет набор входных данных. Свёрточная сеть устроена иначе: в неё заранее встроено предположение, что один и тот же объект должен распознаваться независимо от положения. Это свойство называют трансляционной инвариантностью. *️⃣Важная деталь: это предположение не следует из данных. Оно заранее заложено разработчиками в архитектуру сети. Именно благодаря этому ограничению CNN работают значительно лучше универсальных полносвязных сетей на изображениях. То есть мы снова сталкиваемся с парадоксом: сила алгоритма рождается не из универсальности, а из его «предубеждений». Чем больше алгоритм знает о структуре решаемой задачи, тем лучше он работает именно на этом классе задач — и тем хуже справляется с задачами, нарушающими эти предположения. Эта идея выходит далеко за пределы компьютерного зрения: ▶️рекуррентные сети используют то, что данные образуют последовательности ▶️трансформеры предполагают, что элементы последовательности взаимодействуют друг с другом независимо от расстояния между ними ▶️графовые нейронные сети учитывают связи между объектами ▶️Physics-Informed Neural Networks (PINNs) напрямую встраивают в обучение известные физические законы Во всех случаях происходит одно и то же: разработчики сознательно жертвуют универсальностью ради эффективности на интересующем их классе задач. *️⃣Важно не путать это с теоремой об универсальной аппроксимации. Часто можно услышать: «Нейронная сеть может выучить любую функцию». Это не совсем так. Теорема об универсальной аппроксимации утверждает лишь, что сеть достаточного размера способна представить практически любую непрерывную функцию с нужной точностью. Но способность выразить решение и способность эффективно его обнаружить — совершенно разные вещи. Но если под каждую задачу нужны свои предположения, почему современные большие модели выглядят всё более универсальными? Накидайте 🔥, если интересно, и мы раскроем ответ в следующем посте. А от читателей, работающих с нейросетями, ждём догадки в комментах! #как_устроено3,15%
3 июл.без подписи2,80%
24 июл.Однажды космические археологи нашли на далёкой планете библиотеку неизвестной цивилизации. Книги исписаны странными символами. Мы не знаем значения ни одного слова, не знаем, как произносить эти тексты, и даже не уверены, являются ли они вообще языком. Можно ли с помощью одной лишь математики определить, есть ли в этих текстах грамматика? На первый взгляд кажется, что нет. Ведь грамматика — это часть языка, а язык невозможен без смысла. Однако существуют математические методы, которые позволяют исследовать структуру последовательностей, не пытаясь понять, что они означают. Именно эти методы уже несколько десятилетий активно применяются, в том числе к… ⏩️песням горбатых китов⏪️ Они давно привлекают внимание биологов. В отличие от многих животных, киты не ограничиваются сигналами и криками. Самцы могут петь часами, повторяя длинные последовательности звуков. Более того, одна популяция исполняет одну и ту же песню, которая меняется от года к году. ⠀ ⠀⠀⠀Но как изучать такую песню? ⠀⠀⠀⠀⠀⠀⠀⠀⠀ ⠀👀 ⠀⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀1️⃣ шаг ⠀ Исследователи разбивают запись на условные «ноты». Каждому типу звука присваивается свой символ: A, B, B, C, D, A, E, B, C… ⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀2️⃣ шаг Определить, насколько эта последовательность случайна. ⠀ Для ответа используется понятие, введённое математиком Клодом Шенноном ещё в середине XX века, — информационная энтропия. 🔸Следующий символ невозможно предсказать — энтропия велика 🔸Последовательность повторяется — энтропия мала. Но почти сразу возникает неожиданная проблема. Низкая энтропия ещё ничего не говорит о наличии сложной структуры. Последовательность A, A, A, A, A, A, A имеет чрезвычайно маленькую энтропию. Однако никто не станет утверждать, что в ней скрыта грамматика. Значит, одного измерения энтропии недостаточно. ⠀ ⠀⠀⠀⠀⠀⠀⠀⠀⠀3️⃣ шаг Построить марковскую цепь. Предположим, что каждый следующий звук зависит только от предыдущего. Такая модель называется марковской цепью: математически это означает, что вероятность следующего символа определяется только текущим состоянием системы. Подобные модели используются повсюду: при распознавании речи, анализе ДНК, моделировании погодных процессов, работе поисковых алгоритмов. Во многих задачах они оказываются удивительно эффективными. Если песни китов представляют собой просто длинную последовательность локальных переходов между звуками, марковская модель должна описывать их довольно хорошо. Кстати, в научных статьях также появляется слово «синтаксис». Но тут важно не обмануться: в математике и теории информации это слово употребляется значительно осторожнее, чем в лингвистике. Киты вовсе не разговаривают друг с другом предложениями. Последовательности подчиняются внутренним правилам и статистическим связям. ⠀ На последнем этапе исследователей ожидал сюрприз. Выяснилось, что простая марковская модель не воспроизводит наблюдаемую структуру песен, потому что в них обнаруживаются зависимости, сохраняющиеся на очень больших расстояниях. Авторы исследования, опубликовавшие в 2006 году статью «Информационная энтропия песен горбатых китов», нашли в песнях два характерных масштаба организации: 🔸один — на уровне коротких фраз из шести-восьми звуков 🔸другой — гораздо шире: от ста восьмидесяти до четырёхсот звуков Иначе говоря, отдельные ноты объединяются в небольшие фразы, а фразы, в свою очередь, складываются в крупные композиционные блоки — причём сама эта иерархия была впервые предложена ещё в 1971 году биологами. Позже её подтвердили математически. Фанфакт: оценки энтропии показывают, что максимальный объём информации, который киты передают такой последовательностью звуков, — меньше одного бита в секунду. Не так уж много для того, что выглядит настолько сложно организованным. Голосуйте реакциями, что математикам стоит расшифровать этим способом дальше: 🕊 — пение птиц 🗿 — генетические последовательности 🌚 — древние письменности 👾 — космические сигналы #как_устроено2,47%
12 авг.Удерживаем ваше внимание, как можем, чтобы ответить на вчерашний вопрос и закрыть тему No Free Lunch... ⚡️Если теорема говорит, что универсального алгоритма не существует, почему современные нейросети всё чаще выглядят универсальными Здесь стоит сделать важную оговорку. Сама теорема No Free Lunch требует усреднения по всем мыслимым задачам, взятым с равной вероятностью. Но что такое «случайно выбранная из всех возможных» задача? ✅ Тут нам пригодится понятие колмогоровской сложности Если измерять сложность данных через колмогоровскую сложность — длину самой короткой программы, способной их породить, — то почти любой случайно сгенерированный набор данных окажется максимально сложным, несжимаемым шумом. Реальные же задачи, с которыми работают люди и алгоритмы, — изображения, тексты, звук — как правило, прекрасно сжимаются, то есть обладают низкой колмогоровской сложностью. Формально теорема остаётся верна для всего пространства задач, но интересующий нас угол этого пространства — крошечная и совсем не типичная его часть. В 2023–2024 годах исследователи показали, что нейронные сети — причём даже необученные, со случайной инициализацией — охотнее «производят» простые, сжимаемые последовательности. Более того, архитектура, спроектированная под одну область (например, компьютерное зрение), неожиданно хорошо сжимает данные из совсем других, на первый взгляд не связанных с ней областей. Это, по мнению авторов, отчасти объясняет происходящее сейчас в глубоком обучении: движение не в сторону зоопарка узкоспециализированных моделей, а в сторону всё более крупных и универсальных архитектур, построенных на всё меньшем числе принципов. ✅ У этой мысли есть старый философский родственник — бритва Оккама В 2011 году Тор Латтимор и Маркус Хаттер поставили вопрос прямо: если No Free Lunch утверждает, что нельзя обойтись без знания конкретной предметной области, то как тогда вообще работает принцип «из двух объяснений выбирай более простое»? Ведь бритва Оккама претендует именно на универсальность — она не привязана к какой-то одной задаче. Их ответ: строгая версия теоремы верна лишь тогда, когда все мыслимые задачи (включая бесструктурный шум) считаются равновероятными. Но стоит принять в качестве предположения о мире саму идею простоты — формализованную как универсальное априорное распределение в духе индукции Соломонова, где более «сжимаемые», просто устроенные гипотезы заранее считаются более вероятными, — и парадокс снимается. Авторы показали, что алгоритм, основанный на таком единственном предположении (простота предпочтительнее сложности), способен успешно работать на любых структурированных, то есть сжимаемых, задачах, не требуя под каждую из них отдельной, специально скроенной модели. Иначе говоря, бритва Оккама — это не эвристика в обход No Free Lunch, а минимально необходимый «бесплатный ланч»: единственное предположение, которое стоит сделать, если вы заранее не знаете, какая перед вами задача, но подозреваете, что она не абсолютно случайна. Именно это предположение — пусть и в неявном виде — зашито в устройство современных нейросетей. 🕊 — если вы тоже привыкли не усложнять #как_устроено2,35%
28 июл.У нас тут на днях планируется очень музыкальная задача... В качестве разминки предлагаем «послушать» функции, которые используют мастера по сборке автомобильных сигнализаций 👀2,28%
27 июл.НАВИГАТОР ПО КАНАЛУ 🔍 Друзья, решили обновить карту канала и познакомиться с теми, кто присоединился к нам недавно. Здесь мы исследуем реальный мир через призму нашей любимой науки: решаем задачи, вспоминаем великих учёных, говорим об ИИ, искусстве, играх и программировании. Те, кто недавно вступил, не стесняйтесь задавать вопросы и делиться мыслями в комментариях к постам и нашем чатике. Первые материалы к прочтению можно выбрать тут — составили список из самого лучшего: ⠀ ⠀ЗАЧЕМ МНЕ ЭТА МАТЕМАТИКА❓ ⠀ Если хочется начать с фундаментального, для вас рубрика #это_база: ▶️Пифагор против домашки ▶️Про знаки > и < / Томаса Харриота ▶️История Джорджа Данцига ▶️Пять уровней абстракции ▶️Математика вообще существует? Если пришли сюда порешать задачи, ищите их по тегу #задача. Там бывают школьные сюжеты, логика, геометрия и теория вероятностей: ▶️Легко ли быть криптографом? ▶️Головоломка о волшебниках ▶️Задача про Петю ▶️Задача про камни ▶️Задача о мятом рубле Если хотите увидеть математику в профессиях и технологиях, ищите рубрику #как_устроено. Там рассказываем, как математические идеи работают в программировании, машинном обучении, инженерии и цифровых продуктах: ▶️Цезарь мёртв ▶️Про 1/89 и числа Фибоначчи ▶️Про число π ▶️Про зарождение вселенной ▶️Гипотеза Мизохаты-Такеучи Если любите читать про людей, заглядывайте в рубрику #история. В ней вспоминаем учёных, инженеров и авторов, которые сделали что-то важное или странное: ▶️Льюис Кэрролл ▶️Эрдёш и его проблемы ▶️Ада Лавлейс ▶️Александр Гротендик ▶️Тревизская арифметика Если хочется красоты, начинайте с постов про математику в искусстве и визуальной культуре: ▶️Сериал про Безье ▶️Золотое сечение ▶️Сериал про Эшера ▶️Мозаика Пенроуза ▶️Евклид в цвете Если хочется подборок и полезностей, ищите рубрику #рекомендуем. Там собираем книги, фильмы и всякие прикольные сервисы: ▶️«Симпсоны» и математика ▶️Подборка сервисов ▶️Сюрреальные числа: Кнут и Конвей ▶️Подборка фильмов про математику ▶️Ещё три книги о математике Старички, накидайте ❤️, если вам нравится, как мы сейчас ведём канал. А в комментариях пишите, о чём рассказать в следующих постах!2,19%
5 июн.без подписи1,96%
16 маябез подписи1,89%