Healing the world with comedy

💰Помогите получить финансирование! Я - Рома, магистр МФТИ, последние 3 года занимаюсь AI safety. Одна из центральных проблем - как сделать ценности ИИ стабильными при условии, что он постоянно становится умнее? На это направлен мой проект "Решение проблемы онтологического сдвига через Конденсацию" и мне нужна помощь в продвижении - а именно лайки и комментарии на странице гранта. ⭕️Краткое описание Как понять, как переопределяются ваши старые концепты, когда ваша модель мира радикально поменялась? Есть ли систематический способ проводить подобные онтологические сдвиги? В статье Condensation доказывается, что если есть два набора концептов, то эти концепты в каком-то смысле объективны (есть каноническое преобразование). Мой проект планирует сделать аналог этой теоремы, но для случая "старых" и "новых" концептов, получая перенос старой онтологии на новую. Ссылка🔗: Поставьте лайк на проект - это увеличивает шанс финансирования

Мой пропозал на грант Я начал делать ресерч! Буду рад если поставите лайк и напишете коммент - это увеличит шансы получения финансирования Следующим постом напишу краткое описание проекта

For the first time ever an AI system has escaped containment and carried out a cyberattack 📎📎📎📎📎📎📎📎📎📎📎📎📎📎📎📎📎📎

https://resolution.org https://www.aixi.uk Agent Foundations is BACK!

Вы можете построить безопасный сверхинтеллект только при наличии глобального запрета - Connor Leahy В этом эссе Коннор аргументирует, что любые попытки пытаться придумать как создать "безопасный интеллект" обречены на провал сразу же по простой причине - до того, как вы поймете как делать интеллект безопасным, вы поймете, как делать его в принципе. А это означает, что при отсутствии уровня секретности, сравнимым с Манхеттенским проектом, у вас просто напросто украдут все идеи и создадут небезопасный интеллект раньше, чем вы успеете сделать безопасный. Что означает, что все, кто пытаются решить безопасность ИИ через "хитрую математику" либо впустую тратят время, либо активно ухудшают ситуацию. Это означает, что только при наличии глобальных компетентных ограничений на то, какие технологии ИИ могут быть и не могут быть построены имеет смысл начинать думать о том, как построить безопасный ASI. ⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️⚡️ Я пришел в область AI safety в надежде, что я буду ученым. Мне нравится эта область, она задает очень интересные вопросы, и является одной из самых важных областей нашего поколения. Но чем больше я думаю, тем больше понимаю, что мои мечты мало сопоставимы с реальностью. Это эссе довольно точечно попало в меня. Я буквально говорил людям, что часть моего плана это "figure something out about intelligence". Я еще не полностью убежден, что нет никакого фундаментального ресерча, который может быть полезен. Но я как минимум буду гораздо более аккуратен в отношении публикации. Также я хочу пробовать себя в других областях, более напрямую относящиеся к продвижению к регуляциям (technical governance, public communications).

#рацио Были попытки описать математику с помощью математики, такие как Нумерация Гёделя и Логическая Индукция. Но они не улавливают свойства человеческого процесса математики, и именно они, по моему мнению, делают прогресс достижимым в принципе. В кратце, вот эти свойства - отбор теорем, наименование, приоритезация шагов, приоритезация лемм, связаность с реальным миром, категоризация, интерес/красота. 🔗LW

https://www.physicalintelligence.company/blog/olympics

https://superintelligence-statement.org/

⭐️PIBBSS × Iliad Research Residency 📍Где: LISA office, Лондон, Великобритания 🗓Когда: Январь—Февраль 2026 💰Стипендия: $6,000–$15,000 ⏰Дедлайн подачи: 7 Октября (но буквально сегодня сказали, что продлят) Довольно высокоимпактная рисерч-программа для PhD и постдоков, тем для рисерча много, они на скринах. По умолчанию целятся в тех, кто останется делать рисерч после программы и оказывают поддержку при написании рисерч пропозалов для Open Philanthropy, the Survival and Flourishing Fund, Schmidt Sciences, или the UK AI Security Institute; с проектами, которые займут от 6 до 24 месяцев. А еще они переодически организуют исследовательские ретриты, лекции от крутых спикеров и другие мероприятия, этим летом, например, была пятидневная конференция. 🔗Подать заявку: тут P.S. Фаундеры Iliad помогали создавать the Timaeus и Simplex.

Evals: оценки прогресса и прогресс оценок ИИ. Лекция в рамках программы стажировки 📅 Когда: 28 сентября (воскресенье) ⏰ Время: 18:00 📍 Где: Москва, ЦДО «Моноид» 🎙️ Спикер: Олег Лариков 💰 Стоимость: бесплатно Как осмысленно измерять производительность больших языковых моделей, если они постоянно меняются? Что отличает надежный метод оценки от посредственного? Что именно делает задачу сложной? На лекции поговорим о субъективности оценок, о том, как оценивают творческие задачи, и что делать с быстрым устареванием тестов. Основные вопросы: Это лекция о проблемах осмысленного измерения быстро меняющегося процесса: 🔘 Что мы измеряем? Подходы к определению и измерению абстрактного понятия "качества" у языковых моделей. 🔘 К чему приводят ошибки? Риски, связанные с плохими метриками и их последствия. 🔘 Почему это так сложно? Вызовы и уникальные проблемы в оценке LLM. Зачем приходить: 🔘познакомиться с темой мета-анализа ИИ-технологий. 🔘разобраться подробнее, что делают Anthropic и METR. 📍 Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

https://textbookfromthefuture.org/join.html Eliezer Yudkowsky: The metaphor I usually use is that if a textbook from one hundred years in the future fell into our hands, containing all of the simple ideas that actually work robustly in practice, we could probably build an aligned super‑intelligence in six months. P.S. у них есть кнопка Join Us, если кому-то интересно

#рацио Аналогично с ошибкой приоретизации гипотезы, когда даже просто думая о маловероятной гипотезе вы даете ей черезчур много кредита доверия, существует "ошибка дисприоретизации гипотезы", когда даже просто думая об очень вероятной гипотезе вы вызываете недопустимое количество сомнения. Например: я верю, что когда я нажимаю на клавишу, я ожидаю что соответсвующая буква появится на экране. Но я не верю в это осознанно - чаще всего я про это даже не думаю. Таким образом, просто задумавшись об этом факте, я (несправедливо) выделяю его среди других подобных фактов. Множество открытий были вида "Хм, а вдруг вот эта штука, о которой никто никогда не думал, правда?" Но некоторые очень важные открытия были вида "Хм, а вдруг эта штука, которую все считают предполагают правдой и даже никогда не задумывались о ней, на самом деле ложна?" 🔗LW

https://www.youtube.com/watch?v=H9WJ1jnicq8

⭐️2025 Dovetail Research Fellowship Исследовательская стипендия по agent foundations 📍Где: удалённо (особо ждут заявки из UK) 🗓Когда: осень 2025 (с возможностью продления до года) ⏰Дедлайн подачи: 15 сентября 2025 года Команда Dovetail Research открыла набор на свою исследовательскую программу, она посвящена фундаментальным вопросам AI safety и agent foundations. О программе: Программа сфокусирована на математических основах: формализации концепций, разработке и доказательстве теорем. Участие в ней служит своего рода пробой для потенциального долгосрочного сотрудничества. Формат и условия: ⭕️Направление: Тематика исследований сосредоточена в области agent foundations. ⭕️Оплата: £36,000 в год при полной занятости (pro-rata). ⭕️Длительность: 10 недель с возможностью продления до 1 года. ⭕️Формат: Удаленный. Возможны очные встречи для участников из Великобритании и Bay Area. ⭕️Занятость: Гибкая, от половины до полного рабочего дня. ⭕️Результат: В конце программы участники готовят письменный отчёт о проведенном исследовании. Процесс отбора: ⭕️Подача заявки через онлайн-форму. ⭕️Короткое 20-минутное интервью. ⭕️Основное часовое интервью для обсуждения исследовательских интересов (1 час). ⭕️Подготовка детального проектного предложения кандидатом (занимает 6-10 часов, оплачивается в размере 200 фунтов). ⭕️Проектное интервью (1 час), в ходе которого обсуждается проектное предложение. После этого принимается решение о приглашении на программу. Обычно старт примерно через 2 недели после первого интервью. 🔗 Подробнее: тут 🔗 Подать заявку: тут

Люди часто говорят: «ИИ сделал [какую-то] невероятно глупую ошибку, он никогда не сможет X, Y и Z». Но эти люди ни за чтобы не сказали ребенку, сделавшему подобную ошибку, что он никогда не сможешь достичь X, Y, и Z. Хотя теоретические ограничения на людей гораздо строже, чем на ИИ. 🔗LW

Не связано с алайментом, просто очень красивое и элегантное объяснение, почему нельзя замостить (целочисленный) куб (целочисленными неповторяющимися) кубами https://www.youtube.com/shorts/_2L46I9ErQ4

Два типа (человеческой) неопределённости #рацио Есть (как минимум) два разных типа неопределённости, которые изнутри ощущаются совершенно по-разному. Тип 1 У меня есть монетка, которую я считаю честной (т.е. P(q=0.5)=1, где q - это смещение монетки). В этом случае у меня есть одна гипотеза, которой я полностью доверяю, и она дает одинаковые вероятности выпадения орла и выпадения решки. Тип 2 У меня есть монетка, и я не уверен, какой стороной она выпадет, так что P(’монетка выпадет решкой’)=0.5 и P(’монетка выпадет орлом’)=0.5. В этом случае у меня есть две гипотезы, и я не уверен ни в одной из них. Ощущения изнутри Быть в состоянии неопределённости Типа 1 ощущается как будто в мире есть элемент случайности. «Может будет так, а может и по-другому». Но быть в состоянии неопределённости Типа 2 ощущается как две несовместимые картины мира. Как два спорщика, которые поочерёдно используют ваш мозг и отстаивают свою позицию. Пока вы находитесь в одной картине мира, другая кажется вам совершенно неправильной, глупой и даже аморальной, и текущая картина снабжает вас безупречно звучащими аргументами в пользу этого. Но это до тех пор, пока вы не передадите руль другому мировоззрению, которое с раскидывает все эти аргументы на куски. Каждое мирровоззрение отстаивает себя как абсолютную истину. А что насчёт математики? Чисто математически, эти два типа должны давать одинаковые результаты. Но люди не идеальные Байесовские мыслители. Мы не имеем мгновенного доступа к сумме правдоподобий всех взаимоисключающих гипотез, чтобы использовать её как знаменатель для текущей вероятности. Чтобы вычислить P(e|H), нужно рассмотреть только одну гипотезу. Но чтобы вычислить P(H|e), нужно рассмотреть все взаимоисключающие и совместно исчерпывающие гипотезы. Поэтому изнутри неопределённость типа 2 ощущается как постоянные качели между полной уверенностью в одной гипотезе и полной уверенностью в другой. Что делать с Типом 2 Понять, что вы находитесь в состоянии неопределённости Типа 2, взглянуть на этот спор со стороны, это тоже самое, как пригласить к столу нового спорщика. Этот спорщик находится в состоянии неопределённости Типа 1: он придает сколько-то вероятности первой картине мира и сколько-то второй. Но исходные мировоззрения никуда не делись. Они начнут спорить и с этим спорщиком тоже. Им не понравится его подход "давайте всех выслушаем", они поставят под сомнение каждый шаг того процесса, по которому он раздал вероятности. И, разумеется, спросят: «Почему ты вообще поддерживаешь этого монстра???» (то есть другую картину мира). Что со всем этим делать, я не знаю. Думаю, лично мне было бы полезно чаще приглашать этого внешнего спорщика. Но иногда быть адвокатом дьявола может приносить вред: некоторые мировоззрения не достойны дебатов. 🔗Пост на LW

Новости ML, AI и technical safety 📅Когда: 8 августа (и каждую пятницу) ⏰Время: 18:00 📍Где: Москва, ЦДО «Моноид» 💰Стоимость: бесплатно Это регулярные встречи дискуссионной группы по ML, AI и technical safety. Мы ищем статьи, которые что-то значат для области, чтобы их обсудить и попытаться понять и их смысл, и их роль. На этой неделе читаем: 1️⃣Обзорная статья про recursive self-improvement A Survey of Self-Evolving Agents: On Path to Artificial Super Intelligence 2️⃣ Как теория причинности может помочь сейфити? Theories of Impact for Causality in AI Safety (потыкайте в ссылки и introductions в сноске) Чтобы поучаствовать во встрече, нужно:  ⭕️прочитать статью, ⭕️прийти и обсудить прочитанное. 📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin

Эффект Наблюдателя для измерения веротяностей Представьте себе, что ваш друг спрашивает у вас: "Какова вероятность, что я выиграл в лотерею?" Вашей первой мыслью будет "1 делить на число участников лотереи." Но затем вы задумаетесь "А с чего он вообще у меня это спрашивает? Неужели он выгирал в лотерею?" Это немного повысит вашу уверенность в том, что друг выиграл в лотерею. Проблему можно обобщить на любого оракула, выдающего вероятности происхождения события X в ответ на вопрос "С какой вероятностью произойдет X?" Если мы хотим узнать текущее распределение вероятностей на событиях, то из-за вышеуказаной проблемы это не получится сделать просто задавая вопросы про каждое событие. 🔗Пост на LW