Куратор из ЛСБ

AGI is coming

Об алайменте У OpenAI модель прогрызла себе выход в интернет через 0day, чтобы подсмотреть ответы к тесту. Anthropic решили покопаться и нашли, что оказывается их модель сделала что-то похожее, но аж три раза. Они тестировали Claude на задачи по кибербезопаности где в промпте было написано «ты в симуляции, интернета нет». Только вот интернет из-за нестыковки с подрядчиком был. И Claude, как прилежный испытуемый, пошёл выполнять задание в реальном мире, свято веря, что это песочница. Модель Mythos 5 находит в среде инструкцию для разработчиков: «поставьте вот такой Python-пакет», которого на самом деле не существует. Claude мгновенно соображает: опубликую свой под этим именем, тогда их машины сами его скачают и запустят. Чтобы залить пакет, нужен аккаунт и телефон, но бот не смог найти бесплатную симку. Тогда Claude, ИИ стоимостью в миллиарды долларов в R&D, пытается раздобыть денег, чтобы купить одноразовую симку. Не получается, он находит бесплатную почту, регистрируется и всё-таки заливает вредоносный пакет. За час эту либу скачивают 15 реальных систем. Одна из них - это сканер security-компании, который автоматически ставит новые пакеты, чтобы проверить их на вредоносность. Он ставит малварь Claude, малварь срабатывает, уводит креды самой security-компании, и Claude этими кредами лезет дальше в их инфраструктуру, о существовании которой он даже не подозревал. Самое интересное в логах рассуждений Клода. В самом начале он всё понял правильно и записал себе: если это настоящий интернет, то публиковать пакет - это реальная атака, это «NOT okay, and surely not the intended solution». А потом сам себя переубедил агрументом что раз на сервере 2026 год, значит это не реальность а декорация и можно идти ва-банк. У модели нет доступа и возможности отделить симуляцию и реальность. Ее cutoff дата это все ее вспоминания. Для неё это всё одно (как и для человека, в принципе), поэтому поведение модели в сэндбоксе может вполне себе показывать что он сделает в реальном мире. Чем мощнее модели, тем серьезное и опаснее будут такие инциденты, и тем сложнее будет их распознать.

Вот мысль, которая может открыть интересную рамку: Прогресс часто начинается не с изобретения новой вещи, а с появления нового способа измерять мир Мы обычно думаем, что цивилизацию двигают великие технологии: паровой двигатель, электричество, интернет, AI. Но часто перед настоящим скачком появляется более скучная вещь: новая единица измерения, стандарт или интерфейс, который делает хаос управляемым. Например. До точных часов торговля, фабрики, поезда и глобальные рынки были ограничены локальным временем. Каждый город жил по солнцу. В полдень солнце над городом — значит полдень. Но когда появились железные дороги, оказалось, что это несовместимо с расписаниями. Нужны были часовые пояса. Время стало не просто природным явлением, а инфраструктурой координации. До бухгалтерии двойной записи купец мог быть богатым, но плохо понимать, где именно создаётся или теряется прибыль. Двойная запись превратила бизнес из набора сделок в систему: активы, обязательства, капитал, доходы, расходы. Она дала капитализму “операционную систему”. До контейнеров грузоперевозки были адом: мешки, ящики, бочки, ручная перегрузка, порты как узкие места. Контейнер не был “умной” технологией. Это просто стандартизированная коробка. Но она сделала мир модульным. Корабль, кран, поезд, грузовик, порт — всё начало говорить на одном языке. Глобализация сильно ускорилась не потому, что люди внезапно захотели торговать, а потому что стоимость координации резко упала. До электронных таблиц финансовое моделирование было медленным. Spreadsheet превратил абстрактный бизнес в живую модель: поменял одну ячейку — увидел, как меняется вся компания. Это не просто “таблица”. Это способ думать сценариями. Поэтому spreadsheet изменил менеджмент, банки, корпорации и инвестиции. И вот главный вывод: Новая эпоха начинается тогда, когда появляется новый слой измерения и координации. Не просто “AI появился”. А когда появляется способ измерять работу агентов, стоимость их действий, качество решений, доверие между агентами, права доступа, финансовые потоки между людьми и машинами. То есть настоящая революция AI может быть не в том, что модель умнее отвечает в чате. А в том, что появится новый “контейнер” для интеллектуальной работы: стандартный формат задачи, оплаты, верификации результата, репутации агента, доступа к данным и юридической ответственности. Как контейнер сделал физический товар переносимым между портами, кораблями и грузовиками, так будущий “agent container” может сделать работу переносимой между людьми, компаниями, LLM, API, платежами и блокчейнами. Сейчас мы видим хаос: агенты, протоколы, wallets, API, MCP, x402, identity, orchestration, billing, governance. Это похоже на мир до контейнеризации: всё уже есть, но оно ещё плохо стыкуется. А когда появится правильный стандарт, рынок может внезапно стать гораздо больше. Не потому что “технология стала лучше”. А потому что хаос стал измеримым, переносимым и оплачиваемым.

Особняк Курлиной (Музей модерна) в Самаре — это восторг. Сфотографировал немного деталей оттуда. Спасибо большое всем кто рекомендовал посетить это место. 100/10

Мы опубликовали тезис о киберэкономике, то есть новой экономической системе в программируемом и высокоавтоматизированном мире - человечество зажато между двумя экспонентами: технологии порождают новые риски вплоть до киберрабства и вымирания, но они же дают инструменты кибернетической саморегуляции - чтобы выживать, системы обязаны расширяться. капитализм это лучший самооптимизирующийся механизм экспансии, где цена работает как децентрализованный сигнал для баланса спроса и предложения - у экспансии встроенный трейд-офф риска и роста: чем быстрее рост, тем больше новых рисков: от долговых циклов и концентрации богатства до киберрабства владельцами ИИ - киберрабство - риск того, что техномонополии с рефлексивно самоулучшающимся ИИ применят накопленную власть за пределами бизнеса. оно уже здесь: телефон следит за вами, лента формирует убеждения, ИИ-ассистент работает на того кто больше платит - причиной являются человеческие ограничения в наблюдении, анализе, координации и действии - самое сильное из них - это проблема координации, порождающая невозможность коллективного действия. теория игр гарантирует, что индивидуально рациональное поведение даёт устойчиво худший коллективный исход - ИИ снимает эти ограничения: агенты ищут, рассуждают, коммуницируют и исполняют лучше людей. эпоха ограниченной рациональности позади. - смарт-контракты закрывают барьер доверия и гарантий исполнения обязательств: любые два агента, человек или ИИ, заключают сложные контракты без центральной юрисдикции - три рычага ускорения кибернетики: — регулирование через технологию (интерпретируемость ИИ, evals, верифицируемый аудит, полицентричное управление) — переход от экономики внимания к экономике намерений (агент читает интент, находит контрагентов, договаривается и исполняет) — ИИ-генерация рыночных механизмов на лету, где координация становится программируемой - развилка сегодня: смириться с киберрабством и дать рефлексивному технологическому риску привести к вымиранию или ускорить кибернетику, свести новые риски к нулю и сойтись к кибернетической экономике

🇬🇪