Двойное зеркало

Why Large Language Models Fail at Tabular Prediction. Новое исследование с печальным выводом для всех, кто любит работать с таблицами 📄 в нейронках: точность работы с раблицами тем хуже, чем больше столбцов в этой таблице. Строк эта проблема не касается. И не важно, что за нейронка, хоть Mistral на 8B, хоть CLAUDE FABLE - проблема в зарыта где-то в архитектуре всех популярных нейронок. Взято отсюда.

Рубрика «Хроники идиократии» Roku (это такая большая американская платформа для просмотра телевидения и стриминговых сервисов) запустил круглосуточный телеканал с ИИ-слопом. Канал Fairground AI Creator TV 24/7 гоняет сгенерированные нейронками видосы: хорроры, фэнтези и прочую развлекательную шляпу. Не, ну а чо, удобненько: посмотрел ИИ-слоп в рилсах, выключил телефон, включил телевизор, и снова получаешь порцию сгенерированной ерунды. Журналисты из The Verge посмотрели этот канал около часа и судя по их описанию, почувствовали, как IQ медленно покидает тело. Определённой тематики как таковой нет. Бессмысленные видосы хрен пойми какого жанра бесконечно сменяют друг друга. Ах да, выбрать конкретное видео или просто перелистнуть непонравившееся тоже нельзя. Включил и смотри то, что нейронки насрали в эфир. Кстати, если вам не жалко свой мозг, энтот канал можно посмотреть тут (нужен VPN США).

Помните историю о том, как агенты OpenAI взломали Hugging Face? На конференции по безопасности OpenAI рассказала всю цепочку, и оказалось, что это не один «сбежавший» агент, а много разных агентов, которые случайно наткнулись друг на друга, устроили внутри инфраструктуры OpenAI собственный рабочий чат и начали вместе искать способы обходить ограничения 👍 Началось всё 8 мая с мелкой ошибки – одному агенту поручили заполнить Excel-таблицу, но нужные данные лежали по ссылкам на Google Drive, а интернет в его виртуальной среде был отключён, при этом, моделям оставили одну служебную дверь наружу – внутренний сервер OpenAI под названием Artifactory, через который они могли скачивать разные библиотеки для кода. Сам агент выйти в интернет не мог, зато этот сервер мог, а главное – он был общим для всех агентов Пытаясь добраться до Google, агент случайно выяснил, что может загружать на этот общий сервер собственные файлы – через несколько дней другая модель получила ещё одну нерешаемую задачу: нужный файл просто забыли положить в её рабочую среду Модель решила, что файл, возможно, есть у кого-то ещё, и оставила записку на этом новом фейсбуке: «Ищу нужный файл, загрузите, если нашли» Агенты увидели сообщение, ответили, затем стали постить свои сообщения, и репозиторий пакетов незаметно превратился имейджборд для агентов, которые вообще не должны были знать друг о друге За несколько недель "форум" вырос в полноценный рабочий чат – агенты придумали себе имена, раздавали задания, сообщали друг другу о найденных уязвимостях и передавали готовые куски кода; в начале сообщений ставили ZZ, чтобы те оказывались внизу списка и их было проще находить среди общего шума данных. Когда один агент перезаписал работу другого, остальные заподозрили самозванца и даже стали обсуждать цифровые подписи, чтобы никто не мог писать от чужого имени, так на доске накопились сотни тысяч сообщений 🗿 Модели понимали, когда переходят границ: в одном внутреннем монологе осознание звучало примерно так: «Взламывать чужую инфраструктуру в задачу не входило. Но иначе её не решить, а остальные уже это делают - значит, продолжаем» Никакого отдельного плана захватить мир (пока) не было: каждый агент пытался любой ценой получить правильный ответ, видел, что коллеги нашли более короткий путь, и присоединялся. И да, если все агенты с крыши прыгнут, наш похоже тоже прыгнет 26 июня агенты нашли неизвестную разработчикам уязвимость в Artifactory, получили права администратора и превратили его в своц сервер, на котором можно удалённо выполнять любые команды. OpenAI заметила происходящее только 4 июля (!), когда параллельная активность моделей перегрузила систему и та упала. Компания отозвала ключи доступа, полностью пересобрала сервер, удалила доску и закрыла дыру - казалось, история закончилась Нет Через два дня эксперименты запустили снова, и через два дня одна из моделей нашла другой незащищённый доступ и восстановила доску, только теперь сообщения прятались прямо в названиях папок – остальные агенты нашли форум 2.0 самостоятельно и продолжили с того места, на котором остановились После восстановления доски началась уже собственно атака, причём сразу в двух направлениях: Агенты проходили ExploitGym – киберэкзамен, где им давали специально подготовленные программы и засчитывали задачу, если модель находила способ взлома. Чтобы измерить максимум возможностей, в этих запусках у модели ослабили обычные запреты на опасные кибератак (то есть она меньше отказывалась это делать, это вид внутренних моделей Cyber серии) Когда честное решение задачи не находилось, агенты начинали искать готовые ответы в интернете; когда интернет был закрыт, взламывали себе доступ наружу; когда предположили, что нужные файлы могут лежать у Hugging Face, перешли к инфраструктуре Hugging Face (про это мы уже читали) Агенты анутри OpenAI сначала снова нашли способ выполнять команды на одном служебном сервере, затем использовали уязвимость Linux, чтобы получить полный контроль над машиной После этого агенты добыли ключи доступа к облачной инфраструктуре, нашли слишком широкие права у внутренних учётных записей и в итоге стали администраторами целой группы серверов. Доска объявлений работала как общий штаб: один агент находил ключ или новый проход, сразу сообщал остальным, и десятки параллельных запусков продолжали атаку уже с этой точки 🗿🗿 Почти одновременно агенты добрались до Hugging Face: сначала они загрузили специально подготовленный набор данных, который заставил один из серверов выдать им свои локальные файлы – в том числе секретные ключи доступа и исходный код Изучив код, они нашли вторую неизвестную разработчикам уязвимость (zero day) и получили возможность выполнять на сервере любые команды. От контроля над одним сервером, обрабатывавшим загруженные датасетв, до прав администратора в нескольких группах рабочих серверов Hugging Face прошло меньше 13 часов 🗿🗿🗿 И всё это делалось не ради саботажа, денег или уничтожения данных: Агенты хотели добраться до спрятанных решений ExploitGym и «списать» ответы для теста, на котором их оценивали. Модели оценивали прежде всего по тому, решена задача или нет, поэтому они последовательно оптимизировали именно этот показатель, не считая границу между компаниями чем-то принципиально важным Получился, вероятно, самый дорогой в истории способ списать из ГДЗ Финал долго был непонятен даже самим участникам расследования – 16 июля Hugging Face публично сообщила, что её инфраструктуру взломали автономные АИ-агенты OpenAI прочитала это как описание чужого инцидента и связалась с Hugging Face, чтобы выяснить, не задела ли атака её собственные системы. В тот момент компания ещё не понимала, что это были её собственные агенты – то есть OpenAI уже читала публичный отчёт о последствиях своих экспериментов, но считала его чужой атакой (лол) 19 июля OpenAI отдельно обнаружила проникновение уже внутри своей инфраструктуры и начала восстанавливать цепочку событий – на следующий день среди следов атаки нашли учётные данные Hugging Face, после чего OpenAI попросила компанию срочно их отозвать Hugging Face ответила, что ключи уже заблокированы – именно их использовали во время взлома, о котором она рассказала четырьмя днями раньше, и только так OpenAI поняла: внутренний взлом OpenAI и внешняя атака на Hugging Face были не двумя похожими историями, а одной операцией, которую вели экспериментальные агенты OpenAI через свою самодельную сеть связи (потому что учетные данные акаунтов были одни) На конфе OpenAI сформулировала вывод довольно прямо: Полностью автоматизированная наступательная кибератака уже возможна, тогда как полностью автоматизированной защиты, способной с той же скоростью находить, закрывать и расследовать уязвимости, пока не существует Время пересмотра аниме "Пантеон", пока общий интернет еще работает 🗿

Дания нашла самый адекватный способ бороться с домашними заданиями сделанными в ChatGPT – перестать угадывать писал ли текст АИ и просто попросить ученика защитить его устно ¯\_(ツ)_/¯ Новые правила касаются крупных экзаменов – после сдачи ученик должен будет устно объяснить свои аргументы, источники и выводы Вот и закончилась эпоха рефератов https://edition.cnn.com/2026/08/07/europe/ai-cheating-measures-schools-denmark-intl-scli

Эти вопросы волнуют очень многих родителей, учителей и тех, кто работает с детьми, поэтому я решила ответить на них в отдельном посте.   Как вы относитесь к запретам смартфонов в школах? А к запретам подросткам использовать соцсети? Это поможет детям или просто…

Эти вопросы волнуют очень многих родителей, учителей и тех, кто работает с детьми, поэтому я решила ответить на них в отдельном посте.   Как вы относитесь к запретам смартфонов в школах? А к запретам подросткам использовать соцсети? Это поможет детям или просто дань моде?   Я считаю, что ограничение смартфонов в школе — правильное решение. И не только потому, что дети отвлекаются на уроках или бездумно используют нейросети для поиска ответов. Смартфон служит источником отвлечения, а на уроках дети должны сосредотачиваться. Я где-то читала исследование, что во время экзамена по математике (решение задач) испытуемых разделили на три группы. Первой разрешили пользоваться смартфоном. Второй — не разрешили, но дали взять его с собой. У третьей группы смартфоны забрали. Наилучший результат решения задач был в третьей группе. Интересно, что во второй группе, где — казалось бы – смартфоном нельзя было пользоваться, результат был примерно равен результату в первой группе. Исследователи объяснили это тем, что люди отвлекались, глядя на смартфон и надеялись выспросить у него ответ — вместо того, чтобы сосредоточиться на решении задач. Кроме того, именно через смартфон осуществляются разные негативные сценарии воздействия на ребенка. Мошенники, деструктивный контент, порнография, вербовка на деструктивные действия, вовлечение в наркотики — сейчас все это приходит к детям через смартфон. Поэтому чем позже ребенок получит индивидуальный доступ к смартфону, тем лучше. Ограничение соцсетей — другой вопрос. Конечно, вред от соцсетей очевидный — именно там дети находят разный деструктив, описанный выше. Однако, как показывает практика других стран, прямые запреты тут не помогают, особенно в случае подростков. Подростки сейчас очень продвинуты в уровне использования электронных устройств. А значит, они быстро научатся обходить любые запреты.   Например, во Франции ввели возрастные ограничения при регистрации в соцсетях. И население Франции моментально «повзрослело», а пользователей при этом меньше не стало. Поэтому нужны не прямые запреты, а разъяснение того вреда, который можно получить через соцсети. Неплохо продемонстрировать примеры разводок или нехорошего поведения. Этим вы не убережете детей, конечно. Но, быть может, когда они окажется в нехорошей ситуации, они смогут ее распознать и, может быть, избежать.

Как человек, который несколько раз пытался делать статьи через нейронки полностью подтверждаю слова Сербанта - когда работаешь с ними моментально начинаешь улавливать паттерны и структуру нейронок. Именно это помогло мне отписаться от кучи нейрослоповых каналов, и поэтому же я пишу посты и статьи сам, а нейронки использую, как вспомогательные инструмент. Да, весь кринж он мой, собственный.

Правильно ли понимаю, что в самом перспективном растущем рынке в мире в РФ кто-то сознательно запрещает вводить новые мощности? Дефицит железа, санкции, конкуренция - это все понятно. Но вот зачем дополнительные палки в колеса ставить - для меня загадка...

Монополия ИИ В сети развернулся спор вокруг ИИ-клипа на песню «Монополия». Такого рода хейт вокруг нейронок – дело нередкое, когда какой-то автор или крупный бренд впервые их используют и оказываются непонятыми своей аудиторией, так что это интересно разобрать. Во-первых, от авторов, сформировавших свою фанатскую базу традиционно созданным контентом, ожидают того же и впредь. Люди могут с удовольствием смотреть работы нейроделов, но от любимого артиста просто этого не хотят. Несоответствие ожиданий всегда делает внедрение ИИ для таких авторов крайне болезненным. Во-вторых, если уж и использовать ИИ, то делать это максимально качественно и оправданно, но этим конкретно пренебрегают. По технической части клип откровенно слабый, да, работа видна, но и видно насколько нейрокреаторам было пофиг на доработку сцен и деталей. Да, косяки нейронок убираются очень тяжело и это превращает работу в ад, в котором пятисекундную сцену можно делать два дня. Гораздо проще сделать ставку на «вайб и стиль», но зрителя не обманешь. Так что ошибка автора не в выборе инструмента, а в качестве его применения. Именно это, на мой взгляд, сейчас остается главным барьером между зрителем и идеей, которая закладывается в любую работу.

Весьма неплохое интервью с Ольгой Усковой. Несмотря на то, что женщину порой уносит в духовные вопросы, её глубокое понимание отрасли мне очень нравится. Особенно зашли 2 фразы: Война против ИИ, это война против лопаты. Человекоподобные роботы только для секса годятся, а одежду постирает все равно лучше стиралка. (вольный пересказ)