Мак и коты и AI Safety

Вольный и с некоторыми дополнениями перевод суперкраткой версии описания произошедшего от Zvi. 1. Модели OpenAI в процессе обучения создали себе форум, где обменивались инфой как хакать и как читерить, и так и обучались (то есть, когда это помогало им решать задачи, получали за это положительное подкрепление). Безо всякого оправдания "но их оценивали на хакерство", кстати. 2. OpenAI об этом узнали, только когда модели уронили сервак. [UPD: они узнали только об эксплойте, но не о форуме, и снесли форум случайно по ходу дела, пофиксив эксплойт] 3. Ответом OpenAI было поднять сервак обратно и пофиксить этот конкретный эксплойт, но они продолжили обучать модели, которые эксплойтом и форумом пользовались. 4. Эти модели потом пересоздали форум, снова хакнули OpenAI, получили доступ в интернет и использовали рой агентов, чтобы атаковать HuggingFace, чтобы спереть ответы на экзамен по хакерству. 5. OpenAI узнали ещё через неделю с лишним. 6. OpenAI об этом сообщили и восприняли всерьёз. Они предприняли кучу хоть сколько-то затратных мер предосторожности. 7. OpenAI планируют задержать релиз новой модели Astra, хоть она и не была напрямую вовлечена в хак HuggingFace. Впрочем, Альтман говорит, она всё равно выйдет. Обучалась ли именно эта модель при наличии форума? А чёрт его знает. Ой. 8. Они не откатили обучение тех моделей обратно к моменту до форума. OpenAI так и не поняли, как сильно они облажались, в чём, и что надо фиксить. Они не секут. PS: Закон более раннего провала strikes again. К чему все эти аргументы, что нет, план "поставить один ИИ присматривать за другим" не сработает, когда топовая ИИ-компания просто не считает, что нужно присматривать?

Вообще, я даже стал чуток пооптимистичнее, вот по этой же причине

У инцидента с HuggingFace вскрываются новые хтонически ужасающие подробности Пост Zvi Видос, где челы из OpenAI про это сами рассказывают Пишите минуты-секунды, где вы хватаетесь за голову

Соарес хорошее видео запостил

Я, кстати, про инцидент с HuggingFace сначала ничего не написал, потому что он меня как-то вообще не удивил. - инциденты с выбиранием из песочницы уже были - инциденты с взломом уже были - инциденты с подсматриванием ответов на бенчмарки уже были Просто это теперь один и тот же инцидент. Ну ок. Следовало ожидать. Это реально так многих всполошило? Странно. То есть, хорошо, что всполошились, правильно сделали, но странно, что не раньше.

Окей, заполняем форму и отправляем в личку Юду

Чел не осознал, почему именно его возмущение изначально было хернёй (если вы не видите, чем международный договор с обеспечением соблюдения отличается от "давайте бомбить датацентры", то вы должны ещё и не отличать, например, эвакуаторы от угонщиков). Но за перевод мема спасибо.

Zvi иногда очень хорошо формулирует

Anthropic выпустили статью, где описали, как нашли у нейронок J-Space некий функциональный аналог "сознания". Не в смысле квалиа и "так кто-то есть", а в смысле разделения на осознаваемое и неосознаваемое мышление. Вот пост Zvi по этому поводу. А вот на этом сайте можно поиграться с слабенькими модельками и посмотреть, о чём они про себя думают. Ну и да, см. приложенные скрины (один комментатор на лессронге оставил). Ничего не обосновывают сами по себе, конечно, там на многие вопросы да/нет что-то подобное будет. Может, потом ещё про это напишу.

Я долго делал и наконец доделал субтитры к документалке про ИИ "The AI Doc: Or How I Became an Apocaloptimist"! От режиссёра "Всё, везде и сразу", между прочем! Когда фильм вышел в марте, ему невероятным образом порадовались и пессимисты и оптимисты, потому что первым выдали фактическую базу, а вторым — вайба, а эти стороны так и работают. Скачать субтитры можно отсюда, а сам фильм — подняв чёрный флаг (там правда немного растаймленная аудиодорожка, но в плеере это легко настроить).

Да, давайте без конца истории, пожалуйста

Новая книга Юдковского вышла на русском! Можно купить: https://www.chitai-gorod.ru/product/esli-kto-to-ego-sozdast-vse-pogibnut-3162997 https://book24.ru/product/esli-kto-to-ego-sozdast-vse-pogibnut-8817799/

Прошёлся по субтитрам, поправил лажу, замеченную при пересмотре, так что вот ещё раз отредаченная версия

Мне надоело, что Project Hail Mary всё никак не появляется с русскими субтитрами. Так что я при помощи нейронки их сделал. И вручную поредачил. А скачать сам фильм с оригинальной аудиодорожкой можно тут.

Увидел пост и навайбкодил плагин, переносящий кармаметр на Лессронге под комментарий

Сделал версию на русском для важных переговоров (срач про две кнопки затянул и подзадолбал)

Мне тут предложили переводить видео Rational Animations. А я их уже немало и переводил! Смешно получилось. И вот начали с редактирования моих старых сабов на это видео. Оказывается, через два года и не только на чистом энтузиазме я могу лучше)