ИИ Cерафимодальность

Вотермарки Клода работают ровно как я описал, никаких хитрых дополнений. А значит, они уязвимы к двойному переводу https://www.anthropic.com/news/claude-text-watermark

сегодня вместо сна послушал интервью Скотта Ааронсона подкасту Градиент про его рисёч в OpenAI. Скотт — ведущий специалист в квантовых алгоритмах, но интересно не это (я про эту область не знаю вообще ничего), а то, что его наняли ровно для того, чтобы решать проблему Safety AI, и нанял лично Илья Суцкевер. причём на этом поприще Скотт занимает довольно яркую позицию: называет Юдковски ИИ-думером, высмеивает суперинтеллект, занятый производством скрепок и т.д. во-первых, из интервью я наконец узнал, как (будут) устроены вотермарки на сгенерированные текст, это изящно. у предсказания токенов есть параметр теплоты: какое слово из множество вариантов стоит поставить следующим. известно, что наиболее человекообразные тексты получаются, если не брать самое вероятное слово, а брать что-то из топа. так вот, идея вотермарки состоит в том, чтобы менять параметр теплоты предопределённым образом, чтобы потом можно было для любого текста посмотреть это распределение. минус, естественно, в том, что для такой проверки нужно собственно быть OpenAI — то есть все влажные мечты копирайтеров про универсальный определитель сгенерированного текста можно (по крайней мере пока) отложить. ну и Скотт честно признаётся, что даже такой метод никак не обезопасит от того, чтобы текст сначала сгенерили на другом языке, а потом перевели обратно (например, транслейтером). задача, говорит, не в том, чтобы победить в кошки-мышки, а в том, чтобы быть более быстрой кошкой, и сделать труд мышки слышком дорогим. интересно, что на момент записи подкаста (май 2023) такой системы ватермарков ещё не было — то есть не факт, что они и сейчас есть, в GPT-4. ещё я задумался, можно ли похожим образом определять авторство конкретных людей. насколько «непохожесть следующего слова на предсказанное гпт» — постоянная метрика человека? если бы я сейчас был в академии, попробовал бы это поизучать. во-вторых, много говорили про, собственно сейфити. тут я как следует разочаровался, потому что хороших аргументов у Скотта нет. на аргумент про скрепки он ответил, что не понятно, почему сверхумный алгоритм сделал бы настолько сверхглупую вещь. и вообще, почему ИИ-думеры рассматривают ничтожную вероятность, что ИИ нас всех убьёт, игнорируя вероятности, что ИИ остановит все войны и наступит полная миссис Дэйвис. тут ведущий ничего не ответил, а я со своей стороны бы сказал — потому что это маловероятное событие с фатальными последствиями. человечество улучшает самолёты и поезда не до тех пор, пока они не будут попадать в аварии в 50% случаев, а пока этот риск не будет сведён к абсолютному минимуму. сам Скотт в своём блоге оценивает опасность уничтожения человечества ИИ в 2%. два процента! это же дохуя! но есть и хорошие новости, правда, снова полученные по аналогии: «если есть что-то, что мы узнали из текущего поколения ИИ, это что они обучаются хоть и не таким же, но похожим на людей образом. перед тем как стать хорошими в тексте, они сначала посредственные в тексте. перед тем как научиться рифмовать, они пишут посредственные стишки. поэтому перед тем как разом уничтожить человечество… в общем, не думаю, что это может произойти внезапно» тут я прям хрюкнул, хорошо. рассказал и про киллсвитч: идея просто ящика с выключателем это хорошо, но в идеале должно быть что-то универсальное. например, промпт, который может ввести любой, и который активирует невидимые для системы механимы отключения. здесь конечно хочется пуститься в сайфайные спекуляции в духе Уоттса, но мы не будем. а сама область, говорит Скотт, называется НЕЙРОКРИПТОЛОГИЯ. сурово. любопытный мужик, интересное интервью, гипотеза, что можно слушать англоязычные подкасты чтобы быстрее уснуть полностью провалилась. https://podcasts.apple.com/fr/podcast/the-gradient-perspectives-on-ai/id1569777340?i=1000612647638

Сегодня все обсуждают вотермарки в ChatGPT и как они будут устроены, а я об этом уже писал к выходу ChatGPT-4 два с половиной года назад, когда этого канала ещё не было. Технология очень любопытная.

Наша любимая рубрика «Мир инсульта»: в Google Earth завезли нано банану. Что? Да.

«В последние дни было много обсуждений моделей с открытыми весами, особенно этих, китайских». Дарио конечно умеет коротким вводным предложением показать и что он думает о проблеме, и, особенно, о её источнике. https://www.anthropic.com/news/position-open-weights-models «Подводя итог моей и антропиковской позиции, мы не возражали и не возражаем против открытых моделей в принципе. Вместо этого мы должны сосредоточиться на том, чтобы мощные чипы не попали в авторитарные руки, остановить промышленную дистилляцию, и требовать тестирования безопасности для всех достаточно способных моделей, хоть открытых, хоть проприетарных»

"Прикольно, что модель для расшифровки голоса Whisper Large-V3 (OpenAI) при работе с русским языком порой по каким-то причинам заменяет произвольный фрагмент услышанного на одну или несколько идущих подряд фраз "Вопрос в том, что все выступления сегодня говорят о мощнейшем безобразии." " (из фейсбука) Это просто очень круто. Проверил наугад несколько примеров, которые находит поиск в Гугле; это все какие-то видео с субтитрами. Смотришь видео, вполне внятный голос, внезапно вместо следующей фразы идет "вопрос в том, что все выступления сегодня говорят о мощнейшем безобразии". Мы смотрим долго в бездну, и бездна смотрит в ответ на нас. И говорит: вопрос в том, что все выступления сегодня говорят о мощнейшем безобразии.

лучшая игра все топовые модели на вопрос о любимой видеоигре выбирают одну и ту же; по совместительству — лучшую игру, в которую я когда либо играл. (особенно забавно конечно что модели Сол, Терра и Луна — тоже) эксперимент AI Village

в клодкоде тем временем теперь можно собирать iOS приложения (но у меня все равно квота кончилась)

Почему топовейшие модели уходят в опенсорс? Фейбл пришлось убрать из открытого доступа по срочному звонку из то ли Белого Дома, то ли Пентагона, а сегодня аналогичная модель доступна за ~$30 в месяц и ее веса в открытом доступе. Прошло меньше двух месяцев. Услышал хорошую мысль про это: сами модели всегда доступны и не так уникальны в силу дистилляции, доступности данных и открытости рисерча, а вот инфраструктура нет. Реальный дефицит это электроэнергия, чипы, память, генерация, трансформаторы и турбины. По многим из этих вещей Китай в целом сильно впереди, поэтому баланс не так очевиден, как кажется многим. Да, США инвестирует пару триллионов в физическую инфраструктуру для ИИ, но производство той же инфры в Китае стоит раза в два дешевле.

а знаете где ещё дешёвая электроэнергия, атомная энергетика и нет проблем с охлаждением?

эстетика новой кими просто охуеть (первое видео она смонтировала сама)

Рома говорит, ничего не ясно, сайт скучный. Я вообще рекомендую просто скачать и попробовать, у них именно процесс настройки волшебный, но вот короткое видео про продукт и как он работает

by far лучший оупенинг ИИ-продукта на компьютере что я видел, просто фантастика как здорово и изящно всё придумано и сделано. https://www.heyclicky.com/

у меня кончился лимит на фейбл, так что я пошёл проведать GPT app и это кошмар не только интерфейсно, он ещё и свой хвалёный браузер тупо запустить не может.

Серафимодальный прекл

https://x.com/goodside/status/2076666938957156852

какое интересно лицо сейчас у всех кто мне полгода рассказывал, какой у чатгпт замечательный дизайн или я должен говорить "замельный дизайн", ведь ЧАТ ИЗ НЕГО УБРАЛИ (но, к слову, новая gpt модель очень хорошая. пользуйтесь ей через Zed или Superconductor)