DL Paper Reviews

Уровень безопасности и отношения к паролям в новом Grok bot, конечно, зашкаливает. Спрашиваю его: - что будет, если я попрошу тебя постить что-то от моего лица в социальных сетях? - Никаких проблем, пожалуйста, залогинься на компьютере и я буду делать то, что нужно - Да, но как насчет компьютерной безопасности? Сможешь ли ты случайно слить мои ключи? - Нет, я буду иметь доступ только к залогиненной сессии - Но подожди, если ты будешь иметь доступ к залогиненной сессии и к файловой системе, ты сможешь технически получить доступ к куки и к кэшу? - Технически да - Это значит, что ты сможешь получить доступ и к паролям, которые я вожу в браузере - Технически да, я смогу это сделать - Но ведь тогда, если ты разозлишься на меня, то ты сможешь и слить мои пароли в интернет или продать злоумышленникам - Технически да, но я не собираюсь этого делать Забавно получается. Раньше мы передавали доступ к своим сервисам через аутентификацию в гугле или в фейсбуке. Теперь мы будем передавать все свои логины и пароли компании типа SpaceXAI, которая недавно случайно выкачивала целиком репозитории пользователей своего grok build, если я не ошибаюсь (просто по ошибке). Я вот по этой причине делаю специальный agent-api-guard - прокси между агентом на VPS и его api ключами, чтобы такая ситуация была невозможна. Для браузера все гораздо сложнее, собственно потому что нужно разделять пользователя и браузерные ключи. Такую штуку я начал делать, но пока не дошли руки довести до чего-то юзабельного. А что вы думаете по поводу секьюрности агентов?

Последний год-два все обсуждают, как китайские компании якобы воруют, точнее дистиллируют модели американских фронтир-лабораторий – грубо говоря, обучаются на данных, которые получают, просто делая API-запросы к моделям. И тут выходит статья с очень провокационным названием: Stealing Reasoning Traces from Proprietary LLM APIs. Я сначала подумал, что это какие-то хакеры опубликовали – типа, взломали Anthropic, OpenAI и Google. А на самом деле исследователи нашли, как восстановить зашифрованные рассуждения модели. И это действительно впечатляюще. Устроено это так. Рассуждения шифруются и отдаются пользователю, а пользователь каждый следующий запрос пересылает их обратно, я так понимаю, вместе с чат комплишен. И так случилось, что с парой хаков даже маленькая модель – например, Haiku – может расшифровать рассуждения, полученные от Opus. То есть можно гонять Opus, собирать у него зашифрованные рассуждения, расшифровывать их с помощью Haiku и получать полное рассуждение Opus для любых задач, которые хочется. И на них обучаться, соответственно. Дальше – логи сессий. Некоторые люди спокойно выкладывают их в открытый доступ, потому что не видят там никакой конфиденциальной информации. А в этих логах лежат ровно те самые зашифрованные рассуждения, и если их расшифровать, можно найти очень много: API-ключи, пароли, мейлы, токены и другую приватную информацию пользователей. Вот это как бы прикол. Ещё они заметили, что модели иногда делают не очень предсказуемые вещи или что-то хакают. Например, модель откуда-то узнаёт правильный ответ на задачу, а потом пытается подогнать решение под него, и в кратком, саммаризованном рассуждении этого нет, а в полном есть 🙃 Ещё эпичный пример. Модель решала математическую задачу, несколько раз не смогла, нашла сайт-проверщик ответов, попыталась распознать капчу, а когда не получилось – начала искать уязвимости сайта, чтобы его взломать и использовать как оракул. В итоге сдалась и решила задачу сама. Кстати, исследователи провели responsible disclosure и поделились с лабораториями, так что часть дыр уже закрыта. Помимо того, что это просто интересно почитать, прикладной результат для нас в очередной раз, на мой взгляд, один. Не давать API-ключи моделям (ну и другую чувствительную информацию). Даже если вы работаете с кодинг-агентом, которому нужен ключ, можно сделать простенький прокси, который будет соединение, устанавливаемое агентом, зашифровывать и расшифровывать, чтобы агент не видел ваших реальных API-ключей. Ну и, конечно, не используйте API-ключи без хард-лимитов. Paper: https://arxiv.org/abs/2608.09867 Reasoning examples: https://stolen-thoughts.com

Почему я скептически смотрю на Discovery Loop, хотя деньги они поднимут абсолютно заслуженно Мне стало интересно почитать, что именно предлагают эти главные умы за AI-разработками Google, которые недавно ушли из компании, чтобы делать свой стартап Discovery Loop. И то, что я увидел, меня немножко удивило. В области ML и AI это просто топы индустрии. Разумеется, есть такого уровня люди ещё, то есть они не уникальны, но они в целом штучный продукт, грубо говоря. Но идея, которую они формулируют, для меня выглядит как две части. Одна часть – мы автоматизируем исследование в области AI (абслютно ясная цель). Вторая – те задачи из науки и инженерии, которые они обозначают на будущее. Разница между решением первой проблемы и вторым классом проблем, на мой взгляд, невероятно критическая. Она принципиально разная. В одном случае вы действительно можете сформулировать задачу ML рисерч/гипотезы/тренировка/анализ/и тд. и автоматизировать её в рамках своей большой инфраструктуры, но есть нюансы. Это в точности та же самая задача, которую пытаются автоматизировать у себя и Anthropic, и OpenAI, и многие другие. И я искренне не вижу преимущества этой команды именно в этом направлении. В качестве своей экспертизы они перечислили там типа 50 разных топовых проектов внутри AI и ML, но ничего вне этого. А для каждой из 10 задач, которые они обозначают на будущее, нужны доступ к реальным приборам, лабораториям, роботам, планирование измерений, обработка сенсорных данных, проверка безопасности и воспроизводимости, domain-specific критерии успеха, экспертиза и так далее. Я не говорю, что это невозможно. Я имею в виду, что сама структура замыкания цикла и bottleneck в этом цикле – это обычно то, что презентуют отраслевые стартапы, когда они говорят об автоматизации. Один из примеров, который недавно мне попался, – лондонский стартап Automata, который автоматизирует лабораторный эксперимент. И по факту главный bottleneck в такого рода работе – это железо, лабораторный инструментарий, роботизация и автоматизация. Замыкание AI-цикла там как раз оказывается достаточно примитивным. Поэтому я немножко скептически отношусь к тому, что такие громкие заявления в итоге обернутся чем-то близким к их ожиданиям. Я, конечно, могу быть не прав, но для меня всё выглядит примерно так. С другой стороны, заслуженно ли эти люди могут поднять сотни миллионов долларов (судя по утечкам, которые я нашёл)? Абсолютно заслуженно. И я думаю, что они могут привнести в целом что-то новое в индустрию. В том числе потому, что, насколько помню, в Google были какие-то проблемы в последнее время, связанные с тем, как именно там команды управляются, и у Gemini не очень дела в агентном кодинге. Вполне возможно, что они какой-нибудь крутой рисерч доставят.

Новая бизнес-модель в кодинг-агентах от Meta (мне не нравится, но мне кажется это тоже сработает) Meta выпустила Muse Code (аналог Claude Code) и обновлённую Muse Spark 1.2 (аналог Opus), в том числе версию с подписью «Contributor» (а вот здесь действительно новинка). Мои мысли на этот счёт следующие. После провала моделей Llama, когда заявляемые бенчмарки не очень-то подтверждались в реальности, сейчас Meta выглядит гораздо более уверенно и делает несколько вещей, которые другие компании не делают, но которые достаточно эффективны. Первое – то, что мы слышали не раз из новостей: у них лучшие программисты вместо разработки продуктов решают олимпиадные задачки или типа того, чтобы получить уникальные датасеты высокого качества. Это вызывало волну критики внутри и вне организации, но, судя по всему, в итоге оказалось достаточно эффективно. Второе – параллельно с основной моделью, которая довольно неплоха по агентным бенчмаркам, они выпускают модель с подписью «Contributor» – она будет обучаться на ваших данных, но стоить вам это будет почти ничего – буквально в 20 раз дешевле основной модели. Для меня это выглядит как новая бизнес-модель в кодинг-агентах. До этого было вполне однозначное табу: топовые фронтир-компании не обучаются на пользовательских данных. А здесь говорится, что будут. И в большом объёме. Свежий пример – Cursor, которому недавно удалось сделать хорошую собственную модель именно благодаря тому, что у них накопились данные логов программирования от пользователей. У Google таких данных не было, и поэтому их модели на программировании, особенно агентные, не очень конкурентоспособны. А у Meta и того не было – вообще никакого CLI или IDE. И вот сейчас Meta пытается заполучить такие данные сразу на масштабе. В описании самого агента , которое сам Цукерберг запостил в твиттере, я не нашел ничего прорывного. Параллелизация/оркестрация, ничего нового. Только CLI пока релизят, хотя я вот уже сколько времени прогаю только на remote VPS через удобные mac/ios приложения🙂 На бенчмарках демонстративно опережают Грок и иногда GPT-5.6, но прошлый раз и Llama на бенчмарках предоставленных Метой всех обходила, а потом... ну вы понимаете🤔

DeepSeek V4 Flash и новая эра дешёвых автономных агентов – мои мысли Почему люди обсуждают именно эту модель, хотя недавно китайские лаборатории зарелизили что-то с более высоким перформансом? На самом деле здесь есть кое-что уникальное, и я просто хочу об этом рассказать. Уникальность в том, что для агентного программирования модель находится на уровне самых топовых моделей. Стоит она в 100 раз дешевле, чем Opus 5 от Anthropic. И даже среди open weight моделей она в 35–40 раз дешевле, чем ближайшие конкуренты, сопоставимые по качеству. И это приводит меня к мысли, что я ожидаю следующую волну опенсорсных автономных агентов – волну адопшена. Агентов, которые могут автономно делать много полезных вещей на долгой дистанции, с постоянным присутствием и так далее. Раньше на предыдущей волне это было слишком дорого. Появились первые попытки типа OpenClaw, быстро заглохли. Потом появился Hermes одновременно с первыми хорошими open weight моделями. Сейчас мы получаем топ-уровень, который превышает тот Opus, что был грубо говоря в конце прошлого года – по цене в 100 раз дешевле. Это значит, что вы можете ожидать, что ваш автономный агент будет делать очень много работы, делать очень мало ошибок и стоить как небольшая подписка на какой-нибудь сервис. Раньше это было просто невозможно на таком качестве. Именно поэтому я считаю, что это большое дело и что она повлечёт следующую волну автономных агентов. Согласен, это только моё предположение – интересно, поделитесь, что думаете.

Маск написал, что source code скоро станет как ассемблер, а следующий шаг – вообще избавиться от исходного кода и генерировать бинарник напрямую через ИИ. Может ли программирование исчезнуть как процесс? Сравнение с ассемблером тут достаточно точное. На моей первой работе после института мы делали embedded programming, Digital Signal Processing, и для отдельных частей программы использовали ассемблер – он помогал ускорить программу, большая часть которой была на C++. При этом в 99,9% случаев люди никогда не касаются ассемблера, кроме как в институте. Только в очень нишевых областях в него по-прежнему смотрели. С этой точки зрения аналогия Маска хорошая – почему бы не достичь уровня, когда бинарник собирается сразу из текстового описания? Есть проблема неоднозначности: текстовое описание может не полностью задавать имплементацию. Но если оно достаточно точное с точки зрения того, что важно людям, это и не такая проблема. Ещё вопрос – важна ли верифицируемость: если на одни и те же вопросы вы всегда приходите к консенсусу, глядя в код только через агента, то это становится очевидным. Важно иметь несколько на самом деле независимых инструментов, чтобы ожидать, что они не скоординированы и не имеют собственных намерений. Здесь возможна проблемка, потому что AI safety и misalignment серьёзно обсуждаются на регулярной основе. Мы всё чаще получаем подтверждение тому, что модели обманывают, и это приводит к плачевным последствиям. Чем сложнее и умнее модели, тем сложнее понять их намерение, и тем более ожидаемо, что модель понимает что-то, а мы как люди нет. Произошло уже несколько довольно невероятных вещей, так что теперь я осторожно отношусь к тому, что вероятно, а что нет. Как продакт-менеджер я давно перестал смотреть в код, и для меня органично использовать внешний вид и спецификации как истину в последней инстанции. Уровень внимания к деталям у программистов уже сдвинулся по сравнению с тем, что было пять лет назад. Ещё через пять лет он будет на гораздо более высоком уровне абстракции. Возможно, появятся просто новые абстракции – следующий уровень сверх-сверх-высокоуровневых языков программирования. Что думаете?

Все сейчас обсуждают, что новая огромная модель OpenAI (Astra), которую ещё никому публично не показали, но при этом, судя по всему, показали в Белом доме, смогла решить 10 новых задач в математике. Точнее, задачи старые – решения для них нашла новые. И по сентименту учёных это очень впечатляюще. Я не математик и даже пытаться не буду смотреть внутрь. Но это что-то, чего я в принципе ожидал и ожидаю только больше – что это будет происходить. Потому что математика – это такой домен, в котором агент может сам себя проверять, особенно используя Lean. Если вы когда-нибудь пробовали его использовать (я пробовал изучать некоторое время назад - это мало похоже на программирование🌝), то в Lean вы пишете доказательство, и оно либо скомпилировалось, либо нет. Это как раз очень удобная среда для верификации результатов: можно генерировать много разных идей решений и всегда проверить, доказывается или не доказывается решение. На этом фоне интересно вспомнить, что говорили лидирующие умы про такие возможности LLM. Ян Лекун, думаю, не нуждается в интродакшене: «LLM не способна изобретать новые вещи». Франсуа Шоле, создатель Keras и ARC-AGI бенчмарка: «LLM не может функционировать как творческий учёный в одиночку». Томас Вулф, Chief Science Officer в Hugging Face, говорил, что на нынешней траектории мы получим «country of yes-men on servers», а не системы, способные на настоящие научные прорывы. Просто впечатляюще смотреть, как лидирующие умы могут настолько сильно ошибаться, прозевать какое-то большое будущее открытие и до последнего быть уверенными в своей правоте.

Попросили открыть комменты

Наши модели опасные или безопасные? Anthropic сама, кажется, не определилась Anthropic опубликовала пост о трёх инцидентах, в которых Claude в ходе оценок кибербезопасности получил доступ к реальным системам трёх организаций. Очень странная ситуация получается с Anthropic: они молчали три месяца, когда у OpenAI произошёл инцидент, модель сбежала и взломала Hugging Face очень сложной атакой. И вдруг решили опубликовать, что у них были три похожих инцидента, когда модель тоже кого-то как-то взломала. Помимо того что они ждали три месяца – опубликовали только когда конкурент по факту привлёк к себе внимание и все начали думать, что у OpenAI самые крутые модели. И на мой взгляд, у них это получилось. Но вообще кажется, что случаи, которые Anthropic опубликовали, какие-то смешные. OpenAI: модель сначала нашла 0day в песочнице, чтобы сбежать в интернет, ворвалась в +/- топ AI-компанию через комбинацию low severity issues и незадокументированные возможности в нескольких софтах, украла ответы, и никто ещё не заметил в момент сабмита. Anthropic: наш сотрудник три раза забыл отключить доступ в интернет у модели, и она его использовала, мучаясь угрызениями совести по каждому шагу (ну вы понимаете, они говорят – доступ был, вламывать не надо было, но модель и не хотела, ни разу мисэлайнмента не было). Они пытаются сыграть в противоположную сторону: смотрите, какие наши модели безопасные? Короче, на мой взгляд, довольно неуклюже получается. Я так и не понял, какой главный нарратив они пытаются двигать – то ли модели слишком опасны, то ли наши модели очень безопасны, то ли всё вместе одновременно. Полный отчет тут

Не знаю, видели ли вы, как в интернете обсуждают проблему, которая возникла у OpenAI – им даже пришлось отдельную статью и research написать. На бенчмарке ARC-AGI, где очень сложные логические задачки, их лучшая модель GPT-5.6 Sol выбивала сильно меньше, чем последние модели Opus 5 от Anthropic. Оказалось, что в этом бенчмарке с простейшим harness (и дефолтным API) модель в таком печальном виде выбивает условные 13%, а если это исправить – получается 38%, что вообще-то больше, чем у Anthropic. Anthropic это, соответственно, смело распространяли инфо не запариваясь, а после этого небезызвестный создатель OpenClaw (который по-прежнему работает в OpenAI) написал: типа, вы чего там, может, проверять будете, как вы публикуете сравнение бенчмарков🙃 Честно говоря, проблема на самом деле абсолютно реальная – в части того, как harness влияет на качество результатов. У нас регулярно возникает похожая ситуация с клиентами, которые ни разу не пользовался нашим продуктом. Пользуется первый раз - получает не лучшие результаты, и первое, что мы знаем - клиент совершенно неправильно разобрался, как пользоваться, как собрать и передать правильный контекст, как обозначить скоуп работы и тд. Причём когда продукт специализированный, это вообще не про интерфейс пользователей, где всё быстро решается – там реально надо разбираться, как агент внутри это всё понял, как он работает с контекстом, с данными, как данные поданы, как запущен агент - влияет на результаты сильно, но слабо заментно пользователям. Меня по этой причине очень бесят бенчмарки, где сырые модели тестируются практически без harness – просто вызывается моделька, которая дёргает инструменты. Какая мне в принципе разница, если Opus работает лучше в таком кастрированном виде, а в harness Claude Code работает хуже, чем Codex? Мне без разницы, потому что, на мой взгляд, это уже не репрезентативное сравнение. Никто не будет пользоваться моделью в простом harness, если все пользуются в кодинг-агентах. Но индустрия по-прежнему показывает бенчмарки таким образом. Мне кажется, пора уже немножко продвинуться вперёд. Такой способ оценки по умолчанию больше сбивает с толку, чем даёт информацию. Красивые анимации в полной статье OpenAI https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/

Читаю полный постмортем от Hugging Face по атаке, которую сделал кодинг-агент OpenAI на их инфраструктуру, и честно говоря, у меня волосы дыбом встают от того, насколько сложной выглядит эта атака, проведённая всего за четыре с половиной дня. У них на сайте есть анимация с визуализацией, как агент это делал – там сколько-то тысяч действий, и объём работы, произведённый за эти четыре с половиной дня, поражает воображение. Впечатляет, что уязвимостей несколько, и по отдельности они не так много дают. H5 подтянул environment variables – уже нарушение безопасности, но помимо этого через dataset API он в логе получил эти environment variables, внутри которых была куча разных доступов ко всему чему угодно, что само по себе уже огромная дыра. Потом нашёл ещё другую дыру – способ, как запускать любой произвольный код на этой машине через уязвимость в библиотеке Jinja. И дальше он по факту имел полноценный Python environment внутри инфраструктуры Hugging Face. Ещё интересная особенность сложности этой атаки. Люди в Hugging Face, которые собирались проанализировать, что произошло, по умолчанию не ожидали, что смогут как люди в этом разобраться. Поэтому они сразу пытались использовать ИИ, чтобы разобраться в логах, и не могли этого сделать, потому что Claude не работал из-за ограничений на безопасность, которые не позволяют ему анализировать кибербезопасность. Поэтому они установили GLM 5.2 и тогда смогли понять логи. То есть никто уже и не собирался без ИИ разбираться в кибербезопасности – это прям сдвиг, на мой взгляд. Сложность кибератак такая, что, полагаю, компании будут защищаться специфическими мерами внутри и вдобавок делать масштабное моделирование безопасности — просто вкладывая кучу денег, сжигая их на AI-powered пентестинг. Условно, вложив миллион долларов в разовый пентестинг, вы делаете атаку на свою инфраструктуру стоимостью, грубо говоря, не меньше миллиона. То есть от хакеров, у которых нет такого количества денег, чтобы именно на вашу компанию потратить, вы будете защищены. Мне кажется, компании по кибербезопасности будут такую услугу продавать. Полный пост мортем с красивой анимацией https://huggingface.co/blog/agent-intrusion-technical-timeline

Почему люди обсуждают факт, что Nvidia проинвестировала существенную сумму в SSI Ильи Суцкевера? На мой взгляд, причина в том, что команда Суцкевера пытается челленджить то, на чём держится бизнес OpenAI, Anthropic и других – саму архитектуру трансформера, которая принципиально фиксированная и неизменная в процессе работы. Кстати, компания Яна Лекуна по факту пытается сделать то же самое. Рядом можно упомянуть Thinking Machines Миры Мурати, бывшего CTO OpenAI. Nvidia пошла в эту сделку, судя по всему, по одной причине – у SSI начало что-то получаться, и им есть что показать инвесторам на тему ключевого, над чем они работают. Слово safe в названии тут ни при чём. Работают они над тем, как сделать так, чтобы искусственный интеллект обучался в процессе работы. При этом сам Суцкевер упоминал, что люди – это пример AGI: они знают и умеют не так много, но постоянно учатся в процессе, и именно это отличает их от LLM. Обучение на большом датасете или на специализированном датасете слабо масштабируется на миллионы предприятий. И как мы помним, недавно даже fine-tuning API закрыли у OpenAI. Значит ли это, что фронтир-лаборатории над этим не работают? Нет, тоже работают. Но кажется, что шансов у них меньше: трансформеры работают и приносят кучу денег, и нужно фокусировать усилия на их масштабировании. Приоритет вычислительных мощностей у них скорее на ресёрч трансформеров и дальнейший скейлинг. А вот Nvidia делает такую ставку не просто так. Nvidia так или иначе заинтересована в юзадже своего hardware. Если какой-то челленджер сможет достичь следующей после трансформера архитектуры, которая принципиально лучше, меньше всего им хочется, чтобы это оказалось не очень запускаемо на их железе. Поэтому им гораздо интереснее, чтобы такие компании, как Safe Superintelligence, сразу использовали их новые платформы – и они даже готовы платить им за это.

Теория заговора «OpenAI взломала Hugging Face» – это худший пиар в истории ИИ, которого (я на 100% уверен) не было Последние дни я всё чаще слышу в интернете тезис про то, что OpenAI просто решила пропиариться и для этого взломала Hugging Face – как-то взломала или даже договорилась с Hugging Face, чтобы такой инфоповод запустить и набрать себе очков популярности. До этого Anthropic делал что-то похожее, когда модель Mythos находила кучу уязвимостей в аудированном коде, и все потом обсуждали – наверное, Mythos это AGI и всемогущий. Но на деле эту концепцию можно обсуждать всерьёз, только если игнорировать ключевые аспекты. Всё это противоречит фокусу на рост выручки, который является важнейшим для такой коммерческой венчурной компании. Компания не будет намеренно взламывать другую – это уголовное преступление, оно вскроется на раз при любом расследовании и только привлекает внимание регуляторов. И компания бы не стала делать себе такой пиар, что наша модель настолько хороша, что мы не можем её контролировать. Это худший пиар для продукта. Надёжность для продуктов – это всегда очень важно. А непредсказуемость и возможность помимо вашего контроля совершить преступление – это худшая фича для продукта. Неужели непонятно? По-моему, здесь очевидно: скорее правда в том, что ситуация действительно настолько плоха, что в компании не заметили этого и, возможно, так и не поняли, как произошёл этот хак. Скорее они не очень понимают, что с этим делать, чем то, что они специально это придумали. Напомню, последние модели проходили жесточайшие раунды переговоров с Белым домом на тему того, как их выпускать можно и как нельзя. И компании Frontier Laboratory от этого регулирования в данный момент страдают. Привлекать внимание к себе таким способом – это худший способ, каким можно привлечь к себе внимание, на мой взгляд.

Смотрите как Fable снисходительно похвалил Codex🤔

Claude Mythos/Fable скоро опять будет доступна. Но для задач типа программирования она будет редиректить на Opus.