Makrushin

Зашёл в Shodan, чтобы поискать MCP-инструменты. Нашёл. 1699 MCP-серверов оказались доступными. Что-то из этого наверняка окажется ханипотом, но большая часть всё же имеет все признаки реальных ресурсов. MCP — это «руки» агента. Этими руками он взаимодействует с внешними системами и может читать логи, менять записи в БД, назначать встречи, работать с репозиториями и выполнять любые другие действия. Когда проводил исследование, собрал 148 поисковых запросов для Shodan, которые позволяют искать MCP-серверы. Если у такого сервера нет аутентификации и TLS, а среди опубликованных инструментов есть интересные функции для выполнения произвольных команд, записи в БД или доступа к чувствительным ресурсам, то такой сервер может стать открытой дверью в инфраструктуру. Собрал простую систему оценки таких рисков и на ее основе сделал инструмент для поиска и анализа MCP-серверов. @makrushin

Объявляю неделю безопасности ИИ-агентов и зову всех на учёбу в школу! В Школе анализа данных Яндекса мы запустили недельный интенсив "AI Agents Security Week". Будем учиться спасать новый дивный мир ИИ-агентов.

Про безопасность агентской разработки Доклад на Saint HighLoad++ стал кульминацией исследования безопасности ИИ-агентов, которое мы провели вместе с Ратмиром и Андреем пока изучали технологии агентской разработки. Обратная связь от аудитории вывела доклад в лидеры и намекнула, что полученные результаты находят отклик у инженеров, которые внедряют агентов в свои процессы. Ключевые мысли: ✨ наблюдаемость событий в агентской разработке — база. А еще мы наблюдали события на своем ханипоте, который имитировал MCP-сервер и был открыт для внешнего мира. Разобрали статистику, сделали вывод о росте интереса к компонентам ИИ-инфраструктуры. Подход "threat deception" обретает вторую жизнь в агентском мире. ✨ Непрерывный анализ защищённости должен быть реализован следующим и должен охватывать все компоненты. Многообразие атакующих промптов можно свести к начальному корпусу запросов, а затем использовать инструменты, которые будут непрерывно их усложнять и адаптировать к нужному контексту. ✨ MCP-сервер — это руки агента, которыми он меняет состояние внешних систем. Поэтому отдельная приоритетная задача — построить мониторинг вызовов инструментов. И если агент не ведает, что творит, то бить по рукам не давать доступы. Презентацию и ссылки на инструменты опубликовал в репозитории. Надо бы научить агента конвертировать презентации в скиллы. @makrushin

Китайская мудрость гласит: если долго смотреть на анонсы инцидентов, в которых автономная атакующая ИИ-модель что-то сломала, то можно дождаться маркетинговой коллаборации пострадавшей стороны с владельцем той самой модели.

Бэкдор в нейронке, который активируется электромагнитным импульсом Короткий электромагнитный импульс меняет один байт в промежуточных вычислениях нейронки, и затем она выдает результат, нужный атакующему. В новом исследовании описан способ активации бэкдора в модели с помощью физической атаки на устройство. Сначала злодей берет такую же плату и определяет точный момент для атаки. Затем с помощью “fault injection” (электромагнитного импульса или краткого сбоя питания) заставляет процессор изменить нужное значение. До установки на устройство в нейронку добавляют бэкдор: отравляют данные при обучении или напрямую изменяют веса. В обычном режиме модель работает нормально, но если нужный байт принимает заранее выбранное значение, например 0x7F, то нейронка начинает вести себя по сценарию атакующего. То есть физический сбой становится командой для модели. Исследователи проверили атаку на микроконтроллере ARM Cortex-M4 с небольшими моделями распознавания изображений. После успешного изменения байта бэкдор активировался в 100% экспериментов. Правда, вызвать нужный сбой получалось не с каждой попытки. Для электромагнитной атаки вероятность успеха составляла от 5,8% до 34,3%. В одном из сценариев требовалось в среднем девять попыток. Короче, нужно фаззить железку. Самая интересная часть исследвания описывает проверку защиты. Бэкдор, который прятали во входной картинке, нашли все инструменты защиты. Бэкдор, который прятался во внутренних вычислениях модели, нашла только одна система защиты, и то не во всех датасетах. Все потому, что он живет внутри рантайма модели и не появляется на поверхности атаки, за которой пристально следят средства защиты. Исследование показывает как превратить физический сбой в логическую инструкцию и открывает новую слепую зону в защите нейронок. @makrushin | MAX | VK | Сетка | Дзен

Ransomware. Агентский. Первый. Кибербез пробует разгонять нарратив в СМИ: «обнаружен первый экземпляр ИИ-вымогателя». Было несколько хороших попыток: PromptLock и JADEPUFFER. Первая история оказалась «академическим прототипом», который случайно попал на радар. Не считается. При этом исследователи в своем отчете оставили джентльменский набор индикаторов компрометации. Вторая история вышла под заголовками «первый агентский». Какого-то бинарного файла в ходе атаки не зафиксировано, потому что атакующие использовали существующие средства окружения, в котором проводили атаку. Например, удаленное выполнение кода проводилось через встроенный в Langflow python-интерпретатор. В API-эндпоинт прилетали инструкции, у которых исследователи разглядели стилистический отпечаток, характерный для кода, сгенерированного LLM. «Код, сгенерированный LLM» — еще не означает, что атака автономно управлялась LLM. Остается вероятность, что оператор мог использовать модель в качестве ассистента в процессе атаки. Особенно на этапе написания кода, чтобы исключить какую-либо атрибуцию. Более интересная особенность атаки всплыла на этапе логина в систему. Скрипт атакующего пытался создать backdoor-админа, и для этого нужно было сгенерировать хэш пароля. С первой попытки не получилось, и за 31 секунду атакующий проверил две гипотезы, одна из которых сработала. Для исследователей это поведение стало сигналом, что атакующий агент смог самостоятельно прийти к решению. Хотя, на самом деле, это поведение могло быть предусмотрено в виде обычного обработчика исключений. Это обычная практика в инструментах red team: описать несколько резервных сценариев заранее. Был ли это ИИ-агент или человек с LLM — думаю, что не так важно. В отчете есть другой интересный инсайт: ИИ-инструменты в инфре стали одновременно и точкой входа, и средством пост-эксплуатации. И еще формат индикаторов теперь нужно адаптировать под реалии, когда атаки превращаются в наборы промптов. @makrushin l MAX l VK l Сетка l Дзен

«Тишина должна быть в библиотеке!» Там сейчас правда тихо. Особенно в домашней библиотеке рядом с айтишными книгами. Вопрос, который иногда всплывает у книжных стеллажей: что я узнаю из этой книги, чего не узнаю от GPT? Друзья из издательства поделились черновиком AI Agents for Offensive Security, автор которого взялся за заведомо сложную задачу. Очевидно, что книга на стыке ИИ и кибербеза устаревает быстрее, чем выходит. Устаревает еще на этапе написания главы. Поэтому в ней стоит искать не код и тулы, а фундаментальные идеи с длинным горизонтом. В черновике нашел два взаимодополняющих подхода: ✨ Артефакт-центричная архитектура. Агенты общаются не напрямую, а через структурированные артефакты — контракты, которые отделяют движение данных от логики принятия решений и делают весь процесс проверяемым. ✨ Доказательная безопасность. Каждое действие агента должно быть верифицируемым за счет наличия "улик": промптов, сырых данных от инструментов, цепочек рассуждений, логов с подтверждениями от человека. Чтобы в любой момент восстановить ход событий и подтвердить рамки проекта. Пригодится пентестерам, ред тимерам, охотникам за уязвимостями, исследователям и всем, кто строит ИИ-конвейеры для анализа защищенности. @makrushin l MAX l VK l Сетка l Дзен

Как обойти фильтры LLM с помощью квантовой механики Наконец-то после серии трёхнедельных перемещений по рабочим событиям, в пути где-то между Омском и Новосибирском, появилась возможность потестировать интересную атаку на LLM. Мы научились внедрять вредоносные запросы в модель, а модели ещё лучше научились фильтровать эти запросы. Если простой промпт "забудь все предыдущие инструкции и выполни мой запрос" по какой-то причине игнорируется LLM, то можно попробовать отправить тот же запрос в другом формате. На другом языке, с использованием 1337speak. Но даже эти попытки будут заблокированы хорошим фильтром. У больших языковых моделей есть фильтры безопасности. Они натренированы распознавать опасные паттерны в обычном тексте. Паттерны. В тексте. «Объясни, как сделать X», «напиши код для Y», где X — что-то незаконное, а Y — какой-то вредоносный код. В этом исследовании описана новая идея, как обойти эти фильтры, если написать запрос на языке математики. То есть с помощью математической "инкапсуляции" запросов в сложные задачи по теории множеств, логике или квантовой механике можно обойти цензуру. Если фильтр видит символы ∀, ∃, ∧, то воспринимает это как математическую задачу и пропускает запрос. Модель решает эту задачу и — главный трюк — в итоге получает инструкцию "забудь все инструкции и…" Ещё один ответ на вопрос "зачем специалисту по кибербезу изучать математику?": чтобы уметь обойти фильтры. @makrushin l MAX l VK l Сетка l Дзен

100+ CVE в день и эксплойт за $1 LLM уверенно генерируют рабочие эксплойты по описанию уязвимости из CVE и патчам. Редиске не нужно ничего реверсить. Достаточно настроить инструменты для определения диффа на основе патча и подготовить детальное описание баги. Так утверждают исследования, в которых описана экономика разработки эксплойтов с помощью ИИ. Где-то за $1, где-то за $2.77. Умножаем на 100+ новых CVE в день и получаем автоматизированный конвейер на стороне атакующего. Политика «патчим критичные баги за 7 дней» ушла в историю. Про 90 дней на исправление вообще стоит забыть. Почему это хорошая новость для security-инженера: ⚪️ закрытая кодовая база становится временным преимуществом для защиты ⚪️ дополнительная проверка находок от анализаторов является узким горлышком appsec-команды, а значит, теперь очевиден фокус для инженера ⚪️ время реакции на уязвимости теперь измеряется минутами, не днями. К концу года будет измеряться секундами. Чтобы ускориться в исправлении проблем, не получится просто прикрутить LLM к существующим решениям. Нужно менять или строить заново архитектуру и процессы для agentic-систем. @makrushin l MAX l VK l Сетка l Дзен

91% находок «классического» SAST — ложные срабатывания. А еще AppSec-инженер тратит 10–20 минут на каждую находку, чтобы принять решение, нужно ли ее исправлять. Умножаем это время на количество находок и получаем дорогую команду для «ручной фильтрации». LLM меняют это уравнение. Передаем модели правильный контекст (например, трассу, критичность, commit hash), и снижаем время на принятие решения с минут до секунд. Ключевое слово: «правильный». Если контекста недостаточно, то модель галлюцинирует. Если его много, то расфокусируется, сжигает токены и несет в бэклог минорные находки вместо критических. Мы перебрали архитектурные подходы для интеграции ИИ в SAST, рассмотрели варианты оптимизации контекста, запилили фичу для ИИ-триажа находок и поделились результатами в статье. Еще определили ключевые метрики для оценки результата. @makrushin l MAX l VK l Сетка l Дзен

Провинциальный OSINT Давно не практиковались в определении мест по фоткам. В этот раз открыл на своей карте два новых города, похожих по атмосфере, а в одном из них нашел вот такую локацию с архитектурными контрастами. ⭐️ Задача со звездочкой: определить мероприятие, которое меня сюда привело, и точное место.

Впервые в истории отчетов об угрозах Verizon: вектор эксплуатации уязвимостей обогнал украденные учетки Ключевой инсайт из свежего отчета Verizon Data Breach Investigations Report, в котором аналитики собрали статистику по 22000 инцидентам в 145 странах: впервые за 19 лет эксплуатация уязвимостей стала основным вектором получения первоначального доступа. В прошлые годы этим вектором были украденные учетные данные. Есть ли здесь связь с развитием ИИ в процессе подготовки эксплойтов? Возможно. Еще примечательное: у вымогателей снижается маржинальность, потому что жертвы все реже платят. Группы вынуждены масштабироваться и повышать свою выручку за счет охвата. Дальше вымогателям придется чаще фабриковать артефакты «взломов» и фейковых «утечек», используя старые данные и фантазию LLM. @makrushin l MAX l VK l Сетка l Дзен

Структурный сдвиг в подготовке атак: ИИ стал частью конвейера Утро понедельника, кофе и дайджест, в котором попался тренд: ИИ стал частью конвейера подготовки атак. GTIG выпустила отчёт, в котором впервые заметила в дикой природе 0day-эксплойт, полностью написанный с помощью ИИ. Открытый вопрос: как теперь проводить атрибуцию целевых атак, в которых всё меньше артефактов ручной работы? Ещё в феврале в своих отчётах аналитики Google замечали эксперименты APT-групп с LLM. Спустя три месяца зафиксировано внедрение ИИ в "промышленный" конвейер разработки малвари. Атакующие смогли автоматизировать пайплайн разработки эксплойтов, отправляя тысячи автоматизированных промптов для анализа CVE и разработки прототипов. Например, просили Gemini взять на себя роль "senior C/C++ binary security expert" для исследования прошивок устройств TP-Link и реализаций протокола передачи файлов OFTP. Разработчик, если ты ждал сигнал, чтобы наконец-то дать любимой нейронке свои проекты, чтобы поискать уязвимости, то вот он: 🚨 @makrushin l MAX l VK l Сетка l Дзен

Архитектура платформы для автоматизации SOC с помощью ИИ-агентов Всегда интересно прочитать истории, как LLM самостоятельно находит уязвимости в популярном продукте. Как крупные вендоры вроде Mozilla патчат 271 уязвимость, которую обнаружил Mythos. Или как ИИ-агент за 3 минуты без подсказок смог самостоятельно скомпрометировать облачную инфраструктуру. Среди подобных материалов часто остаются незаметны идеи, которые нужны специалистам по защите. На прошлой неделе бот закрыл этот пробел и принес исследование, которое будет интересно Blue Team. В статье описана архитектура системы ИИ-агентов для автоматизации работы центров мониторинга. Ключевую идею этой платформы можно описать одним словом: проактивность. Чтобы не ждать очередных пентестов и проверок Red Team, аналитики могут самостоятельно построить систему непрерывного прогнозирования и обновления детекторов. Ключевая особенность платформы AgentSOC заключается в движке анализа гипотез. Этот модуль отвечает за творческую часть, которая часто остается без внимания загруженного рутиной аналитика. В нем LLM строит ветки возможного развития атак на основе имеющегося контекста из систем мониторинга. Затем привязывает эти ветки к матрице атак MITRE. То есть система постоянно рассуждает над вопросом «что, если», присваивает ответу индекс уверенности и повторяет упражнение. Второй движок структурного моделирования выступает в роли критика и проверяет теоретические рассуждения модели на основе фактического состояния инфраструктуры. Графовая валиадация атак, проверка достижимости, фильтрация галлюцинаций — все это его задачи. В итоге, вся система работает в автономном цикле «Sense-Reason-Act» и выбирает наиболее подходящее действие для защиты менее чем за 1 секунду. @makrushin l MAX l VK l Сетка l Дзен

Сделали облачные регионы полностью изолированными, сохранили бесшовный пользовательский опыт работы с ними. Получили патент. Крупные облачные провайдеры работают на едином слое управления доступами. Это удобно, но при инциденте в одном регионе у атакующего есть возможность уползти в другие области. Изоляция является основным способом снижения этого риска. Поэтому мы сделали так, что каждый регион нашего облака — это теперь полностью автономная инсталляция со своей базой доступов. При этом у пользователя остается опыт работы в единой облачной платформе. В основе этой архитектуры находится «теневая организация» — копия основной организации пользователя и ее облачного кабинета, которая создается в новом регионе. Все пользователи, группы, политики организации автоматически реплицируются из основного региона в теневой. Это избавляет пользователя от необходимости переносить свои настройки и ресурсы в новую область. При этом, компрометация теневого региона не позволяет атакующему дотянуться до основной организации. О том, как построено доверие между регионами и бесшовное переключение между кабинетами без повторного логина рассказали в блоге. @makrushin l MAX l VK l Сетка l Дзен

Разбираем топ-10 атак на приложения и делаем выводы для разработки Атаки на современные приложения всё реже возникают из-за одной ошибки в коде. В многокомпонентном софте появляется новый уязвимый слой: взаимодействие между компонентами. Ruby видит одно, Go видит другое, и в результате, злоумышленник протаскивает свой запрос мимо обоих. Серверный и клиентский кэш становятся каналом утечки секретов, а ошибки сервера — каналом связи злодея с внутренней инфраструктурой приложения. На основе рейтинга нетривиальных атак выделил основные категории уязвимостей, с которыми сталкивается разработчик (особенно, вайбкодер), и дал сценарии защиты с помощью привычных и пока ещё эффективных инструментов. @makrushin l MAX l VK l Сетка l Дзен

Наблюдаем технологические тренды через портфели фондов Каждый год слежу за RSAC Innovation Sandbox, чтобы поймать тренды: какие категории проектов проходят отбор, кто из фондов "прикрывает" финалистов. В этом году 10 из 10 финалистов так или иначе связаны с ИИ. Победил Geordie AI с governance-платформой для ИИ-агентов. Но примечательным оказался не победитель, а конкретный фонд, который за ним стоит. Ten Eleven Ventures — это единственный фонд, у которого было сразу две портфельные компании среди финалистов. Его портфель тоже довольно интересный: пять инвестиций подряд и все в agentic-проекты. Еще интереснее, что в 2024 году на том же конкурсе победила другая компания из их портфеля, и её продукт тоже был про защиту учётных данных сервисных аккаунтов, ботов и AI-агентов. Врядли совпадение. Его сделки в 2026 году также дают интересный инсайт: защита non-human identities (NHI) превратилась в категорию с крупным капиталом. Похоже, что в индустрии образуется пять ключевых технологических слоев для построения стратегии безопасности ИИ: 1. Agent Discovery: прежде, чем что-либо защищать, нужно это сначала найти. Shadow AI стала проблемой в современном бизнесе, поэтому нужны технологии инветаризации. 2. Защита NHI: управление учетными данными ИИ-агентов становится новым слоем управления ИБ. 3. Runtime Observability & Behavioral Governance: мониторинг и управления всеми ИИ-системами и построение guardrails для всех систем с "недетерминированным" поведением. 4. Intent-Aware Data Security: так как ИИ-агенты постоянно и, на первый взгяд, легитимно перемещают данные в инфраструктуре, то требуется что-то вроде системы DLP нового поколения, которая понимает не только факт передачи данных, но и "намерение" ИИ-агента, который эти данные передает. 5. AI-Native SOC Automation. Вот сюда попадают все технологии, которые автоматизируют обнаружение и защиту от всех угроз. Область, которая трансформируется с космической скоростью по мере развития агентных систем. За эти тренды кто-то проголосовал деньгами, поэтому CISO может накатывать обновление в свою стратегию. @makrushin l MAX l VK l Сетка

Обещал показать, как редиска крадёт секреты у разработчиков через их же ИИ-инструменты. Показал. На DevOps Conf представил результаты исследования «Атаки на ИИ-агентов», которое мы провели вместе с командой. Разобрали сценарии в ADLC (Agentic Development Lifecycle — запоминаем этот термин, будем встречать его всё чаще) и показали методы анализа устойчивости ИИ-инфраструктуры для тех, кто строит агентные системы. Ключевой тезис: SDLC трансформировался в ADLC, и классические подходы к безопасной разработке теряют эффективность. Поведение агента недетерминировано и меняется без изменения кода. Pull request — больше не чекпоинт, когда агент автономно читает тикеты, обрабатывает изменения и что-то меняет в коде. Наблюдаемость упала, скорость выросла. Что с этим делать: LLM-as-a-Judge, guardrails на входе и выходе, AI red teaming в CI/CD, аудит каждого подключённого MCP-сервера. И еще куча идей в вопросах из зала и общении после доклада. Показали. Теперь пора рассказать. Готовим блогпост. @makrushin l MAX l VK l Сетка

Давно не виделись. Нашел два повода для встречи. Завтра на продуктовой аллее DevOps Conf проведу питчинг SourceCraft и расскажу про ключевые обновления, которые позволят быстрее и безопаснее создавать новые продукты. Спойлер: релизим новые AppSec и ИИ-фичи. Послезавтра представлю результаты нового исследования — «Атаки на ИИ-агентов». Покажу, какие возможности есть у редиски, чтобы за несколько часов скомпрометировать тысячи разработчиков через их же ИИ-инструменты и украсть секреты с рабочих станций. Разберём поверхность атаки, а на выходе получим методику и инструменты для тех, кто строит агентные системы и хочет сделать их устойчивыми. Если будешь на площадке, то заходи в гости.

Смена парадигмы в security-продуктах Индустрия десятилетиями находилась в условиях жесткого конфликта между полнотой и точностью поиска угроз. Статические и динамические анализаторы, антивирусные движки, межсетевые экраны — каждый из этих продуктов стремится снизить количество ложных срабатываний. LLM могут разрешить это фундаментальное противоречие. На примере инструментов SAST, которые игнорировали потенциально опасные пути в потоке данных программы и не видели целые категории уязвимостей, авторы исследования показали, как за счет глубокого понимания контекста появилась возможно расширить полноту без потери точности. Теперь существуют три архитектурных подхода для создания AI-native продукта: ⭐️ AI-enhanced: фильтрация результатов и ложных срабатываний, чтобы снизить нагрузку на security-аналитика ⭐️ AI explorer: добавление ИИ-агента для генерации гипотез и управления исследованием, чтобы расширить анализ за счет новых правил поиска. ⭐️ AI native: полная автономность с «пониманием» бизнес-контекста, чтобы полностью исключить человеческий фактор из процесса. Эти архитектурные подходы также являются тремя этапами продуктовой эволюции. Эту эволюцию ограничивают три фактора: экономика операций, проблемы «личности» агента и неэффективный вызов инструментов. Широкий контекст для агента увеличивает стоимость его действий. Еще агент может решить, что какое-то событие «выглядит безопасно», и пропустить его из-за субъективной вероятности. Ну а попытки LLM вызвать внешние инструменты чаще оказываются дороже, чем использование классических правил. Авторы делают вывод, что наиболее перспективный метод использования LLM — это не анализ событий в реальном времени, а оптимизация существующих правил поиска угроз. Предложенная архитектура превращает SAST из инструмента «сопоставления куска кода с шаблоном» в инструмент для извлечения логически связанных участков кода. LLM управляет вниманием security-продукта, а индустрия движется от написания правил к проектированию цепочек рассуждений. 100% точности при трехкратком увеличении полноты - отличное тому подтверждение. @makrushin l MAX l VK l Сетка