Yandex for Security

⚙️ Как с LLM снимают цензуру и что с этим делать У открытых моделей (open-weights) любой может скачать веса — а значит, может и изменить поведение. Один из самых обсуждаемых способов снять отказы называется abliteration. Он не «уговаривает» модель через промпт, а хирургически убирает из неё сам механизм отказа. 👨‍💻 Меня зовут Вадим Ахметов, я ML-инженер в команде платформы данных и аналитики. В прошлый раз я рассказывал, почему одна и та же нейросеть может быть и помощником, и оружием. А сегодня разберу, как из безопасной LLM за пару часов делают модель без цензуры. 🕵️ Читайте подробности в карточках выше «Abliteration наглядно показывает главный парадокс открытых моделей: как только веса опубликованы, встроенная безопасность становится опциональной. Реальную защиту нужно строить вокруг модели, а не только внутри неё». Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🔒 24/7 на страже безопасности Меня зовут Андрей Петриков, я руководитель группы обнаружения и реагирования на угрозы в технологической платформы Yandex Cloud. Хочу рассказать, как устроена работа в команде безопасности. ♒️ Наш SOC делится на три команды Одна отвечает за разработку платформы и развитие AI-инструментов в SOC. Другая — за архитектуру клиентского SOC. Третья, которой руковожу я, — Detection and Response. У нас три основные зоны ответственности: 🟣 Дежурный мониторинг 24/7. Наши аналитики следят за всеми потенциальными угрозами 🟣 Разработка контента. Мы создаём правила экспертизы, по которым система решает, что нашему контуру что-то угрожает 🟣 Реагирование на инциденты. Если нам не удалось их предотвратить (иногда такое случается), инженеры восстанавливают безопасность, устраняют последствия и расследуют произошедшее. Потом мы все вместе анализируем, что нужно сделать, чтобы такое больше не повторилось ♒️ Чем необычна наша безопасность Мы отвечаем за часть инфраструктуры пользователей — они неявно отгружают нам часть задач. Например, управление БД. Для клиента это просто база и работа с ней, а для нас — виртуальные машины, диски и другая инфраструктура, которая нужна для того, чтобы всё работало. Для обнаружения атак мы работаем с метаданными, поведенческими признаками и другими абстракциями. Всё это позволяет распознавать аномальную активность, но не раскрывать конфиденциальную информацию. При этом облачные абстракции многослойнее, чем домены, active directory и другие составляющие операционных систем на классических серверах. Мы должны обеспечить безопасность всех уровней одновременно. 〰️ Большинство метрик, которые мы используем, можно считать классикой SOC: время реакции на инцидент, количество тикетов в работе, процент ложноположительных срабатываний и корреляция этих срабатываний с другими событиями. Мы стремимся уменьшать количество ситуаций, которые требуют обращения к пользователю. То есть больше решаем на своей стороне, чтобы меньше отвлекать тех, кого это может затронуть. ♒️ Как мы автоматизируем нашу работу При расследовании инцидента важно как можно быстрее собрать доказательства. Мы стараемся модернизировать этот процесс так, чтобы дежурному достаточно было нажать пару кнопок, вместо того чтобы сохранять всё вручную через консоль. А недавно мы автоматизировали генерацию отчётов для клиентов и отслеживание наших внутренних метрик. Теперь всё самое важное живёт на одном дашборде. Также мы постепенно приручаем AI. Начинали с довольно наивных вещей: обучали простых ассистентов на уже проверенных алертах. С тех пор прокачались: теперь, когда срабатывает сигнал тревоги, нейросеть автоматически ищет похожие события и предсказывает, как стоит реагировать в текущей ситуации. 📖 Читайте больше подробностей в блоге о работе в Яндексе. Там я поделился, как начинал свой путь в компании и как вырос в руководителя группы. А ещё рассказал, каким вижу будущее команды безопасности Yandex Cloud. Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🔍 Почему одна и та же нейросеть может быть и помощником, и оружием LLM — это не «умный ответчик», а модель, которая предсказывает следующее слово. Сама по себе она не знает, что можно, а что нельзя. Безопасность — отдельный пласт, который добавляют поверх сырой модели. Если этот слой слабый или его сняли — модель становится уязвимой. 👨‍💻 Меня зовут Вадим Ахметов, я ML-инженер в команде платформы данных и аналитики. Мы делаем ИБ data-driven: превращаем сырые логи и телеметрию в детекты, метрики и модели, на которые опираются наши команды ИБ. Хочу разобрать, как вообще получаются LLM, откуда берётся «небезопасность» и что реально делает модель защищённой. 🕵️ Читайте подробности в карточках выше «Безопасность LLM — это не галочка, а слоёная защита. Alignment в весах можно ослабить или снять. Поэтому надёжность строится там, где модель применяется: фильтры, мониторинг, ограничение прав и постоянный red teaming». Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🔒 MCP-сервер как поверхность атаки для AI-агента Всем привет! Это Денис из команды SourceCraft Security. Я уже рассказывал вам про атаки на веб-приложения и эксплойт за 15 минут и один доллар. А сегодня хочу поговорить о том, как злоумышленники могут использовать MCP-серверы в своих целях и что с этим делать. ♒️ Что такое MCP Model context protocol — это «руки» агента, которыми он меняет состояние каких-либо ресурсов: читает логи, добавляет записи в БД, назначает встречи в календаре, вносит изменения в основную ветку репозитория и делает множество действий. Я нашёл множество открытых MCP-серверов в процессе исследования безопасности AI-агентов, о результатах которого недавно рассказал на конференции Saint Highload. Это значит, что при определённых условиях «руки» в интернете доступны любому, кто знает, где их искать. ♒️ Как это выглядит на практике Злоумышленник может попробовать выдать себя за легитимного AI-агента, подключиться к незащищённому MCP-серверу и получить список его доступных инструментов и возможностей. А там, например, есть функция чтения валюты и информация о количестве денег на счёте, что даёт возможность мошеннику реализовать сценарий перевода этих средств на свой кошелёк. ♒️ Что я сделал в процессе исследования Подготовил несложную систему оценки риска, которая строится на сумме баллов за следующие недостатки конфигурации MCP-сервера: 🟣 Нет аутентификации 🟣 Нет поддержки зашифрованного соединения 🟣 Нет CORS-заголовков 🟣 Есть потенциально опасные инструменты (например, exec) 🟣 Есть возможность получения списка инструментов и ресурсов Затем с помощью поискового движка Shodan я получил список открытых MCP-серверов. Для этого собрал 148 поисковых запросов и их комбинаций вроде: "port:3000 jsonrpc, port:8080 text/event-stream" "Model Context Protocol", "jsonrpc": "2.0" "html:"mcp server"" "\"capabilities tools resources\"" "port:3000 text/event-stream" "\"workers.dev\" mcp" "\"Bad Request: Mcp-Session-Id header is required\"" "\"Not Acceptable: Client must accept text/event-stream\"" "port:7860 \"langflow\" \"mcp\"" "Bad Request: Mcp-Session-Id header is required" Каждый из этих запросов является возможным паттерном для MCP. В итоге после дедупликации я получил 1699 уникальных серверов. ♒️ Зачем это нужно Такая методика и инструмент фингерпринтинга позволяют проверить доступность своих MCP-ресурсов в Сети. Если они вдруг нашлись в открытом доступе и по разным причинам их невозможно оттуда убрать, у вас есть возможность снизить вероятность атак за счёт правильной аутентификации, TLS и ограниченного списка инструментов. Также AppSec-инженер может добавить оценку риска, который связан с мисконфигурациями, в проверку на этапе CI/CD и правильно настроить MCP. ⏩ Инструмент для поиска MCP-серверов через Shodan я опубликовал в репозитории. Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🚘 Как меняется SIEM в эпоху AI SIEM — это не волшебная коробка, ведь просто купить дорогостоящее решение не равно обеспечить безопасность компании 🧐 Мы начинаем седьмой сезон подкаста «Безопасно говоря». В первом эпизоде обсуждаем, какими должны быть современные SIEM и кому они действительно нужны, а также говорим о зрелости процессов ИБ, использовании больших языковых моделей в SOC и о том, как AI меняет работу защитников и действия атакующих. 🎤 Ведущие: 🟣 Алексей Миртов, руководитель группы продуктовой архитектуры Security & Compliance Yandex Cloud 🟣 Мария Кириллова, менеджер продуктов безопасности Yandex Cloud 👨‍💻 Гости: 🟣 Ринат Сагиров, директор Центра мониторинга и реагирования Инфосистемы Джет 🟣 Сергей Бнятов, руководитель SOC ecom.tech 🎧 Слушайте подкаст: 🟣 Ютуб 🟣 VK Видео 🟣 Яндекс Музыка Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

✅ Все модели Alice AI официально безопасны Мы впервые получили международный сертификат ответственной разработки ISO/IEC 42001 для всех генеративных моделей семейства Alice AI — языковой, картиночной и мультимодальной. Аудит проверил все аспекты управления AI в Яндексе: как мы собираем данные для обучения, мониторим безопасность и этичность ответов, обеспечиваем прозрачность разработки и обучаем сотрудников. Проверка подтвердила, что пользователи всех моделей семейства Alice AI защищены, а возможные ошибки и аномалии непрерывно отслеживаются. 🧬 Кроме того, процессы предоставления моделей внешним клиентам на платформе Yandex AI Studio также прошли аудит на соответствие международному стандарту. Напомним, что в 2025 году мы впервые в России получили такой сертификат — тогда проверку проходила только базовая языковая модель YandexGPT. А ещё наша компания является сооснователем и участником Альянса в сфере AI. ⏩ Принципы, которых Яндекс придерживается при разработке и использовании AI, опубликованы на этой странице. 〰️ А свежий отчёт об AI-технологиях в кибербезопасности можно прочитать здесь. Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🥤 Кибербезопасность на открытом воздухе 8 августа в Москве в музее-заповеднике «Коломенское» пройдёт ИТ-Пикник. На него пригласили и наших экспертов из команды информационной безопасности: 🟣 Данила Урванцев, инженер по информационной безопасности шеринговых сервисов в Яндексе Выступит с докладом «Как мы защищаем шеринговые сервисы от хакеров и их IoT-амбиций». Он рассмотрит архитектуру шеринговых сервисов компании, составит матрицу рисков и покажет, как выстроить защиту на всех этапах. А ещё разберёт процессы безопасности, инструменты автоматизации и настоящие IoT-уязвимости. 🟣 Александр Каледа, директор департамента информационной безопасности в Яндексе Примет участие в круглом столе «Сценарии будущего ИБ: пророчества vs реальность». Вместе с коллегами он разберёт, какие громкие заявления 5–10-летней давности прошли проверку временем, и попробует сделать собственный прогноз будущего индустрии. ⏩ Регистрируйтесь на ИТ-Пикник и приходите послушать Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🧠 Как AI меняет багбаунти-программы На связи Андрей Романовский, AI Security Engineer в Яндекс Search & Geo. Недавно на Standoff Talks прошёл круглый стол. На нём вместе с коллегами мы обсудили, как AI влияет на программы багбаунти: от работы хакеров и потока отчётов до триажа и экономики. А в этом посте я поделюсь своими ключевыми мыслями. ♒️ Экономика отчётов может сильно измениться Она может сдвинуться в сторону мотивации самих хантеров проверять то, что выдал агент, прежде чем отправлять сгенерированный AI-отчёт. Такие практики уже существуют — например, депозит за отправку репорта, который возвращается при подтверждении находки и сгорает при отклонении. Такой механизм может стать дополнительным фильтром на входе, ведь бесконечный поток непроверенных AI-репортов не приносит пользы ни компании, ни самому исследователю — он просто нагружает команду триажа. ♒️ Внутренняя безопасность должна использовать те же инструменты, что и исследователи Новые AI-подходы и агенты часто провоцируют ситуации, когда хантеры ломают прод сервиса из-за своей неопытности (или неэтичности). Основной способ снижать этот риск — самим активно применять LLM внутри команды безопасности, чтобы быстрее находить и закрывать уязвимости. ♒️ Невалидных отчётов стало больше Хантеры, которые умеют грамотно работать с AI и встраивать его в процесс, начали вылавливать больше ценных находок и уязвимостей. Но вместе с тем выросло число отчётов, которые полностью сгенерированы AI и ничего ценного в себе не несут. Из-за этого у инженеров, которые занимаются триажем, возникает эффект своеобразной «баннерной слепоты»: доверие к отчётам и желание открывать очередной репорт снижается. ♒️ Но AI-инструменты помогают в анализе Внедрять автоматизацию в оценку отчётов нужно очень аккуратно. Если использовать LLM, чтобы просто отметать все сгенерированные репорты, мы рискуем пропустить ценные находки. Поэтому мы используем AI, чтобы улучшить те пререквизиты, с которыми работает специалист по триажу: предварительно просмотреть отчёт, сопоставить с уже разобранными кейсами, помочь со структурированием, предположить, к какому сервису или уязвимому месту относится находка. Финальное решение при этом остаётся за человеком. ♒️ Порог входа для новичков остался прежним Разделение на опытных и неопытных багхантеров существовало всегда. Результат по-прежнему зависит от подхода: понимает ли исследователь инструмент, умеет ли ставить ему корректную задачу и способен ли критически осмыслить то, что модель выдала на выходе. 📺 А полную запись круглого стола смотрите на ютубе. Мы обсудили, как правильно использовать AI-инструменты для развития навыков багхантинга, имеет ли смысл разделение на массовый и экспертный багбаунти и многое другое. Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🛎 Приходите на интенсив AI Agents Security Week от ШАДа AI-агенты всё чаще становятся частью продуктов и рабочих процессов: они пишут код, работают с данными и взаимодействуют с внешними сервисами. Чем больше задач мы делегируем ассистентам, тем важнее становится их безопасность и предсказуемость. На онлайн-интенсиве AI Agents Security Week с 27 по 31 июля вместе с экспертами Яндекса разберём, как защищать персональные и корпоративные данные, безопасно выдавать агентам доступ к инструментам и инфраструктуре, предотвращать утечки информации и устранять уязвимости. Вы узнаете: 🟣 Что такое автономные AI-агенты и чем они отличаются от LLM 🟣 Как защищать системы от взломов, утечек данных, ошибок конфигурации и других угроз 🟣 Какие принципы и подходы лежат в основе защиты агентных AI-систем 🟣 С какими проблемами сталкивались разработчики разных AI-моделей Интенсив будет полезен ML-разработчикам, Dev(Sec)Ops-инженерам, техлидам, архитекторам и студентам старших курсов технических вузов — тем, кто хочет глубже понять, как создавать надёжные AI-системы. Для практических заданий пригодятся понимание жизненного цикла разработки ПО (SDL) и опыт вайбкодинга: базовые навыки промпт-инжиниринга и умение запускать получившийся код. 〰️ Формат: пять онлайн-занятий по вечерам с возможностью задать вопросы. Чтобы получить сертификат, нужно пройти отборочное тестирование и выполнить итоговую работу. 📆 Подать заявку можно до 27 июля включительно. ⏩ Зарегистрироваться Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🚀 Погружаемся в технологии на deep tech night 5 сентября пройдёт deep tech night — масштабная онлайн-конференция Яндекса о технологических вызовах, с которыми IT-индустрия сталкивается в эпоху AI: от изменений в разработке до новых требований к архитектуре и инфраструктуре. Это событие для бэкендеров, фронтендеров, тимлидов, аналитиков, продактов и всех, кто работает в IT-индустрии, внедряет AI в процессы, проектирует сложные системы и ищет новые решения. 〰️ В программе доклады экспертов из Яндекса и международных IT-компаний: 🟣 Мо Гавдат, ex-Chief Business Officer, Google X 🟣 Алексей Гусаков, CTO Поисковых сервисов и ИИ 🟣 Сергей Мельник, руководитель сервиса Автономного транспорта и роботов И другие спикеры (некоторые из них пока что секретные — расскажем о них в ближайшее время 🤫). ⏩ Зарегистрироваться Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity