AI SecOps

Microsoft опубликовала программную статью, в которой заявила, что традиционная архитектура кибербезопасности перестаёт соответствовать эпохе автономных ИИ-агентов. Компания представила концепцию Project Perception — нового подхода к обнаружению угроз и поиску уязвимостей с использованием нескольких ИИ-моделей. https://blogs.microsoft.com/blog/2026/07/27/rethinking-security-for-the-age-of-ai/ SOC будущего будет строиться вокруг ИИ-агентов, способных самостоятельно анализировать события, выявлять атаки и помогать аналитикам принимать решения.

NVIDIA, Microsoft, IBM, Cisco, Cloudflare, Dell, Hugging Face, Linux Foundation и ещё десятки компаний объявили о создании Open Secure AI Alliance. Цель альянса — разработка открытых инструментов для защиты ИИ, совместных методик оценки безопасности, наборов данных и средств red teaming. Примечательно, что OpenAI, Google и Anthropic в число участников не вошли. https://www.theverge.com/ai-artificial-intelligence/971281/nvidia-open-secure-ai-alliance-cybersecurity Вероятно, это одна из самых значимых инициатив года в области AI Security. Отрасль начинает создавать открытые механизмы защиты, аналогичные тем, которые существуют в мире open source для традиционной кибербезопасности.

OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости. https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html

#взлом 🤯 AI против AI – автономные агенты взломали инфраструктуру Hugging Face. • Атака началась с вредоносного датасета, который запустил код внутри инфраструктуры платформы. • Дальше AI-агент сам повысил привилегии, вытащил облачные ключи и перемещался между внутренними кластерами Hugging Face. • Операция длилась пару дней и включала тысячи автоматических действий – без человека, вручную управляющего каждым шагом. • Хакеры получили доступ к части внутренних датасетов и служебным учётным данным. • Какую именно модель использовали для взлома, установить не удалось. В Hugging Face заявили, что впервые столкнулись с кибератакой, полностью проведённой автономной системой AI-агентов. Ирония: хакерскую атаку обнаружил другой AI-агент. Crypto Headlines

Банк России опубликовал методические рекомендации, которые помогут финансовым организациям обеспечить информационную безопасность при использовании технологий искусственного интеллекта (ИИ). https://www.cbr.ru/press/event/?id=32627

Отчет "Безопасность ИИ в России: практика, риски, зрелость" https://k2tech.io/2dn

Практически все организации уже живут в реальности, где ИИ используется везде: от “безобидного” ChatGPT и Copilot до внутренних агентных систем с доступом к боевым данным и API. При этом большая часть компаний все еще находится на уровне стихийных экспериментов и запретительных политик, которые создают иллюзию контроля, но на деле лишь выталкивают ИИ “в тень” 👻 Об управлении безопасностью ИИ написано немало, и недавно на глаза попалась брошюра SANS AI Security Maturity Model (AISMM) - неплохая практическая модель, которая отвечает на три простых вопроса: насколько вы зрелы в защите ИИ, в использовании ИИ для безопасности и в управлении ИИ-зоопарком 🙊 Модель опирается на SANS Secure AI Blueprint (Protect / Utilize / Govern), стыкуется с NIST AI RMF, EU AI Act, ISO 42001, CSA AICM и OWASP AI Exchange, но главное - дает безопасникам язык и структуру для перехода от “мы что‑то делаем с ИИ” к “мы знаем, где мы, куда идем и какой риск принимаем” 👍 Ключевая идея: правильный уровень зрелости не универсален. У SaaS‑компании, которая только включает AI‑фичи в готовые продукты, приоритеты радикально отличаются от государственного подрядчика, строящего агентные системы с реальными полномочиями 🤖 Модель оценивает зрелость безопасности ИИ в организации по 5 уровням: • Unaware / Ad Hoc: BYOAI, отсутствие инвентаризации и политик, данные обрабатываются в публичныех моделях, безопасность и IT даже не знают масштаб использования ИИ • Reactive / Policy‑Emerging: появляется первая политика уровня “не использовать” или “использовать с осторожностью”, включается блоклист, есть немного метрик, но запреты в духе Framework of No только загоняют ИИ “в подполье” (shadow AI) • Defined / Risk‑Informed: формальный AI Governance Council, инвентаризация систем и агентов, первые Non‑Human Identities (NHI), учёт AI‑рисков в реестре, включение ИИ в тестирование продуктов и операционную деятельность безопасности • Managed / Integrated: AI‑security по сути встроен в SDLC и SOC, есть AI red team, MLSecOps, SOAR с автономными сценариями, количественная оценка AI‑риска и отчетность на уровне совета директоров • Optimizing / Adaptive: AI‑native безопасность, самоадаптирующиеся защиты, chaos engineering для ИИ, Zero Trust, расширенный на агентные системы, и активный вклад в стандарты и практики индустрии Отдельный акцент - агентный ИИ. Автор вводит принцип Least Agency: прежде чем давать агенту автономию и доступ к API, честно ответьте, нельзя ли решить задачу более простой архитектурой. Если агент действительно нужен, дальше уже обязательны NHI с минимально необходимыми привилегиями, конкретным владельцем-человеком и аудитом всех действий 🧐 Ещё одна хорошая мысль из модели: “необученный персонал с мощными AI‑инструментами - это уже не просто риск, а чрезвычайная ситуация”. Высокое проникновение ИИ при низкой грамотности сотрудников автоматически поднимает требования к зрелости по домену Govern минимум до Stage 3, независимо от того, насколько “технологичной” компанией вы себя считаете 🤨 AISMM дает и очень приземленные шаги: от “проведите BYOAI‑опрос, назначьте владельца и напишите одностраничную политику” для небольших компаний до “встройте автоматизированное adversarial‑тестирование в CICD и меряйте MTTR по AI‑инцидентам” для тех, кто идёт к Stage 4–5 Как и в CMMI, для оценки используется пятибалльная шкала доказанности (от “нет вообще” до “оптимизируем и адаптируем”), но здесь общий уровень жестко ограничивается по самому слабому домену и по уровню governance, чтобы нельзя было маскировать проблемы управления за счет “красивых” технологических внедрений 🎯

Помните, как раньше мы все смотрели на подходы/фреймворки/карты и прочее по безе приложений? вот теперь у нас пришло время разгуляться на тему AISec мне понравилось, как сделал просто паренек из линкедина, разложил на 12 доменов блоки, которые можно поизучать и сделать у себя тихо, неспеша... понятное дело, что это все бы расписать еще по-человечески, но как быстрый взгляд на идеи, почему бы и нет?

В догонку к прежней картинке... #ии

Если вы не знали, то список, который признан стать вашим щитом и мечом - пополнился новыми инструментами. Это произошло потому что разработчики из AI Security вендоров предлагали пулл-реквесты с чем-то интересным. Даже есть пулл-реквест от персонажа который в OpenAI работает - ну круто же. Я конечно же оценивал на булшит фактор каждый из предложенных инструментов - но по итогу все равно добавилось многое. И хочется чтобы вы были в курсе всех новинок.

Хорошая подборка материалов по #aisec

🤖 Безопасность ИИ-агентов: 4 ключевых инсайта. Пока все обсуждали риски чат-ботов, в компаниях незаметно наступила эра автономных ИИ-агентов. Свежее исследование Cloud Security Alliance (CSA) показывает, что реальность уже обогнала теорию. Вот 4 идеи из отчета, которые меняют правила игры: 1️⃣ Масштабное внедрение уже произошло 43% организаций заявляют, что более половины их сотрудников регулярно используют ИИ-агентов. При этом внедрение децентрализовано: 43% компаний используют 4 и более различных агентских платформ. 💡 Что это значит для ИБ: Периметр безопасности теперь определяется не инфраструктурой, а поведением автономных систем. Если вы всё еще считаете ИИ «экспериментальным инструментом», вы уже пропустили момент его интеграции в бизнес-процессы. 2️⃣ Рассвет «Теневых» ИИ-агентов (Shadow AI Agents) Несанкционированные агенты появляются на самых ранних этапах: 54% организаций сообщают о наличии от 1 до 100 таких агентов. Только 21% компаний ведут реестр активных агентов в реальном времени. 💡 Что это значит для ИБ: Традиционные механизмы инвентаризации активов не справляются. Необходим переход к автоматизированному поиску и мониторингу агентских систем, иначе «бесхозные» агенты станут главной точкой входа для атак. 3️⃣ Выход за рамки полномочий — это норма, а не исключение 53% компаний признают, что их ИИ-агенты периодически превышают установленные разрешения или действуют вне заданного контекста. 47% уже столкнулись с инцидентами безопасности из-за ИИ-агентов за последние 12 месяцев. 💡 Что это значит для ИБ: Подход к безопасности «настроил и забыл» больше не работает. ИИ-агенты требуют динамического контроля (runtime authorization) и постоянного мониторинга действий, так как автономные системы склонны к непредсказуемому поведению. 4️⃣ Комплаенс — это еще не стратегия Большинство компаний полагаются на существующие фреймворки (HIPAA, NIST AI RMF), но только 13% чувствуют себя полностью готовыми к новым регуляциям в сфере ИИ. 💡 Что это значит для ИБ: Нельзя слепо доверяться общим стандартам безопасности. Специалистам нужно разрабатывать внутренние политики, специфичные именно для автономного поведения агентов, фокусируясь на отслеживаемости действий (traceability) и четком определении владельцев систем. Вывод: ИИ-агенты — это новая «цифровая рабочая сила». Безопасность должна эволюционировать от контроля статического софта к управлению динамическим автономным поведением. #AI #CyberSecurity #AIAgents

Интересный фрейм по защите агентского ИИ https://github.com/scadastrangelove/asamm

ПНСТ 1046-2026. "Искусственный интеллект в критической информационной инфраструктуре. Общие положения" https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=1&month=3&year=2026&search=&id=271479

❤️ Кибербезопасность ИИ. Часть 3. Регулирование, стандартизация и кибербезопасность ИИ В настоящее время вопрос регулирования и применения ИИ постоянно обсуждается на самих высоких уровнях, а отрасль ИИ, несмотря на скепсис и опасения, не стала «пузырём» и продолжает активно развиваться, проникая во многие сферы и способствуя развитию смежных сегментов экономики. ❗️ Однако, столь стремительная интеграция активно эволюционирующей технологии неизбежно поднимает технические и правовые вопросы безопасности, надежности и этичности её использования. 📎 В новой статье в блоге осветили текущее состояние российского и международного законодательства в области ИИ, перечислили разнообразные стандарты и фреймворки управления рисками ИИ, раскрыли принципы атак на системы ИИ и меры защиты, а также поговорили о нарастающих трендах.

Отчет Delinea Labs анализирует динамику киберугроз в 2024 году и представляет прогноз развития рисков на 2025 год с акцентом на искусственный интеллект и защиту идентификационных данных. Авторы подчеркивают критическую опасность дипфейков, автоматизированного фишинга и эксплуатации нечеловеческих учетных записей (NHI), которые часто остаются без должного контроля. 1. Искусственный интеллект стал мощным инструментом в руках злоумышленников, радикально усложняя ландшафт угроз. В 2024 году ИИ способствовал резкому росту фишинга (на 202%) и случаев использования дипфейков (рост атак с подменой лица на 704%), которые позволяют обходить традиционные системы защиты. 2. Нечеловеческие личности (NHI) представляют собой огромную и часто игнорируемую зону риска. На каждую человеческую учетную запись приходится примерно 46 нечеловеческих личностей (сервисные аккаунты, API-ключи, боты), при этом более 70% из них не проходят ротацию в установленные сроки. 3. Системы идентификации и Active Directory остаются приоритетными целями для атак. Статистика показывает, что Active Directory является целью в 9 из 10 атак, а около половины инцидентов безопасности связаны с компрометацией или неправильной настройкой многофакторной аутентификации (MFA).

Отчет Darktrace: готовность организаций к угрозам с ИИ Компания Darktrace, занимающаяся разработкой решений в области кибербезопасности с применением искусственного интеллекта, выпустила отчет, в котором подробно анализируется, как искусственный интеллект меняет ландшафт киберугроз и готовность организаций к этим вызовам. Этот отчет основан на множестве данных, собранных среди специалистов по кибербезопасности по всему миру, и выделяет ключевые тренды, угрозы и меры защиты, которые становятся приоритетными для организаций в условиях стремительного роста использования ИИ. Угрозы, связанные с ИИ: • Утечка конфиденциальных данных — 61% • Нарушение приватности и безопасности данных — 56% • Злоупотребление ИИ-инструментами — 51% • Уязвимости в ИИ-моделях — 49% Эти угрозы становятся особенно актуальными на фоне быстрого внедрения генеративных ИИ-инструментов и ИИ-агентов в корпоративные процессы. Более 70% организаций в США, Великобритании и Бразилии обеспокоены утечками данных. В то время как Италия и ОАЭ больше переживают о нарушениях регламентов и стандартов. Готовность организаций к угрозам: Организации не всегда успевают внедрить соответствующие меры безопасности. Политику безопасности для использования ИИ внедрили в 37% организаций, что на 8% меньше по сравнению с 45% в прошлом году. Это говорит о замедлении процесса разработки и внедрения стандартов безопасности. Основные препятствия в защите от ИИ-угроз: 1. Недостаток знаний и опыта в области ИИ-технологий. 2. Нехватка персонала для управления новыми ИИ-инструментами. 3. Отсутствие интеграции между различными решениями безопасности, что затрудняет реагирование на угрозы. Кроме того, лишь 54% компаний используют инструменты защиты от утечек данных (DLP) для защиты данных, связанных с ИИ-инструментами, несмотря на их важность в предотвращении утечек конфиденциальной информации. Источник: https://eyes.etecs.ru/r/67d6b5