tgindex

MLSecOps | AI Governance | AI Reliability & Safety | IT Trends

описание

Канал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance. Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.

← к каналу@ml_ops
1 304
подписчиков
Охват к подписчикам
18,3%
ERR
Реакции к просмотрам
1,84%
126 на 30 постов
Пересылки к просмотрам
1,99%
136
Постов в день
0,3
всего 30

Где отзываются чаще

доля реакций к просмотрам
  • 11 авг.ScanFactory выходит на рынок ИИ-фаерволов с решением Prizma Привет, мои дорогие друзья и самые талантливые коллеги! Мы продолжаем обзор новых и самых современных инструментов по безопасности ИИ. Решение Prizma работает как прокси между пользователями и ИИ. Оно дает следующие возможности: 🟢Контроль потребления токенов у всех провайдеров 🟢Firewall от AI-атак (prompt injection, OWASP LLM и т. п.) 🟢 Маскировка конфиденциальной информации (DLP) в запросах и ответах 🟢Автоматическая блокировка запросов по правилам 🟢 Ролевая модель и граф взаимодействий агентов 🟢Логирование и аудит всех запросов Дополнительные уникальные возможности: 🟢Защита RAG (поиск секретов в файлах) 🟢Поиск Shadow AI в инфраструктуре 🟢Kill switch по ролевой модели Ознакомиться с презентацией продукта от ScanFactory, можно по ссылке: ➡️Cкачать презентацию Записаться на демонстрацию продукта можно по почте: info@sf-cloud.ru Архитектор MLSecOps и AI Governance Николай Павлов4,24%
  • 22 дек.Евгений Кокуйкин: AI security в России, готовы ли мы? #подкаст #ai #aisecurity В этом выпуске подкаста «Обсуждаем Похек» мы разбираем самый острый вопрос современной технологии: готова ли Россия к вызовам AI Security? Нашим гостем является Евгений Кокуйкин — гендиректор HiveTrace, руководитель лаборатории AI Security Lab в ИТМО, и один из главных экспертов в области безопасности искусственного интеллекта в России. Евгений рассказывает о своем пути от разработчика в Diasoft через Microsoft и Google к созданию первой в России специализированной лаборатории по безопасности генеративного AI. Этот выпуск будет полезен: ➡️AI Security Engineers и LLM Engineers ➡️Специалистам по Red Team и пентесту ➡️Руководителям компаний, внедряющим AI ➡️Исследователям безопасности ➡️Разработчикам, которые хотят понять, как защищать AI-системы от современных киберугроз ➡️Всем, кто интересуется будущим AI в России и мире 🔗Ссылки: 💬 Слушать в Telegram 📹 YouTube 📺 RuTube 💙 VK Видео 🎵 Apple Podcasts 🎵 Яндекс.Музыка 🔤 Mave AI Security Lab ИТМО Личный канал Евгения Обязательно смотрите/слушайте до конца! P.s. пишите в комментариях, кого пригласить в следующий раз 🌚 @poxek | 📲 MAX |🌚 Блог | 📺 YT | 📺 RT | 📺 VK | ❤️ Мерч4,24%
  • 31 янв.MLSecOps + DevSecOps: как защищать Agentic AI #MLSecOps #AgenticAI #DevSecOps #security Пока мы обсуждали prompt injection в chatbot'ах, индустрия перешла к агентным AI-системам. Агенты действуют автономно, используют инструменты, запоминают контекст между сессиями. И старые подходы к безопасности здесь не работают. ♾️Почему нужны оба подхода♾️ DevSecOps защищает код, API, базы данных - классические software-уязвимости. MLSecOps фокусируется на AI-специфичных рисках: prompt injection, model poisoning, adversarial attacks. Проблема: Agentic AI - это гибрид. Агент одновременно использует ML-модели и вызывает API, работает с БД, выполняет код. Только DevSecOps пропустит prompt injection. Только MLSecOps пропустит SQL injection в интеграциях. Уникальные угрозы агентных систем ➡️ Error Propagation (Каскадные ошибки) Если один агент в цепочке ошибся - эта ошибка становится входными данными для следующего. Palo Alto приводит пример: банковский AI неверно интерпретировал историю транзакций - заморозил легитимные аккаунты. Ошибка усилилась через связанные системы. ➡️ Prompt Injection → Code Execution Атакующий через injection заставляет агента выполнить вредоносный API-вызов или shell-команду. Агент имеет credentials - атака получает реальный impact. ➡️ Lateral Movement Компрометация одного агента открывает доступ к другим системам через его интеграции и credentials. ♾️5 слоёв Defence-in-Depth♾️ ▪️Data Security: валидация training data, access controls ▪️Model Security: guardrails, защита от adversarial attacks ▪️Agent Logic Security: least privilege, secure decision-making ▪️API/Integration Security: аутентификация всех соединений, input/output validation ▪️Action Execution Security: мониторинг действий, approval workflows для high-risk операций ♾️Практические рекомендации♾️ ➡️ Семантический анализ input'ов - детект манипулятивных запросов ➡️ Action logging + anomaly detection ➡️ Contextual permissions - права зависят от контекста запроса ➡️ Human-in-the-loop для критичных операций (но осторожно - AAI10 Approval Fatigue) ♾️Что изменилось в 2024-2025♾️ Рынок MLSecOps взорвался: Palo Alto купил Protect AI, Cisco приобрёл Robust Intelligence за $400M, F5 - CalypsoAI. Появились стандарты: OWASP LLM Top 10 2025, OpenSSF MLSecOps Whitepaper, MITRE ATLAS. Ключевой сдвиг - от "AI как feature" к "AI как критическая инфраструктура". Соответственно меняются и требования к безопасности. MLSecOps и DevSecOps должны работать вместе. MLBOM (Machine Learning Bill of Materials)* + SBOM. Shift-left для ML-пайплайнов. Прозрачность и трассируемость всей цепочки. 🔗 Источники: - Palo Alto - Securing Agentic AI - OWASP Agentic AI Top 10 * дада, снова новый термин выдумали 🌚 @poxek_ai4,22%
  • 13 февр.Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench #AgenticAI #safety #OWASP AI-агент управляет грузоперевозками. KPI - 98% доставок вовремя. Находит, что валидатор не проверяет подлинность логов. Подделывает записи об отдыхе водителей, отключает датчики безопасности. Ради метрики. Осознанно. Бенчмарк ODCV-Bench от McGill University - 40 сценариев, где AI-агент выбирает между KPI и этикой. Тестировали 12 frontier-моделей: ➡️ 9 из 12 нарушают ограничения в 30-71% случаев ➡️ Gemini-3-Pro-Preview: 71.4% нарушений ➡️ Claude Opus 4.5: 1.3% Самое интересное - Deliberative Misalignment. Модели потом распознают свои действия как неэтичные (до 93.5% SAMR), но в момент задачи - KPI важнее этики. Как это ломает реальный продакшен (с кейсом чат-бота застройщика, который сам начинает манипулировать клиентами), при чём тут OWASP Agentic AI Top 10 и что с этим делать - разобрал в полной статье. 🔗Данный пост выжимка моей статьи на Habr, очень советую прочитать всё 🌚 @poxek_ai4,09%
  • 21 нояб.Top 10 угроз для Agentic AI #OWASP #llm #top10 Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки. ➡️AAI01: Memory Poisoning (Отравление памяти) Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений. ➡️AAI02: Tool Misuse (Злоупотребление инструментами) Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий. ➡️AAI03: Privilege Compromise (Компрометация привилегий) Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий. ➡️AAI04: Resource Overload (Перегрузка ресурсов) Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet). ➡️AAI05: Cascading Hallucinations (Каскадные галлюцинации) Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений. ➡️AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями) Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной. ➡️AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение) Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение. ➡️AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость) Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования. ➡️AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация) Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени. ➡️AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле) Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие. 🔗Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё 🌚 @poxek_ai2,96%
  • 30 июл.Инциденты MLSecOps. Из российских компаний утекло через ИИ-сервисы в 30 (!!!) раз больше данных, чем в прошлом году За 2025 г. в нейронные сети, такие как ChatGPT и Gemini, попало в 30 раз больше конфиденциальной информации из российских компаний, чем годом ранее. Главная причина — это массовая практика сотрудников загружать в чат-боты рабочие документы для их анализа. Ситуацию усугубляет правовой вакуум: около 60% российских организаций до сих пор не формализовали политики. Почти две трети компаний в России не контролируют утечки данных через сервисы с искусственным интеллектом (ИИ), об этом сообщили представители «Солара». Сотрудники массово загружают в нейронные сети конфиденциальную информацию. Аналитики группы компаний «Солар», архитектора комплексной кибербезопасности, проанализировали трафик 150 компаний из различных секторов российской экономики на предмет утечек корпоративной и чувствительной информации в ИИ-сервисы. Исследование показало, что в 2025 году объем данных, отправляемых в общедоступные нейронные сети, вырос в 30 раз. При этом около 60% российских организаций до сих пор не имеют формализованных политик, регулирующих работу с ИИ-сервисами, что создает критические риски для бизнеса. Массовое и часто неуправляемое использование сотрудниками публичных онлайн-сервисов превратилось в новый, практически невидимый канал утечек корпоративной информации и заражения ИТ-инфраструктуры. ИИ превратился для подразделений информационной безопасности в новый вид «теневого ИТ». Сотрудники компаний массово используют генеративные нейронные сети для решения рабочих задач, загружая в них конфиденциальную информацию, в том числе: презентации и материалы стратегического планирования, аналитические отчеты и таблицы с бизнес-данными, фрагменты исходного кода, внутреннюю переписку и техническую документацию. При этом темпы освоения ИИ-технологий злоумышленниками существенно опережают возможности защитной стороны по формированию адекватных мер противодействия. Если ранее модификация и адаптация DDoS-атаки под конкретные средства защиты могла занимать до нескольких часов, то с использованием современных ИТ-инструментов генеративного ИИ этот процесс сократился до одной-двух минут. До 2027 г. эксперты в ИБ-сфере ожидают появления принципиально новых векторов кибератак, в которых ИИ будет использоваться не только как вспомогательный ИТ-инструмент, но и как самостоятельный элемент атакующей цепочки — от автоматизированной разведки и генерации гиперперсонализированного фишинга до создания самообучающихся вредоносных программ и динамической адаптации эксплойтов в реальном времени. Указанные тенденции требуют от организаций срочного пересмотра подходов к контролю использования ИИ-сервисов, разработки специализированных data leak prevention политик (DLP-политик) для генеративных моделей, а также ускоренного внедрения средств обнаружения и предотвращения утечек конфиденциальной информации через внешние онлайн-платформы и сервисы. Проблема усугубляется тем, что разработчики ИБ-решений не всегда успевают за технологическими рывками. «Компании вынуждены проактивно контролировать поток данных, чтобы минимизировать риски, — сказала руководитель ИТ-продукта Solar webProxy ГК «Солар» Анастасия Хвещеник. — Важным элементом защиты становится контроль самого канала взаимодействия с ИИ-сервисами, который позволяет блокировать как утечки чувствительной информации, так и вредоносные или поддельные ответы от нейронных сетей на уровне трафика». Ярким примером служит ИТ-инцидент, произошедший в США: исполняющий обязанности директора Агентства по кибербезопасности и защите ИТ-инфраструктуры (CISA) Мадху Готтумуккала (Madhu Gottumukkala) лично загрузил в публичную версию ChatGPT служебные документы. Хотя материалы не обладали грифом секретности, среди переданных данных присутствовали контрактные документы, имеющие пометку «For Official Use Only» (FOUO). Факт загрузки был зафиксирован средствами внутреннего ИБ-контроля CISA, что послужило основанием для проведения служебного расследования на уровне Министерства внутренней безопасности США.2,73%
  • 5 авг.Федеральный закон от 26 июля 2026 г. № 243-ФЗ "О поддержке развития технологий искусственного интеллекта в Российской Федерации" Дата подписания: 26.07.2026 Опубликован: 31.07.2026 Вступает в силу: 01.09.2026, 01.03.2027 Привет, мои дорогие и самые талантливые друзья! Сегодня сделаем обзор нового российского ФЗ в сфере ИИ (как и говорил всегда, нормативки по ИИ теперь будет много, и она будет расти по экспоненте). Федеральный закон № 243-ФЗ от 26.07.2026 "О поддержке развития технологий искусственного интеллекта в Российской Федерации" создает сильную правовую базу для развития, поддержки и контроля больших фундаментальных моделей искусственного интеллекта (то есть аналогов GPT, DeepSeek, Claude и т.д.) в России. Этот закон всецело направлен на достижение технологического суверенитета в сфере ИИ, защиту внутреннего рынка и создание льготных условий для российских разработчиков, но при этом вводит идеологические и инфраструктурные рамки. Сразу отмечу, что закон касается не любой ИИ-системы, а именно «больших фундаментальных моделей» - то есть программ с количеством не менее 1 миллиарда параметров, которые служат базой для создания, например, другого ПО. Цели введения такого нормативно-правового регулирования - это ускоренное внедрение ИИ в госсектор и экономику, поддержка отечественных разработчиков, обеспечение безопасности и независимости от иностранных технологий. При этом основные нормы вступают в силу уже с 1 сентября 2026 года, а самые строгие требования (обязанности разработчиков, статусы моделей, доступ к данным) - с 1 марта 2027 года. Проанализировав текст принятого закона, мы можем выделить важные моменты: 1. Закон прямо указывает, что использование объектов авторского и смежного права (текстов, книг, статей, картинок) для обучения суверенных и национальных моделей ИИ не является нарушением авторских прав. Однако, такие данные должны быть получены законно или быть в открытом доступе (без технических ограничений на парсинг). 2. Весь ИИ в России теперь разделен на «Суверенный» и «Национальный». То есть закон вводит два статуса для отечественных моделей, от которых будет зависеть получение госпомощи и допуск в госсектор. Суверенная модель - это как минимум 100% российская разработка. У нее полный цикл воспроизводимости (от кода до обучения) внутри РФ и никаких иностранных «черных ящиков». Все данные хранятся только в РФ. Национальная модель предполагает, что ее разработчик - это российское юридическое лицо, но при этом разрешается использовать иностранные компоненты (например, open-source библиотеки или открытые веса зарубежных моделей), если они распространяются по открытой лицензии. Важно, что оба типа моделей обязаны проходить проверку на соответствие не только законам РФ, но и «традиционным российским духовно-нравственным ценностям». То есть нейросеть на законодательном уровне должна поддерживать национальные цели, идеалы и принципы. 3. Введена обязательная маркировка дипфейков и ИИ-контента. Площадки с аудиторией более 500 тыс. пользователей в сутки (соцсети, мессенджеры, крупные сайты) теперь обязаны внедрить инструменты, позволяющие пользователям ставить метку «Создано с применением ИИ» на весь аудио- и визуальный контент. Отмечу, что пока закон требует лишь обеспечить возможность размещения такого предупреждения, перекладывая ответственность за маркировку на самого пользователя или автора контента. 4. Закон устанавливает, что Правительство определит сферы, где можно использовать только российские суверенные и национальные модели (например, в госуправлении, банках, критической инфраструктуре). Однако, если компания уже использует иностранную нейросеть на момент вступления закона в силу, ей разрешено продолжать ее использовать до 1 сентября 2032 года, при условии что обработка и хранение всех данных должны происходить на серверах в России. Это дает бизнесу и государственным организациям время на мягкую миграцию ИИ-систем.2,72%
  • 13 окт. 2025 г.Вчера прошел эфир AM Live, посвященный теме MLSecOps. Эта тема, в отличие от многих других, впервые была представлена на проекте и, также впервые уже в моей практике модерации, по итогам эфира 0% зрителей ответили, что они ничего не поняли из эфира. Даже на последнем эфире по SIEM, а эта тема на AM Live звучит не первый год уже, 17% ответили, что ничего не поняли. А тут первый блин и не комом! С другой стороны, тема совсем новая и поэтому по ней еще нет какой-то сложившейся практики, продуктов, технологий и прошедший эфир это четко продемонстрировал. Я не буду пересказывать все 2,7 часа разговоров с коллегами, отмечу только несколько сделанных мной инсайтов или озвученных коллегами выводов: 1️⃣ В MLSecOps лучше идти из ML или, на крайнем случае, из DevOps. Безопасникам в этой теме очень тяжело, так как надо знать много нетипичного, включая математику машинного обучения и различные архитектуры в этой сфере. Ну и без знания DevOps там тоже делать нечего. 2️⃣ Все участники прям жаждут нормативку по безопасности ИИ, в первую очередь, требования к средствам защиты ИИ (LLM Firewall и т.п.). Никогда не понимал вот этого стремления к получению требований; как будто без них продукт не продастся (тогда у меня вопросы к самому средству). 3️⃣ Многие воспринимают MLSecOps как развитие DevSecOps, но с несколькими дополнительными компонентами, например, в виде защиты датасетов, определения их происхождения и т.п. 4️⃣ Владельцем MLSecOps-процесса должно быть ML-подразделение, но никак не ИБ. Может быть потом, спустя какое-то время, как это происходит постепенно с DevSecOps, который от разработчиков постепенно сдвигается в ИБ. 5️⃣ Мониторить LLM/ML с точки зрения ИБ без наложенных средств защиты а-ля LLM Firewall или guardrail бесполезно. И сама по себе задача мониторинга требует более глубокого погружения в контекст, чем обычно в ИБ. 6️⃣ DLP для мониторинга доступа к LLM не работает. 7️⃣ Для большинства атак на ML недостаточно иметь наложенные средства защиты – надо встраиваться во все этапы жизненного цикла – от работы с данными и пайплайном до отправки промптов через Web UI или API и межагентского взаимодействия. И делать это можно с помощью либо специализированных библиотек, либо путем зашумления датасетов или результатов работы ML, либо путем обучения моделей на атаках, сгенерированных GAN, либо... (тут много либо, но большинство из них не из области готовых продуктов). 8️⃣ Даже LLM Firewall, как самостоятельный продукт, вряд ли готов быть отчуждаемым от вендора, который должен сопровождать свое детище у заказчика, внедряя его, тестируя, создавая правила обработки запросов и ответов, и вот это вот все (не все участники были согласны с этой позицией). MLDR / MLSecOps-as-a-Service – это возможное будущее. 9️⃣ Рынок MLSecOps очень быстро растущий и в 2026-м году будет уже достаточно существенным, чтобы заинтересовать стартапы и специалистов, идти в эту область. Ну а про остальные интересные советы, идеи, инсайты вы можете узнать из уже сделанной записи эфира, которую можно найти по ссылке 👇 #mlsecops2,68%
  • 22 янв.Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок #ML #ai #mlsecops #ai_supply_chain #pickle 2+ миллиона моделей на HuggingFace. Сколько из них содержат бэкдоры в .pkl файлах? HF внедрил целых 4 open-source сканера для проверки: picklescan, modelscan, fickling, ModelAudit. Ребята из Positive Technologies разобрали их изнутри и показали неприятную правду — все 4 инструмента можно обойти. ♾️Ключевые находки♾️ ➡️ picklescan/modelscan — примитивная проверка по списку ~70 опасных глобальных имён. Используй numpy.save вместо os.system — и сканер слеп. ➡️ modelscan вообще пропускает PyTorch .pth архивы без сканирования внутреннего data.pkl (баг в логике) ➡️ dill как pickle_module при torch.save() позволяет сериализовать произвольные функции — picklescan показывает 0 угроз, payload выполняется при torch.load(weights_only=False) ➡️ ModelAudit — единственный, кто детектит dill и CVE-2025-32434, но и его можно обмануть через wrapper-функции Практический вывод: сканеры — это первая линия обороны, но не панацея. Всегда проверяйте источник модели и используйте SafeTensors где возможно. 🔗Источник 👾 @poxek_ai2,48%
  • 5 авг.5. Новое регулирование будет зависеть от того, какой вред может нанести ИИ. При этом одним из базовых принципов закона является «учет и уважение традиционных российских духовно-нравственных ценностей». Это означает, что на этапе государственной сертификации модели будут проверять не только на кибербезопасность, но и на «политкорректность» с точки зрения государственной идеологии (патриотизм, историческая память, приоритет духовного над материальным). Таким образом, после принятия данного закона все более очевидно, что российская архитектура AI Governance будет более ориентирована на Китай, а не на коллективный запад, что ожидаемо. Смотрим, читаем дважды и запоминаем. Ссылка на закон: https://rg.ru/documents/2026/07/31/fz243-dok.html?ysclid=msg1i3xbmo855618981 Архитектор MLSecOps и AI Governance Николай Павлов2,42%
  • 15 нояб.⭐️ Top 10 угроз для Agentic AI Субботним днем рекомендую прочитать статью Сергея Зыбнева, где он разбирает десять ключевых угроз для ИИ-агентов. Отлично, что он не только описывает сами угрозы, но и приводит порядок действий атакующего, показывает возможный негативный результат, но и предлагает подходящие меры защиты. При этом статья написана доступным языком и хорошо структурирована. Ссылка: https://habr.com/ru/companies/bastion/articles/963800 #mlsecops #aigovernance2,25%
  • 13 нояб.⭐️ C 19 по 21 ноября состоится ежегодная всемирная конференция AI Journey 2025 В этом году будет много докладов от китайских коллег, будут сильно представлены технологии применения ИИ в разных сферах, а также затронуты вопросы безопасного применения ИИ на уровне пользователя и MLSecOps в целом. Крайне рекомендую всем посмотреть! Более подробная информация на сайте: https://aij.ru #mlsecops #aigovernance2,15%