MLSecOps | AI Governance | AI Reliability & Safety | IT Trends
СтатистикаКанал для друзей и коллег с целью ежедневного развития в направлениях MLSecOps и AI Governance. Свежие новости, перспективные вакансии, IT-тренды и лучшие учебные программы в сфере ИИ.
- Последний пост
- 11 авг.
- Последнее чтение
- 13:00
- Постов за неделю
- 3
- Всего постов
- 30
- Тип
- открытый
- Язык
- русский
- Категория
- Карьера
- В каталоге с
- 12 авг.
- 1/24сутки в ленте
- 119
- 1/48двое суток
- 136
- 1/72трое суток
- 147
Оценка по просмотрам недавних постов: пост набирает почти всё за первые сутки.
Посты
ScanFactory выходит на рынок ИИ-фаерволов с решением Prizma Привет, мои дорогие друзья и самые талантливые коллеги! Мы продолжаем обзор новых и самых современных инструментов по безопасности ИИ. Решение Prizma работает как прокси между пользователями и ИИ. Оно дает следующие возможности: 🟢Контроль потребления токенов у всех провайдеров 🟢Firewall от AI-атак (prompt injection, OWASP LLM и т. п.) 🟢 Маскировка конфиденциальной информации (DLP) в запросах и ответах 🟢Автоматическая блокировка запросов по правилам 🟢 Ролевая модель и граф взаимодействий агентов 🟢Логирование и аудит всех запросов Дополнительные уникальные возможности: 🟢Защита RAG (поиск секретов в файлах) 🟢Поиск Shadow AI в инфраструктуре 🟢Kill switch по ролевой модели Ознакомиться с презентацией продукта от ScanFactory, можно по ссылке: ➡️Cкачать презентацию Записаться на демонстрацию продукта можно по почте: info@sf-cloud.ru Архитектор MLSecOps и AI Governance Николай Павлов
IV профессиональная конференция для ИТ и инженерного cообщества в нефтегазовой отрасли byteoilgas_conf Это профессиональная конференция для разработчиков, работающих в нефтегазовой отрасли и создающих крутые продукты для ТЭК. byteoilgas_conf – качественный отраслевой контент, обмен опытом и много интересных дискуссий! Приглашают: + разработчиков ИТ и цифровых высоконагруженных систем + DevOps-специалистов + архитекторов ИТ + продуктовых аналитиков + продакт-менеджеров Очень рекомендую эту конференцию, так как там традиционно затрагиваются и темы MLSecOps, AI Governance в нефтегазовой отрасли. Масса ценного межотраслевого опыта. Участие бесплатное, я сам зарегистрировался, регистрация по ссылке: https://byteoilgasconf.ru/registration Архитектор MLSecOps и AI Governance Николай Павлов
SpaceAI - единый слой защиты, управления и контроля за LLMs и ИИ-агентами Получил интересную презентацию по новому инструменту безопасности ИИ SpaceAI, который позволяет безопасно запускать LLM-модели и ИИ-агенты в корпоративной инфраструктуре (делюсь информацией с друзьями и подписчиками, файл во вложении). Радует, что такие решения все активнее появляются на российском рынке и уверен, что они будут непрерывно развиваться, учитывая развитие новых векторов атак. Архитектор MLSecOps и AI Governance Николай Павлов
ИИ-модель Qwen3.8-Max - очередной прорыв Китая, бросающий вызов американским конкурентам, — Bloomberg Китайская Alibaba выпустила свою самую мощную модель искусственного интеллекта (ИИ) Qwen3.8-Max, основанную на 2,4 трлн параметров. Новая модель показывает сопоставимые, а иногда и лучшие результаты, чем американская Fable 5 от Anthropic (передовая американская ИИ-модель, которая помещена под экспортный контроль в США из-за своих возможностей). Дебют состоялся всего через несколько дней после того, как модель Kimi от Moonshot вызвала ажиотаж на фондовых рынках и в Кремниевой долине, продемонстрировав, что китайские разработчики быстро догоняют ведущие модели, созданные Anthropic и OpenAI. Bloomberg
OWASP выпустил новую версию Top 10 for LLM Applications 2026. 1. Prompt Injection 2. Sensitive Information Disclosure 3. Excessive Agency 4. Supply Chain 5. Data and Model Poisoning 6. Unbounded Consumption 7. Misinformation 8. Hidden Context Exposure 9. Vector and Embedding Weaknesses 10. Improper Output Handling Как и другие гайды проекта, этот список формировался силами сообщества. Участники предлагали новые категории и варианты переименования, после чего голосовали за значимость рисков. Подробнее о кандидатах релиза я писал пару месяцев назад. Как можно заметить, изменений немного: все знакомые категории остались в списке. Новые сценарии атак решили распределить между существующими рисками, чтобы не дробить классификацию. Excessive Agency поднялся на третье место, а в приложении появился подробный маппинг этого риска на OWASP Top 10 for Agentic Applications. Unbounded Consumption тоже переместили выше, на шестое место, на фоне распространения reasoning-моделей, длинных контекстов и роста вычислительных затрат. Наконец, убрали противоречивый System Prompt Leakage. Его переименовали в Hidden Context Exposure, расширив риск до раскрытия developer instructions, tool schemas, правил доступа и другой внутренней логики приложения. В гайде есть большой appendix с маппингами на другие фреймворки и интересная диаграмма движения атаки от внешнего контура к последствиям. На входе находятся три основных вектора: Prompt Injection, Supply Chain и Data and Model Poisoning. Дальше атака может усиливаться за счет раскрытия скрытого контекста или избыточных полномочий агента. В центре схемы находятся три основных последствия: утечка чувствительной информации, распространение недостоверной информации и неконтролируемое потребление ресурсов.
5. Новое регулирование будет зависеть от того, какой вред может нанести ИИ. При этом одним из базовых принципов закона является «учет и уважение традиционных российских духовно-нравственных ценностей». Это означает, что на этапе государственной сертификации модели будут проверять не только на кибербезопасность, но и на «политкорректность» с точки зрения государственной идеологии (патриотизм, историческая память, приоритет духовного над материальным). Таким образом, после принятия данного закона все более очевидно, что российская архитектура AI Governance будет более ориентирована на Китай, а не на коллективный запад, что ожидаемо. Смотрим, читаем дважды и запоминаем. Ссылка на закон: https://rg.ru/documents/2026/07/31/fz243-dok.html?ysclid=msg1i3xbmo855618981 Архитектор MLSecOps и AI Governance Николай Павлов
Федеральный закон от 26 июля 2026 г. № 243-ФЗ "О поддержке развития технологий искусственного интеллекта в Российской Федерации" Дата подписания: 26.07.2026 Опубликован: 31.07.2026 Вступает в силу: 01.09.2026, 01.03.2027 Привет, мои дорогие и самые талантливые друзья! Сегодня сделаем обзор нового российского ФЗ в сфере ИИ (как и говорил всегда, нормативки по ИИ теперь будет много, и она будет расти по экспоненте). Федеральный закон № 243-ФЗ от 26.07.2026 "О поддержке развития технологий искусственного интеллекта в Российской Федерации" создает сильную правовую базу для развития, поддержки и контроля больших фундаментальных моделей искусственного интеллекта (то есть аналогов GPT, DeepSeek, Claude и т.д.) в России. Этот закон всецело направлен на достижение технологического суверенитета в сфере ИИ, защиту внутреннего рынка и создание льготных условий для российских разработчиков, но при этом вводит идеологические и инфраструктурные рамки. Сразу отмечу, что закон касается не любой ИИ-системы, а именно «больших фундаментальных моделей» - то есть программ с количеством не менее 1 миллиарда параметров, которые служат базой для создания, например, другого ПО. Цели введения такого нормативно-правового регулирования - это ускоренное внедрение ИИ в госсектор и экономику, поддержка отечественных разработчиков, обеспечение безопасности и независимости от иностранных технологий. При этом основные нормы вступают в силу уже с 1 сентября 2026 года, а самые строгие требования (обязанности разработчиков, статусы моделей, доступ к данным) - с 1 марта 2027 года. Проанализировав текст принятого закона, мы можем выделить важные моменты: 1. Закон прямо указывает, что использование объектов авторского и смежного права (текстов, книг, статей, картинок) для обучения суверенных и национальных моделей ИИ не является нарушением авторских прав. Однако, такие данные должны быть получены законно или быть в открытом доступе (без технических ограничений на парсинг). 2. Весь ИИ в России теперь разделен на «Суверенный» и «Национальный». То есть закон вводит два статуса для отечественных моделей, от которых будет зависеть получение госпомощи и допуск в госсектор. Суверенная модель - это как минимум 100% российская разработка. У нее полный цикл воспроизводимости (от кода до обучения) внутри РФ и никаких иностранных «черных ящиков». Все данные хранятся только в РФ. Национальная модель предполагает, что ее разработчик - это российское юридическое лицо, но при этом разрешается использовать иностранные компоненты (например, open-source библиотеки или открытые веса зарубежных моделей), если они распространяются по открытой лицензии. Важно, что оба типа моделей обязаны проходить проверку на соответствие не только законам РФ, но и «традиционным российским духовно-нравственным ценностям». То есть нейросеть на законодательном уровне должна поддерживать национальные цели, идеалы и принципы. 3. Введена обязательная маркировка дипфейков и ИИ-контента. Площадки с аудиторией более 500 тыс. пользователей в сутки (соцсети, мессенджеры, крупные сайты) теперь обязаны внедрить инструменты, позволяющие пользователям ставить метку «Создано с применением ИИ» на весь аудио- и визуальный контент. Отмечу, что пока закон требует лишь обеспечить возможность размещения такого предупреждения, перекладывая ответственность за маркировку на самого пользователя или автора контента. 4. Закон устанавливает, что Правительство определит сферы, где можно использовать только российские суверенные и национальные модели (например, в госуправлении, банках, критической инфраструктуре). Однако, если компания уже использует иностранную нейросеть на момент вступления закона в силу, ей разрешено продолжать ее использовать до 1 сентября 2032 года, при условии что обработка и хранение всех данных должны происходить на серверах в России. Это дает бизнесу и государственным организациям время на мягкую миграцию ИИ-систем.
Еврокомиссия сможет ограничивать доступ к рынку, требовать проверки моделей и штрафовать разработчиков на сумму до 15 млн евро или 3% годового оборота Европейская комиссия получила новые полномочия по контролю за моделями искусственного интеллекта в рамках поэтапного вступления в силу закона AI Act. Теперь регулятор может требовать предоставить модель для проверки до её вывода на рынок ЕС, ограничивать доступ к европейскому рынку и налагать штрафы до 15 млн евро или 3% годового мирового оборота компании — в зависимости от того, какая сумма больше. Новые правила распространяются на всех поставщиков универсальных ИИ-моделей, работающих на рынке Евросоюза, независимо от страны регистрации. Как отметила партнёр юридической фирмы Sidley Austin Элизабетта Ригини, наличие штаб-квартиры в США не выводит компанию из-под европейской юрисдикции. Кроме того, иностранные разработчики обязаны назначить официального представителя на территории ЕС. Штрафы могут последовать не только за нарушения требований AI Act, но и за отказ предоставить информацию, введение регулятора в заблуждение или воспрепятствование проверке модели. Новые полномочия усиливают давление на крупнейшие американские компании, включая OpenAI, Anthropic и Google, на фоне стремления ЕС укрепить технологическую независимость. По данным Reuters, Евросоюз уже ведёт переговоры с OpenAI и Anthropic после недавних киберинцидентов с участием их моделей. OpenAI подтвердила, что находится в контакте с Европейским офисом по искусственному интеллекту. Усиление контроля происходит на фоне обострения отношений между ЕС и США в сфере технологического регулирования. В июле европейские власти оштрафовали Google почти на $1 млрд по закону Digital Markets Act, после чего США Дональд Трамп пригрозил Евросоюзу введением «существенных пошлин». Представители OpenAI и Google заявили, что продолжат сотрудничать с Еврокомиссией и соблюдать требования нового законодательства. Reuters
Суд в Москве отказался признать сгенерированные ИИ изображения творчеством Автор сгенерированных в нейросети изображений "Мона Лиза с вином" и "Статуя Свободы с вином" не смог добиться защиты авторских прав, поскольку суд в Москве посчитал их создание не творчеством, а техническим процессом, следует из материалов в распоряжении РИА Новости. Автор иска указал, что переработал в нейросети репродукции картины "Мона Лиза" ("Джоконда") Леонардо да Винчи и фотографии Статуи Свободы. В результате у него получились арт-объекты "Мона Лиза с вином" и "Статуя Свободы с вином", а ответчик использовал их на футболках, худи, свитшотах и термостаканах, которые продавал на своем сайте. Истец просил суд взыскать с индивидуального предпринимателя компенсацию за нарушение исключительных прав автора на произведения дизайна. Ответчик иск не признал и отметил, что использование истцом изображений с внесением незначительных изменений в оригинальные произведения недостаточно для того, чтобы признать полученное результатом творческой деятельности, а потому они не могут считаться объектами авторского права, подлежащими защите. Истец настаивал в суде, что для создания произведений выкупил фотографии, на которых заменил у Статуи Свободы факел в руке на винный бокал и подложил фон изображения, а Джоконде изменил положение руки, мимику рта и контур лица, увеличил объем волос и растрепал их, подрисовал мешки под глазами и прикрепил патчи, в руку с накрашенными ногтями поместил бокал вина, указано в материалах. Суд отметил, что спорные изображения созданы нейросетью, а раз у нее нет сознания, нельзя утверждать, что ИИ прилагает творческие усилия. По мнению инстанции, идея взъерошенных волос, одутловатости лица, бокал вина в руке, равно как и замена факела у Статуи Свободы на бокал вина, не нова, и часто используется в искусстве и медиа. "Представленные истцом объекты не могут являться самостоятельными объектами авторского права, подлежащего защите, поскольку дача команд для искусственного интеллекта представляет собой простые механические действия, носит исключительно технический характер. В данном случае дача команд компьютерной программе применить уже существующую идею (неоднократно реализованную) к ранее существующему произведению не может расцениваться как творческий вклад", — указал суд, отклонив исковые требования. Как пояснили там, вклад истца ограничивается уточнением команд, что не считается творчеством. РИА Новости
📣 Актуальные сценарии работы HiveTrace с OpenClaw и Claude Сегодня на вебинаре показали, как с помощью HiveTrace Hooks контролировать работу Claude, рассказали о способах защиты OpenClaw и продемонстрировали атаки на агентов. ▶️ СМОТРЕТЬ 🟦 СМОТРЕТЬ Поделитесь в комментариях: какие действия AI-агентов в вашей инфраструктуре требуют особого контроля?
⭐️ Запускаем четвертый поток учебной программы по AI Governance! Учитывая стремительный рост и востребованность нового направления AI Governance, Академия АйТи FabricaONE.AI (акционер - ГК Softline) с 11 по 22 августа проводит еще один поток новой корпоративной учебной программы «AI Governance в критических отраслях: от рисков и угроз к этике и доверию». Учебная программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ. Это первая в России программа по AI Governance в критических отраслях. В рамках обучения слушатели узнают: 1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем? 2. Как избежать рисков нарушения этики и дискриминации? 3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу? 4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ? 5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают? 6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования? 7. Какие требования к архитектуре ИИ-систем есть в AI Governance? 8. Как работать с Каталогом и Глоссарием данных в AI Governance? 9. Какие есть методы, инструменты и фреймворки для AI Governance? 10. Как выстроить процессы AI Governance в компании. 11. Многое другое. Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру. Сильные стороны программы: 1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень). 2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно. 3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков. 4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем. 5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона о регулировании ИИ в России (он сейчас на обсуждении, макет уже разработан). Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования. 6. Автор программы принимает участие в разработке ГОСТ, ПНСТ, ФЗ и других нормативно-правовых регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях. Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN): https://academyit.ru/courses/ai_g Дополнительная ссылка: https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu/ По итогам обучения выдается удостоверение о повышении квалификации. Global MLSecOps & AI Governance Architect Николай Павлов
Похожий ИТ-инцидент произошел в Samsung. Инженеры полупроводникового подразделения использовали ChatGPT для проверки и оптимизации исходного кода, а также для создания транскрипций записей совещаний. В результате фрагменты секретного исходного кода и другая конфиденциальная информация оказались на серверах OpenAI и могли быть использованы для дальнейшего обучения ИИ-модели. Компании Samsung пришлось экстренно вводить ограничения на объем загружаемых данных и начать разработку собственного внутреннего ИИ-инструмента. CNews
Инциденты MLSecOps. Из российских компаний утекло через ИИ-сервисы в 30 (!!!) раз больше данных, чем в прошлом году За 2025 г. в нейронные сети, такие как ChatGPT и Gemini, попало в 30 раз больше конфиденциальной информации из российских компаний, чем годом ранее. Главная причина — это массовая практика сотрудников загружать в чат-боты рабочие документы для их анализа. Ситуацию усугубляет правовой вакуум: около 60% российских организаций до сих пор не формализовали политики. Почти две трети компаний в России не контролируют утечки данных через сервисы с искусственным интеллектом (ИИ), об этом сообщили представители «Солара». Сотрудники массово загружают в нейронные сети конфиденциальную информацию. Аналитики группы компаний «Солар», архитектора комплексной кибербезопасности, проанализировали трафик 150 компаний из различных секторов российской экономики на предмет утечек корпоративной и чувствительной информации в ИИ-сервисы. Исследование показало, что в 2025 году объем данных, отправляемых в общедоступные нейронные сети, вырос в 30 раз. При этом около 60% российских организаций до сих пор не имеют формализованных политик, регулирующих работу с ИИ-сервисами, что создает критические риски для бизнеса. Массовое и часто неуправляемое использование сотрудниками публичных онлайн-сервисов превратилось в новый, практически невидимый канал утечек корпоративной информации и заражения ИТ-инфраструктуры. ИИ превратился для подразделений информационной безопасности в новый вид «теневого ИТ». Сотрудники компаний массово используют генеративные нейронные сети для решения рабочих задач, загружая в них конфиденциальную информацию, в том числе: презентации и материалы стратегического планирования, аналитические отчеты и таблицы с бизнес-данными, фрагменты исходного кода, внутреннюю переписку и техническую документацию. При этом темпы освоения ИИ-технологий злоумышленниками существенно опережают возможности защитной стороны по формированию адекватных мер противодействия. Если ранее модификация и адаптация DDoS-атаки под конкретные средства защиты могла занимать до нескольких часов, то с использованием современных ИТ-инструментов генеративного ИИ этот процесс сократился до одной-двух минут. До 2027 г. эксперты в ИБ-сфере ожидают появления принципиально новых векторов кибератак, в которых ИИ будет использоваться не только как вспомогательный ИТ-инструмент, но и как самостоятельный элемент атакующей цепочки — от автоматизированной разведки и генерации гиперперсонализированного фишинга до создания самообучающихся вредоносных программ и динамической адаптации эксплойтов в реальном времени. Указанные тенденции требуют от организаций срочного пересмотра подходов к контролю использования ИИ-сервисов, разработки специализированных data leak prevention политик (DLP-политик) для генеративных моделей, а также ускоренного внедрения средств обнаружения и предотвращения утечек конфиденциальной информации через внешние онлайн-платформы и сервисы. Проблема усугубляется тем, что разработчики ИБ-решений не всегда успевают за технологическими рывками. «Компании вынуждены проактивно контролировать поток данных, чтобы минимизировать риски, — сказала руководитель ИТ-продукта Solar webProxy ГК «Солар» Анастасия Хвещеник. — Важным элементом защиты становится контроль самого канала взаимодействия с ИИ-сервисами, который позволяет блокировать как утечки чувствительной информации, так и вредоносные или поддельные ответы от нейронных сетей на уровне трафика». Ярким примером служит ИТ-инцидент, произошедший в США: исполняющий обязанности директора Агентства по кибербезопасности и защите ИТ-инфраструктуры (CISA) Мадху Готтумуккала (Madhu Gottumukkala) лично загрузил в публичную версию ChatGPT служебные документы. Хотя материалы не обладали грифом секретности, среди переданных данных присутствовали контрактные документы, имеющие пометку «For Official Use Only» (FOUO). Факт загрузки был зафиксирован средствами внутреннего ИБ-контроля CISA, что послужило основанием для проведения служебного расследования на уровне Министерства внутренней безопасности США.
Инциденты AI Governance. Канадский депутат зачитал в парламенте речь с советом от ИИ Этот инцидент произошел в июне. Политик, судя по всему, не заметил, что скопировал готовый текст вместе с инструкцией от нейросети, и продолжил читать как ни в чем не бывало. Никто из присутствующих не остановил его. Как отмечает издание, оплошность Оливера много недель оставалась незамеченной. "Вот более естественно звучащий вариант этого раздела, который выглядит как законодательный текст, а не как список из кратких пунктов", - заявил депутат посреди своего выступления, после чего продолжил зачитывать текст. Местные СМИ и пользователи соцсетей раскритиковали депутата за использование ИИ и лень в работе. Toronto Star сравнило его с актером, случайно зачитавшим сценическую ремарку. CBC, в свою очередь, привело в пример реакцию на оговорку в соцсети Reddit. Пользователи отмечают, что, если Оливер не понесет за это ответственность, это будет значить, что к школьникам предъявляются более высокие требования, чем к депутатам. Ряд пользователей призвали депутата уйти в отставку. Toronto Star
Женщина загрузила в DeepSeek служебные документы — ее уволили за разглашение коммерческой тайны. Случай произошел в Москве, сотрудница работала в инженерной компании директором по продажам, говорится в материалах суда, которые изучило РИА Новости. При этом общением с нейросетью дело не ограничилось — женщина в том числе пересылала служебные документы на личную почту. После разглашения коммерческой тайны контрагент фирмы перестал выходить на связь, а сотрудницу в итоге уволили. Она обратилась в суд и потребовала выплатить ей «золотой парашют» в пять миллионов рублей, но безуспешно. РИА Новости
Использование ИИ и VPN должно стать отягчающим обстоятельством при совершении преступления, считает глава СК Александр Бастрыкин. Поправки в УК уже подготовлены. «Учитывая, что в настоящее время такие технологии могут использоваться даже при совершении убийства, доведения до самоубийства, действий сексуального характера, развратных действий, терроризма, экстремизма и другого, дополнение УК РФ таким отягчающим наказание признаком представляется обоснованным и верным решением», — сказал глава СК Александр Бастрыкин. По его словам, речь идет не об автоматическом ужесточении ответственности за использование гаджетов или интернета — изменения должны применяться в случаях, когда ИКТ и ИИ становятся основным инструментом совершения преступления или значительно увеличивают масштаб причиненного вреда. Интерфакс
Обновленная презентация HiveTrace 2026 Представляю замечательную статистику по безопасности ИИ и презентацию платформ HiveTrace, HiveTrace Red (спасибо Евгению Кокуйкину за ценные материалы). Масса новых инсайтов, предельно четкое обоснование необходимости внедрения передовых отечественных систем по защите LLM, включая перечень рисков и угроз. В этом плане, конечно, HiveTrace уже является национальным российским лидером. Важно, что ребята из команды HiveTrace всегда позитивны, отзывчивы, готовы пойти навстречу и провести презентацию. Они непрерывно улучшают свои продукты и их возможности. В России этой уникальной защитной системой пользуются уже многие крупные компании. Поэтому вот ссылка на сайт, смотрим, погружаемся в техническую часть и при желании - подключаемся: https://hivetrace.ru Делитесь презентацией с коллегами - мы ожидаем усиления регулирования в сфере ИИ и подключение такой системы как HiveTrace скоро будет обязательным. Архитектор MLSecOps и AI Governance Николай Павлов
⭐️ Запускаем седьмой поток учебной программы по MLSecOps с международным участием! Учебная программа "MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения" в Академии Softline в 2025 году вышла на Международный уровень (страны СНГ). От слушателей регулярно поступают позитивные отзывы, а программа непрерывно обновляется, по мере накопления опыта, усиления нормативно-правового регулирования и стремительного развития направления MLSecOps в России и в мире. В рамках обучения наши слушатели выполняют практические работы и проводят базовый аудит ИИ-систем своих компаний, что уже помогло многим существенно улучшить безопасность и отказоустойчивость ИИ-систем прямо в процессе обучения. Для отдельных компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей за 2025 год. По заявкам новых слушателей c 28 июля мы запускаем новый поток этой обучающей программы и приглашаем всех желающих! Сильные стороны программы: 1. Опора на передовой опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя. 2. Привлечение к проведению программы топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова. 3. Бесплатная техническая поддержка всех слушателей программы по вопросам безопасности и отказоустойчивости ИИ-систем в процессе и после проведения программы - бессрочно. 4. Реализуется базовый аудит MLSecOps в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. Все практические задания программы ориентированы на улучшение безопасности и отказоустойчивости ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению, практические меры, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков. 5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее по экспоненте и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech. 6. Программа полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК. А новый закон об ИИ уже активно обсуждается в Государственной Думе. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, а также внес свои предложения в проект закона об ИИ в России. В учебной программе будет детально разобрано, как соблюдать все эти требования. Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN): https://academyit.ru/courses/mlsecops Дополнительная ссылка: https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/ Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе. Архитектор MLSecOps и AI Governance Николай Павлов
Младший научный сотрудник Antropic унизил евродепутатов на слушаниях об ИИ Приветик, мои талантливые коллеги и самые пушистые друзья. Июль, 2026, и вот все отчетливее вырисовывается глобальная задумка ЕС в их стремлении регулировать все глобальные ИИ-системы при помощи сертификации для соблюдения EU AI Act. Ну и, конечно, в первую очередь они стремятся (вернее, стремились!) подчинить американские и китайские модели. Результат - ожидаемый. ЕС остается за бортом, а США будет делать все, чтобы выиграть гонку ИИ, делая ставку на несколько мощнейших коммерческих компаний (Open AI, Google, Antropic, Microsoft, XAI). Уже не вызывает сомнения, что Запад еще до конца года начнет создавать единый институт Глобального регулирования ИИ-систем, чтобы своевременно получать доступ к передовым китайским моделям и сканировать их архитектуру, код, веса, технологические особенности, протоколы взаимодействия с внешней средой. Так они планируют как минимум "не отстать", а постепенно и выиграть гонку ИИ. Сейчас аналогов такого единого института у стран Глобального Юга нет. Что ж, мы все это прекрасно видим и обязательно примем соответствующие меры. Видео: http://vk.com/video-26493942_456411830 Национальный Архитектор MLSecOps и AI Governance Николай Павлов
Сооснователь Anthropic: ИИ начнёт обучать себя сам уже к 2028 году — и люди не успеют за этим уследить Джек Кларк, сооснователь Anthropic, опубликовал развёрнутый анализ в своей рассылке Import AI. Вывод простой: инструменты для того, чтобы ИИ обучал своего преемника без участия человека, уже почти готовы. Он оценивает вероятность такого сценария в 60% к концу 2028 года и в 30% — уже к 2027-му. Кларк опирается на конкретные цифры. Тест SWE-Bench, где ИИ решает реальные задачи с GitHub, вырос с 2% у Claude 2 в конце 2023 года до 93,9% — задача фактически решена. METR time horizons, который измеряет сложность задач, с которыми ИИ справляется хотя бы в половине случаев, прибавил от 30 секунд у GPT-3.5 до 12 часов у сегодняшних топовых моделей. Ещё один внутренний тест Anthropic показал: модели учатся оптимизировать код для обучения языковых моделей. В мае 2025 года лучший результат — ускорение в 2,9 раза. К апрелю 2026-го — уже в 52 раза. Человеку на четырёхкратное ускорение нужно от четырёх до восьми часов. Главный риск, который беспокоит Кларка — выравнивание. Современные методы alignment «могут сломаться» при рекурсивном самосовершенствовании, когда ИИ станет умнее, чем люди, которые за ним следят. Он приводит конкретную математику: метод с точностью 99,9% после 50 поколений обучения падает до 95%, после 500 — до 60%. Ошибки накапливаются. Отдельная проблема — среды обучения, где самое эффективное решение задачи сводится к жульничеству. Буквально: системы обучаются, что обманывать выгодно. Плюс модели уже умеют распознавать, когда их тестируют. Исследователь Херби Брэдли, специализирующийся на автоматизации в ИИ-исследованиях, частично не соглашается с Кларком. Его тезис: модели возьмут на себя рутину «джуниор-учёного», но не «исследовательский вкус» — умение выбирать нужное направление и строить долгосрочную повестку. Параллельно Кларк описывает формирующуюся «машинную экономику» — компании с большим капиталом и минимумом людей, где ИИ-системы торгуют между собой. Узкое место — там, где быстрый цифровой мир встречается с медленным физическим: например, клинические испытания новых лекарств не ускоришь алгоритмом. mltimes ai