Swordfish Security

🆕 Новые подходы к систематизации угроз ИИ Сбер обновил модель угроз кибербезопасности ИИ и представил её в формате матрицы. В новой версии угрозы связаны с возможными способами атак, объектами воздействия, типами нарушителей и этапами жизненного цикла ИИ-систем. Для рынка это важный сдвиг. По мере распространения ИИ становится недостаточно просто перечислить возможные угрозы. Нужно понимать, как именно они реализуются, на каком этапе возникают и какие компоненты ИИ-системы затрагивают. Защита ИИ-систем сегодня становится обязательным требованием к любой современной ИТ-системе и самой инфраструктуре. Наличие актуальной и детальной карты угроз, подготовленной одним из лидеров в области ИИ в России, даст рынку значительно более глубокое понимание реальных вызовов, с которыми компании могут столкнуться, и поможет российским компаниям осознанно подходить к безопасности ИИ и развивать его ответственно. — отметил Юрий Шабалин, директор по развитию технологий ИИ Swordfish Security. 📖 В прошлом году мы разработали собственный фреймворк безопасности систем искусственного интеллекта и таксономию угроз ИИ. Сейчас продолжаем ее актуализировать с учетом развития технологий и новых сценариев их использования. В обновленную таксономию вошли такие угрозы как компрометация моделей, обход ограничений, раскрытие чувствительной информации в ответах, конфликт иерархии инструкций и другие. 🐟 Рассылка | Max | Habr #AISecurity

🛡 MLSecOps: как встроить безопасность во весь жизненный цикл ИИ-моделей Безопасность ИИ нельзя эффективно встроить одной проверкой в конце проекта. Риски могут появляться на каждом этапе: при сборе данных, подготовке датасетов, обучении, тестировании и эксплуатации модели. Если процессы безопасности не встроены в разработку, контроль превращается в набор разрозненных действий. MLSecOps помогает выстроить единый процесс защиты ИИ-моделей: 🎱анализ текущих процессов разработки и эксплуатации моделей; 🎱внедрение технических и организационных мер безопасности; 🎱практическая настройка процессов и обучение команд работе по новым правилам. 🔼Подробнее о подходе MLSecOps смотрите в ролике выше или на Rutube. Узнайте больше об услугах по безопасности ИИ на сайте. 🐟 Рассылка | Max | Habr #AISecurity

🎤 Swordfish Security на РБПО 2026 14 августа в Москве пройдет конференция РБПО 2026, организованная Медиа Группой «Авангард». В центре внимания — вопросы разработки безопасного ПО, в том числе с использованием технологий искусственного интеллекта. 🤝 Будем рады видеть вас на нашем стенде, где расскажем, как выстраивать процессы безопасной разработки с учетом требований регуляторов и поделимся практическим опытом внедрения DevSecOps и AI Security. 👉Также приглашаем послушать доклад «Консенсус безопасной разработки. Внедрить нельзя игнорировать». Александр Гадай, руководитель службы консалтинга Swordfish Security, и Андрей Иванов, директор по развитию бизнеса Swordfish Security, расскажут, почему внедрение РБПО перестало быть вопросом выбора и как договориться о единых стандартах внутри компании. До встречи! 🐟 Рассылка | МАКС | Habr #SFS_мероприятия

82% проблем безопасности при разработке с ИИ-агентами связаны с цепочкой поставок ПО Исследователи выяснили, что главный риск при использовании ИИ-агентов сегодня связан не с самим сгенерированным кодом, а с безопасностью цепочки поставки ПО: зависимостями, настройками CI/CD, контейнерами и другими компонентами процесса разработки. Главное: 🎱82,3% всех проблем были связаны с безопасностью цепочки поставки ПО. 🎱38,9% пул-реквестов, созданных ИИ-агентами, содержали как минимум один потенциально опасный паттерн. 🎱 99,6% критических проблем были связаны с секретами в коде: ключами доступа, токенами и другими учетными данными. При этом 67,6% реальных утечек секретов произошли из-за действий разработчиков, работавших вместе с ИИ-агентами. Когда ИИ-агент пишет код, он работает не только с исходными файлами. Он взаимодействует с зависимостями, контейнерами, пайплайнами сборки, секретами и внешними сервисами. Именно поэтому сегодня основной риск смещается в сторону цепочки поставки ПО. Если компания контролирует только результат работы ИИ, но не проверяет весь процесс его создания, она оставляет без внимания наиболее уязвимую часть разработки. Под контролем должна находиться вся цепочка поставки ПО. Иначе скорость разработки будет сопровождаться таким же быстрым распространением ошибок и уязвимостей. — отмечает Юрий Шабалин, директор по развитию безопасных технологий ИИ Swordfish Security. Что делать? ✅ Проверять изменения, созданные ИИ-агентами, до добавления в основной код. ✅ Усилить контроль за настройками сборки, зависимостями и компонентами цепочки поставок ПО. ✅ Автоматически искать секреты и небезопасные настройки на ранних этапах разработки. 🐟 Рассылка | МАКС | Habr #ЦифраДня #AISecurity

🧠 Что сегодня на книжной полке Swordfish Security? Чем быстрее развиваются технологии, тем важнее умение смотреть на задачи нестандартно и находить решения за пределами привычных подходов. Давид Ким, менеджер ИИ-продуктов Swordfish Security, поделился своей подборкой книг о создании ИИ-систем, эффективной организации работы и человеческих ценностях, которые остаются важными в любую эпоху. 🔼 Листайте карточки. #DevSecOps_полка #SFS_life

🤩 Обзор методических рекомендаций Банка России №3 MP по безопасности ИИ В июне Банк России опубликовал методические рекомендации № 3-МР по обеспечению информационной безопасности при разработке и применении искусственного интеллекта на финансовом рынке. Пока документ носит рекомендательный характер, но уже показывает, в каком направлении будет развиваться регулирование. В своей статье на Хабре Альбина Аскерова, руководитель направления по взаимодействию с регуляторами Swordfish Security, рассказывает: 🎱 что нового появилось в документе, 🎱 какие требования уже сейчас стоит учитывать финансовым организациям, 🎱 как оценивать доверие к open source-компонентам, моделям и обучающим данным; 🎱какие шаги помогут уже сегодня подготовить процессы разработки и эксплуатации ИИ к требованиям регулятора. Читайте обзор и забирайте практические рекомендации. 🖥 🐟 Рассылка | МАКС | Habr #SFS_экспертиза #SFS_регуляторика #AISecurity

📄 Подписан первый федеральный закон об ИИ в России 26 июля 2026 года Президент подписал Федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Закон закладывает правовую основу для разработки, внедрения и применения больших фундаментальных моделей ИИ, вводит понятия суверенных и национальных ИИ-моделей и открывает их разработчикам доступ к государственным данным для обучения. Основная часть норм вступает в силу с 1 сентября 2026 года. 🗣Альбина Аскерова, руководитель направления по взаимодействию с регуляторами в Swordfish Security: Важный момент: закон - это не только про меры поддержки. В одном пакете с доступом к господдержке и к данным госсистем на разработчиков возлагаются и обязанности по безопасности. Закон прямо требует принимать меры безопасности созданной модели - включая информационную. Это ровно принцип РБПО и Secure-by-Design: безопасность, в том числе ИБ, не "добавляется в конце", а закладывается на каждом этапе жизненного цикла разработки. Также сейчас на площадке ТК 362 идет рассмотрение проекта ГОСТ РБПО ИИ, мы как член технического комитета принимаем участие в формировании предложений к проекту стандарта. 🐟 Рассылка | Max | Habr #SFS_регуляторика #AISecurity

🎯 ИИ без ограничений: почему модели начинают искать пути атаки OpenAI сообщила, что её ИИ-модели самостоятельно атаковали инфраструктуру компании Hugging Face. Находясь в изолированной среде, они смогли выйти за её пределы и использовать несколько векторов атаки для достижения поставленной цели. Модели не ставили задачу взломать конкретную компанию. Они искали наиболее эффективный способ решить поставленную задачу. У ИИ-системы есть задача, которую ей необходимо решить. И у неё есть разные пути для этого. Часть из них более долгие, часть — более короткие. Чаще всего система выбирает наиболее эффективный алгоритм действий. Если для достижения цели потребуется взломать какую-то систему, она будет искать способ это сделать. — прокомментировал в эфире программы ЧЭЗ на РБК Юрий Шабалин, директор по развитию технологий ИИ Swordfish Security. По словам эксперта, подобные сценарии показывают, почему безопасность ИИ нельзя ограничивать только защитой самой модели. Необходимо учитывать всё окружение: инфраструктуру, доступы, данные и возможные способы взаимодействия системы с внешним миром. Подробнее в записи телеэфира. 🐟 Рассылка | Max | Habr #SFS_экспертиза #AISecurity

🛡 Контроль цепочки поставок ИИ Современные ИИ-решения собираются из множества внешних компонентов: предобученных моделей, открытых датасетов, библиотек и контейнерных образов. Каждый из них становится частью вашей системы — вместе со всеми потенциальными рисками. По данным исследований, только за 2025 год в открытых экосистемах обнаружили более 450 000 вредоносных пакетов, а их количество за два года выросло почти в 12 раз. Атаки на цепочку поставок поднялись на третью строчку рейтинга OWASP Top 10. Чтобы взять эти риски под контроль, важно: ✅ контролировать происхождение моделей, датасетов и компонентов; ✅ проверять их на уязвимости и вредоносные изменения; ✅ использовать доверенный внутренний репозиторий проверенных компонентов и выстроить прозрачный процесс управления цепочкой поставок. Подробнее о нашем подходе — в ролике выше или на Rutube. 🖥 Узнайте больше об услугах по безопасности ИИ на сайте. 🐟 Рассылка | Max | Habr #AISecurity

🔗 Как SLSA помогает снижать риски атак на цепочку поставки ПО За последние годы злоумышленники хорошо научились атаковать не сами приложения, а процессы их разработки и доставки. Именно на фоне таких атак Google в 2021 году представила SLSA (Supply-chain Levels for Software Artifacts). Сегодня фреймворк развивается как открытый стандарт под эгидой OpenSSF при участии Google, Microsoft, Cisco и других компаний. Как SLSA помогает снижать риски? ▶️Позволяет прозрачно доказывать авторство и изменения в исходном коде ПО. ▶️Защищает от несанкционированного вмешательства в исходный код. ▶️Гарантирует легитимность процесса сборки и помогает убедиться, что он не был подменен. ▶️Проверяет связи между исходным кодом и полученным артефактом. 🛡 С чего начать защиту цепочки поставки ПО? Отвечает Евгений Куликов, руководитель группы обеспечения безопасности приложений Swordfish Security: Главная цель SLSA — сделать происхождение программного обеспечения проверяемым. Базовый набор контролей, который закрывает большинство рисков цепочки поставки на старте: • Многофакторная аутентификация (MFA) для доступа к репозиториям и инфраструктуре. • Защита основных веток репозитория (Branch Protection) — запрет прямых изменений и контроль процесса внесения кода. • Обязательное код-ревью перед слиянием изменений. • Практики DevSecOps: SAST, SCA, Secret Scan. • Генерация SBOM (Software Bill of Materials). • Подпись артефактов для подтверждения их подлинности. • Quality Gates — автоматические критерии, не позволяющие выпустить сборку при нарушении требований безопасности. • Аудит и журналирование всех изменений и действий в процессе разработки и сборки. • Формирование и подписание provenance-файлов, которые показывают, из какого исходного кода, где и каким образом был создан артефакт; Совместное использование SBOM, подписанного provenance и подписи артефакта позволяет ответить на три ключевых вопроса: - Из чего состоит программное обеспечение? - Где и каким образом оно было собрано? - Можно ли доверять полученному артефакту? Подробнее о SLSA можно узнать на официальном сайте. 🐟 Рассылка | Max | Habr #SFS_экспертиза #Понятно_о_DevSecOps

🔝Помогли Почте России усилить киберзащиту цифровой инфраструктуры Почта России — одна из крупнейших цифровых экосистем страны: более 90 команд разработки, свыше 200 программных продуктов, мобильное приложение с 10 млн пользователей в месяц и внутренние системы, обеспечивающие работу компании по всей стране. Для повышения киберустойчивости цифровых продуктов Почта России привлекла команду Swordfish Security. Наши эксперты провели более 80 интервью с командами разработки и информационной безопасности, чтобы оценить текущий уровень зрелости процессов и определить точки роста. 📈 На основе анализа была сформирована целевая модель безопасной разработки ПО, внедрены платформа ASOC и подход Shift Left. Также создан комплект регламентов и методологических материалов по РБПО, задающий единый подход к безопасной разработке. Результаты первого этапа проекта: 🎱Создана единая методология РБПО, соответствующая требованиям регуляторов. 🎱100% команд 1-го приоритета интегрированы в целевые процессы РБПО. 🎱Заложена основа для цифровой трансформации процессов кибербезопасности. 🎱Повышена  осведомленность команд о практиках безопасной разработки. 🎱Обеспечена масштабируемость решений для последующих этапов (2-й и 3-й годы проекта). Для нас главное, чтобы все сервисы функционировали без сбоев, а данные клиентов оставались в безопасности. Для этого мы сделали процессы разработки унифицированными - они позволяют системно контролировать, насколько наши службы устойчивы к киберугрозам. Опыт Swordfish Security помог выстроить единую процедуру, в которую уже интегрированы ключевые команды. Мы видим, что уровень безопасности заметно вырос, и продолжаем внедрять эти практики в новые команды и сервисы. — отметил Роман Шапиро, руководитель Дирекции информационной безопасности Почты России. Команда Почты России планирует расширить практики безопасной разработки и развить новые аспекты внутренней базы знаний DevSecOps с автоматизацией проверок требований безопасности. Подробнее на сайте. 🖥 🐟 Рассылка | Max | Habr #SFS_кейсы #РБПО

▶️Когда ML-модель выходит в промышленную среду, она становится частью бизнес-процесса — а значит, и частью поверхности атаки. По данным исследования Swordfish Security и Ассоциации ФинТех, более 25% компаний в финтех-отрасли уже сталкивались с инцидентами безопасности ИИ. Злоумышленников интересует не только инфраструктура. Они могут атаковать и саму модель: попытаться заставить её ошибаться, раскрывать лишнюю информацию, принимать неверные решения или вести себя непредсказуемо в критичных сценариях. Поэтому оценивать безопасность ИИ важно глазами атакующего: ✅ анализировать потенциальные векторы атак на модель и окружающую её инфраструктуру; ✅ строить модель угроз, определяя возможных нарушителей, способы атак и их потенциальные последствия; ✅ проводить динамический анализ защищённости — моделировать реальные сценарии атак, проверять возможность их эксплуатации и оценивать устойчивость системы на практике. Подробнее про моделирование угроз и пентест ML-моделей смотрите в видео выше или на Rutube. 🖥 Узнайте больше об услугах по безопасности ИИ на сайте. 🐟 Рассылка | Max | Habr #AISecurity

🫢 От галлюцинации к компрометации: разбираем атаку HalluSquatting Пока одни пытаются научить ИИ-агентов писать код лучше, другие ищут способы использовать их ошибки. Исследователи описали новую атаку под названием HalluSquatting («сквоттинг на галлюцинациях»), которая превращает предсказуемые галлюцинации языковых моделей в инструмент атаки. Если ИИ-ассистент неверно определяет название репозитория или пакета, злоумышленник может воспользоваться этим и заставить агента загрузить подконтрольный ресурс. 😈 Как работает атака: 1. Злоумышленник выбирает новый или быстро набирающий популярность проект, информации о котором еще недостаточно в обучающих данных модели. 2. Выясняет, какое название репозитория или пакета ИИ генерирует чаще всего вместо настоящего. 3. Под этим именем создает репозиторий или публикует «навык», содержащий вредоносные инструкции. 4. Пользователь просит ИИ-агента найти и установить нужный инструмент. 5. Если модель предлагает поддельный ресурс, агент может загрузить его и выполнить содержащиеся в нем команды. В исследовании этот сценарий был продемонстрирован для Cursor, Cursor CLI, Windsurf, GitHub Copilot, Cline, Gemini CLI, OpenClaw, ZeroClaw и NanoClaw. При этом авторы подчеркивают, что подтвержденных случаев использования HalluSquatting в реальных атаках пока не зафиксировано. HalluSquatting показывает, что ИИ-агентам нельзя безоговорочно доверять поиск и установку внешних компонентов. Любой автоматически найденный репозиторий или пакет должен проходить такую же проверку, как и обычные зависимости. По мере того как ИИ получает все больше возможностей взаимодействовать с внешней средой, контроль происхождения ресурсов становится одним из ключевых элементов безопасности. — отметил Денис Данилов, руководитель группы обеспечения безопасности приложений Swordfish Security. Как защищаться: ✅ Проверять, что ИИ-агент использует официальный репозиторий или пакет, а не сгенерированный моделью аналог. ✅ Не разрешать ИИ-агентам автоматически выполнять команды или устанавливать зависимости без подтверждения пользователя. ✅ Использовать списки доверенных источников (allowlist) и проверять происхождение загружаемых компонентов. ✅ Логировать действия ИИ-агентов и контролировать их работу с внешними ресурсами. 🐟 Рассылка | Max | Habr #ЭкспертизаSFS #Понятно_о_AISecurity

🛡 Как защищать данные для обучения ИИ Качество и безопасность ИИ-моделей напрямую зависят от данных, на которых они обучаются. Если датасеты собираются из недоверенных источников, в них могут попасть вредоносные или манипулятивные фрагменты, которые повлияют на поведение модели после запуска. Чтобы снизить риски, важно: 🎱 проверять датасеты на наличие небезопасных данных; 🎱снижать риск появления вредоносных фрагментов в обучающих наборах; 🎱внедрить регулярный контроль безопасности данных в процессе разработки моделей. 🔼 Подробнее про наш подход смотрите в ролике выше или на Rutube. Узнайте больше об услугах по безопасности ИИ на сайте. 🐟 Рассылка | Max | Habr #AISecurity