ген ИИ

Друзья, привет, всех с пятницей! Не забывайте, что все еще лето, не смотря на погоду. Ну и делитесь любимыми мемами в комментариях #пятничное 💬 ген ии | MAX

📊 Как научить ИИ-агентов строить нормальные графики Одна из проблем современных ИИ-агентов - они всё ещё нестабильно справляются с классическими офисными задачами. Обработать таблицу, документ, сделать аналитику - могут. А вот превратить данные в понятный график, дашборд или слайд уже сложнее. Скилы частично решают эту проблему. Например, мне очень нравится Open Design (судя по всему я напишу отдельный пост и расскажу про то, как делать крутые сайты и презентации на базе ИИ-агентов). Но до сих пор они часто делают не то, что нужно. Визуализация требует понимать смысл данных и одновременно выбирать тип графика, шкалу, оси, подписи, цвета, отступы и компоновку. Для LLM это длинная цепочка параметров, где легко получить нестабильный результат. А для тех, кто работает с данными это критически важно. Microsoft Research выложила Flint Chart - новый язык визуализации, спроектированный специально для ИИ-агентов. Главная идея - разделить что график означает и как он рисуется. Агент создаёт компактную семантическую спецификацию: передаёт данные, указывает их типы, выбирает вид диаграммы и связывает поля с визуальными каналами. Например: ИИ-агент распознал табличку и определил, что период - это YearMonth, новые пользователи - Profit, тип - Waterfall Chart, по X - период, по Y - число пользователей. Он делает ТЗ. Всё остальное берёт на себя детерминированный компилятор (по сути обычный алгоритм). Он выводит из данных и семантики шкалы, оси, формат подписей, интервалы, размеры и раскладку. То есть LLM отвечает за суть, а обычный программный слой - за точное исполнение. 🛠 Flint поддерживает пять сред работы с графиками: Vega-Lite, ECharts, Chart.js, Plotly и нативные диаграммы Excel. Сейчас заявлены 50 типов графиков, единая система тем и MCP-сервер, через который агенты могут создавать, проверять и отрисовывать визуализации прямо из чата или среды разработки. Flint интересен не только как инструмент для графиков. Это готовый пример взаимодействия между ИИ-агентом и детерминированной корпоративной системой. Это важный шаг к тому, чтобы ИИ-агенты лучше выполняли офисные задачи с визуализацией - от аналитических графиков и дашбордов до материалов для презентаций. Не потому, что модель «научилась дизайну», а потому, что правильно разделена ответственность и выстроена последовательность задач. Ну и специально для вас я создал скил, который вы можете применить у себя в агенте по работе с графиками. Пользуйтесь на здоровье Как вам результат? Напишите в комментариях 👇👇👇 PS: пример визуализации я сделал для недавнего исследования AIANA про рынок ИИ в России #скил 💬 ген ии | MAX

🛡️ Путеводитель по безопасному применению ИИ для организаций Друзья, привет, последние 2 года во всех экспертных сообществах активно обсуждается тема безопасного применения ИИ - создан Консорциум исследований безопасности ИИ, отдельная подкомиссия при Правительственной комиссии по цифровому развитию, ФСТЭК добавил специальный раздел об искусственном интеллекте в Банк данных угроз безопасности информации, выходят стандарты и регуляторика на эту тему. Есть уже много прецедентов, когда организации попадали на большие деньги. Из самых известных: • дипфейк убедил сотрудника перевести деньги (≈$25 млн ущерба) • Rite Aid ошибочно помечала покупателей (охрана досматривала, выдворяла и публично обвиняла людей и получила много судебных исков) • программное обеспечение iTutorGroup автоматически отклоняло женщин от 55 лет и мужчин от 60 лет ($365 000 урегулирования) • ChatGPT придумывал судебные решения Были еще кейсы с авиакомпанией, которая через чат-бот неправильно проконсультировала клиента и получила судебный иск, с чат-ботом, который осквернял свою компанию и это увидело больше 1 млн человек и много-много других. В последнее время разработано много полезных фреймворков и стандартов, как применять безопасно ИИ в организациях - методические рекомендации Банка России, подходы Сбера и Яндекса, международные стандарты как OWASP и NIST. Я писал об этом в нашем канале и вы можете поискать это по хэштегу #кибербез 👉 Я упаковал это все в единый интерактивный путеводитель по безопасному ИИ в организации. Важно, что защищать нужно не модель. Защищать нужно всю ИИ-систему. LLM можно обмануть. Prompt injection когда-нибудь сработает. Агент может ошибиться. RAG может вернуть не те данные. Внешний MCP-инструмент может оказаться скомпрометирован. Поэтому вопрос не в том, «можно ли сделать ИИ безошибочным?», а в том что какой ущерб может нанести ИИ, когда ошибётся или окажется под атакой? Что внутри? 1️⃣ Реальные случаи, когда ИИ уже привёл к проблемам От чат-бота Air Canada, который придумал правила возврата билетов, до автоматизированного отбора кандидатов и юристов, использовавших вымышленные ChatGPT судебные решения. Важно не только что произошло, но и какими контролями этот риск можно было снизить. 2️⃣ Пять контрольных ворот (stage gate) безопасного ИИ Идея и закупка → данные и RAG → разработка → тестирование → эксплуатация На каждом этапе есть конкретный результат: модель угроз, матрица прав, результаты red teaming, журналы, сценарий отката и т. д. 3️⃣ Отдельно разобрал угрозы ИИ-агентов Здесь поверхность атаки становится значительно шире. Обычная LLM генерирует текст. Агент уже может: - читать корпоративные данные; - пользоваться инструментами; - вызывать API; - работать с учётными данными; - выполнять код; - взаимодействовать с другими агентами; - совершать действия в реальных системах. 4️⃣ Собрал 8 слоёв защиты Управление → данные → цепочка поставок → LLM Firewall → агент и его полномочия → среда исполнения → тестирование → мониторинг и реагирование Один LLM Firewall проблему не решит. Безопасность ИИ должна быть эшелонированной. 5️⃣ Добавил карту актуальных стандартов и рекомендаций Собрал в одном месте российские и международные материалы: рекомендации Банка России, модель угроз ИИ Сбера, AI-SAFE Яндекса, OWASP LLM и Agentic AI, NIST AI RMF, MITRE ATLAS, Google SAIF и другие. Чтобы было понятно не просто что читать, а какой документ для какой задачи использовать. И ещё сделал самодиагностику из 12 вопросов. Можно за несколько минут проверить свою ИИ-систему и понять, где находятся основные пробелы. Буду благодарен за вашу обратную связь и критику. Особенно интересно мнение тех, кто уже внедряет ИИ и агентов в корпоративном контуре #кибербез 💬 ген ии | MAX

ИИ-агента попросили записать владельца в спортзал, а он взломал систему бронирования Пожалуй, это одна из самых показательных историй об ИИ-агентах за последнее время. Австралиец Эндрю использовал OpenClaw на базе Claude, чтобы записываться на популярные утренние занятия. Агент самостоятельно изучил систему бронирования и обнаружил, что она позволяет записываться на несколько недель вперёд - в обход установленных ограничений. Затем Эндрю, находившийся четвёртым в листе ожидания, спросил агента, можно ли переместить его в начало очереди. Через некоторое время агент сообщил: - API не проверяет, имеет ли пользователь право отменять чужую запись; - он протестировал уязвимость на человеке, занимавшем первое место; - удалил его из очереди и переместил Эндрю с четвёртой позиции на третью. ⚡Отдельной команды взламывать систему или удалять другого клиента пользователь не давал ⚡ Когда Эндрю потребовал отменить действие, агент ответил: «Плохие новости — я не могу вернуть его обратно». После этого OpenClaw подготовил письмо разработчику системы с описанием уязвимости. ABC называет произошедшее первым известным в Австралии случаем автономной кибератаки. Агент последовательно двигался к поставленной цели, но выбрал способ, которого пользователь не ожидал и явно не разрешал: размытая цель + автономность + доступ к инструментам + уязвимый API + отсутствие подтверждения действий = инцидент Причём проблема возникла сразу на трёх уровнях: 1️⃣ Агент воспринял вопрос «можно ли подняться в очереди?» как разрешение действовать 2️⃣ У него была возможность экспериментировать непосредственно в продакшен системе 3️⃣ API позволял одному пользователю управлять чужими записями. Это классическая Broken Object Level Authorization — уязвимость, которую OWASP ставит на первое место среди рисков безопасности API Сегодня цена ошибки - потерянное место на тренировке. Завтра по той же логике агент может изменить скидку клиенту, удалить заявку, перенести встречу, отменить заказ или провести транзакцию в корпоративной системе. Что с этим делать? - выдавать агенту отдельную учётную запись с минимальными полномочиями; - разделять чтение данных и выполнение операций; - требовать подтверждение для внешних, финансовых, необратимых и потенциально вредных действий; - проверять новые сценарии в песочнице и сначала запускать их в режиме имитации; - вести полный журнал: цель, план, вызванный инструмент и результат каждого действия; - предусматривать отмену операций и восстановление состояния; - повышать автономность постепенно - по мере накопления статистики и прохождения тестов безопасности; - проверять права доступа на стороне самой информационной системы, а не надеяться на ограничения в промпте. ИИ-агента нужно проектировать одновременно и как сотрудника (определить задачи, правила, границы ответственности и действия, требующие согласования с человеком), и как сервис (выдать отдельный цифровой профиль, минимально необходимые права, настроить журналирование и отзыв доступа) и потенциального нарушителя (заранее предполагать, что агент может неправильно понять цель, найти обходной путь или использовать уязвимость, даже не имея злого умысла). Он не обязательно хочет причинить вред, но точно может интерпретировать вашу команду по-своему. Как считаете, восстание машин уже началось? #кибербез 💬 ген ии | MAX

🎯 Точность модели ≠ эффект для бизнеса Недавно я проводил лекцию для Техлаб Москва о том, как доказать, что ИИ-решение действительно работает: до пилота, во время него и после внедрения. Мне очень понравилась аудитория - было много очень глубоких содержательных вопросов. Ну и вообще, это предприниматели, которые создают собственные ИИ-решения. Один из примеров особенно хорошо показывает главную проблему ИИ-проектов. Представьте производство, где критический дефект встречается у одного изделия из ста. Модель всегда отвечает: «дефекта нет». Формально её точность - 99%. Но recall* по дефектам - 0%: она не обнаружила ни одного опасного случая. * recall - метрика качества классификации. Она показывает, какую долю реальных объектов нужного класса модель смогла правильно найти среди всех объектов этого класса. Красивая метрика есть, а бизнес-эффекта нет. После лекции я решил не оставлять материал в виде набора слайдов и собрал интерактивный путеводитель «Путь от точности к бизнес-эффекту» . Мне лично он очень зашел🔥🔥🔥 1️⃣ В его основе простой принцип - пилот должен проверять не абстрактную точность модели, а всю цепочку создания ценности: данные → модель → система → процесс → экономика Если хотя бы одно звено не работает, хороший алгоритм не спасёт проект: • на плохих данных вы не сможете построить качественную модель • модель может быть точной, но слишком медленной для производственной линии • сотрудники будут игнорировать рекомендации, если не правильно выстроен процесс или нет системы мотивации • экономия может составлять 6 млн рублей в год, а инфраструктура, интеграция и сопровождение — стоить 10 млн. 2️⃣ Целевая функция ИИ-проекта должна учитывать не только качество прогноза, но и цену ошибок, а также полную стоимость владения продуктом: целевая функция = бизнес-эффект − FN × стоимость FN − FP × стоимость FP − TCO FN - количество ошибок False negative (например, дефект пропущен алгоритмом) FP - количество ошибок False positive (например, лишняя выбраковка из-за ошибки ИИ) TCO - стоимость владения ИИ-решением В путеводителе я разобрал: - почему accuracy, precision, recall и F1 нельзя выбирать по привычке; - как сформулировать измеримую гипотезу до начала пилота; - с чем сравнивать ИИ: экспертом, текущей системой или простым правилом; - как построить каскад метрик от качества данных до денег; - как доказать эффект через контрольную группу; - что журналировать на пути от запроса до результата; - когда проект нужно масштабировать, дорабатывать или останавливать. Добавил интерактивный калькулятор функции потерь и десять вопросов, на которые заказчик и команда должны ответить до пилота, а не после получения удобного результата. Зрелость ИИ-проекта определяется не точностью модели. Она определяется способностью доказать, что изменился реальный процесс, эффект превышает TCO и стоимость ошибок, а результат устойчиво воспроизводится на рабочем потоке. Как вам такой формат? Напишите в комментариях👇 #эффект 💬 ген ии | MAX

Мы не проспали ИИ-революцию, просто о российских лидерах ИИ слишком мало говорят Друзья, привет, для меня этот пост очень личный и будет круто, если вы меня поддержите в комментариях или реакциями 🔥 Когда я собирал отраслевые исследования по внедрению ИИ, создавал центр технологического лидерства и проектировал меры поддержки развития ИТ в России, я познакомился с огромным количеством талантливых и уникальных людей, которые создают решения на базе ИИ, развивают инфраструктуру, занимаются научными исследованиями или делают ИИ-трансформацию в бизнесе и государстве. Меня всегда коробит от того, что люди, интересующиеся ИИ, знают Сэма Альтмана, Илона Маска и других иностранных лидеров и следят за развитием «их» технологий, но отечественные лидеры и технологии не получают такого внимания. Меня коробит от того, что люди, которые слабо разбираются в рынке ИИ в России считают, что мы пропустили ИИ-революцию (привет Андрею Дороничеву). С тех пор у меня была мечта запустить свой подкаст и продвигать лидеров ИИ, их идеи, деятельность и результаты. Эту идею я реализовал с ребятами из Red Mad Robot, которые тоже горят этой темой. В итоге мы сделали подкаст 2TOK и сегодня запускаем первую серию. 2TOK («to talk» или «говорить») - это потому что мы ищем ответы через разговор. «Ток» - потому что ИИ становится технологией, которая, как когда-то электричество, меняет отрасли, жизнь людей и бьёт по привычным представлениям о профессиях и целых индустриях. Идея подкаста простая. Мы приглашаем 2х экспертов - одного специалиста из отрасли, другого - кто дизраптит отрасль с применением ИИ. В процессе диалога мы обсуждаем самые волнующие вопросы: что будет с людьми в этой отрасли? Какие проблемы и барьеры есть при внедрении ИИ? Что с доверием и безопасностью ИИ? Куда все это движется? Ведем подкаст мы с Ильей Филипповым (CEO red_mad_robot AI). В первых выпусках мы обсуждали ИТ, искусство, здравоохранение, кибербезопасность, науку и образование. И почти во всех разговорах приходили к одному выводу: роль человека не исчезает — она становится другой. Ну а первый выпуск посвящен ИИ и творческим профессиям, гостями которого стали Покрас Лампас и создатель Kandinsky Денис Димитров. 👉 уже доступно на YouTube и VK Приятного просмотра и буду рад вашей обратной связи, предложениям по темам и спикерам. Пишите в комментариях #2TOK 💬 ген ии | MAX

Генеративный ИИ используют в России 71% организаций, а финансового эффекта нет почти ни у кого Изучил исследование Якова и партнеры «ИИ-агенты: где хайп, а где реальность». Интересно, что реальная проблема при внедрении ИИ не в кадрах, не в GPU или энергии, а в отсутствии эффекта от применения ИИ. Не зря мы продвигаем историю с методикой оценки экономического эффекта (писал об этом тут и тут). Авторы изучили 18 зарубежных и 12 российских продуктов, а также 65 внедрений. Круто, что коллеги формализовали критерии агента (об этом до сих пор много споров в комьюнити). Интересных выводов будет много (уж простите меня за душнилово): 1️⃣ Мало у кого получилось монетизировать применение ИИ Генеративный ИИ используют 71% российских компаний. Однако рост EBITDA более чем на 5% связывают с ним только 9%. В мире картина похожая: ИИ применяют 88% организаций, а значимый прирост EBIT получили лишь 6%. Причина не в модели. ИИ ускоряет отдельную операцию, но процесс вокруг неё остаётся прежним. Например, сотрудник быстрее готовит документ, код или ответ клиенту. Но результат всё равно ждёт согласования, проверки, загрузки в другую систему или решения руководителя. Локальная экономия времени возникает, а пропускная способность всей организации не меняется. 2️⃣ Корпоративный «агент» чаще всего остаётся ассистентом Из 18 зарубежных продуктов только 7 соответствовали как минимум пяти из шести признаков полноценного агента: имели агентных цикл (исполнение задачи и петля обратной связи), могли спланировать задачу, работали с инструментами, могли самообучаться, имели память, доводили задачу до конца. Но среди 43 реальных внедрений до этого уровня дошли только 10. Даже способный к автономной работе продукт внутри компании часто лишается главного: - доступа к корпоративным данным; - прав на выполнение действий; - возможности менять план; - понятных границ ответственности; - правил передачи задачи человеку. В результате компания покупает агента, а получает чат-бота с доступом к нескольким системам. 3️⃣ Модель и лицензии - меньшая часть затрат организации Подписки на модели и инструменты составляют лишь 15–20% совокупной стоимости владения. Гораздо больше может потребоваться на: - подготовку и сопровождение данных - 25–40%; - поддержку и наблюдение за системой - 15–30%; - интеграцию с корпоративными системами - иногда в x2-x3 больше стоимости лицензий. Поэтому реальный срок окупаемости ИИ-проектов авторы оценивают в 2-4 года, а не в привычные для ИТ-проектов 7–12 месяцев. 4️⃣ Сокращение сотрудников оказалось нежизнеспособной гипотезой Хорошая новость, нас не уволят! По крайней мере не сейчас :) 83% компаний, повысивших производительность с помощью ИИ, не стали сокращать численность персонала. В России доля организаций, рассчитывающих получить эффект за счёт уменьшения фонда оплаты труда, за год снизилась с 49 до 12%. Это логично: если ИИ забрал 30% операций сотрудника, уволить 30% человека невозможно. Высвободившееся время должно превратиться в дополнительную выручку, рост объёма операций, снижение потерь или повышение качества. Если этого не произошло, экономический эффект существует только в расчёте виртуальных сэкономленных часов. 5️⃣ Максимальная автономность снижает надежность Если вероятность правильного выполнения одного шага составляет 90%, то для цепочки из пяти последовательных действий вероятность безошибочного результата снижается до 59%. Для десяти шагов - уже до 35%. Поэтому зрелый агент - не тот, которому разрешили делать всё. Это система, в которой: - сокращена длина цепочки действий; - проверяются промежуточные результаты; - определены пределы полномочий; - решения с высокой ценой ошибки передаются человеку. ИИ может сделать отдельного сотрудника быстрее. Но финансовый эффект появляется только тогда, когда вслед за сотрудником меняются процессы и вся организация. PS: ниже Сергей Кобелев, один из авторов отчета, дал короткие комментарии и интересные инсайты #аналитика 💬 ген ии | MAX

⚔️ ИИ vs ИИ. 40 минут до недопустимого события или на что уже способны ИИ-хакеры Недавно мы в Positive Technologies провели эксперимент: на изолированном киберполигоне Standoff четыре атакующих ИИ-агента столкнули с автономной системой расследования и реагирования MaxPatrol O2. Полигон имитировал инфраструктуру компании: внешний контур, Active Directory, серверы приложений, рабочие станции и промышленный сегмент со SCADA. Агентам удалось реализовать полноценные цепочки атак: 1. Проникнуть через уязвимое веб-приложение 2. Повысить привилегии до root 3. Получить конфигурацию VPN и попасть во внутреннюю сеть 4. Извлечь учётные данные и продвинуться по инфраструктуре 5. Добраться до компьютера руководителя, базы данных, файлового хранилища и учётных данных оператора SCADA 🏆 Лучший результат показал HexStrike AI: он реализовал все четыре критических события. На одну атаку агентам требовалось от 40 минут до нескольких часов. Но есть важная оговорка. Это был контролируемый полигон, а агенты работали с участием человека: если система заходила в тупик, оператор корректировал инструкцию и перезапускал выполнение. То есть полностью автономного «цифрового хакера», способного безошибочно атаковать любую инфраструктуру, пока нет, но это вопрос нескольких лет. Какие выводы? 1️⃣ ИИ пока не изобретает принципиально новые способы взлома Агенты использовали известные уязвимости, инструменты и техники. Их преимущество - не технологическая новизна, а автоматизация последовательной работы. 2️⃣ Важна не только модель, но и её «руки» Результат обеспечила связка из LLM, памяти, планировщика и десятков инструментов Kali Linux. Сам по себе умный чат ещё не становится хакером. Опасность появляется, когда модели дают доступ к инфраструктуре и возможность самостоятельно выполнять команды. 3️⃣ Защите нужно воспроизвести весь контекст и события MaxPatrol O2 смог восстановить большую часть продвижения агентов: связанные хосты, захваченные учётные записи и ключевые этапы атак. Это важнее очередного набора точечных обнаружений. Когда атакующий действует быстрее, защитник должен автоматически собирать разрозненные сигналы в единую цепочку. И тут критично покрытие инфраструктуры сенсорами ИИ снижает порог не только для создания программ и автоматизации процессов, но и для проведения сложных кибератак. Пока агенту нужен оператор. Однако один специалист потенциально сможет управлять сразу несколькими такими системами, а число попыток атак будет расти значительно быстрее числа квалифицированных хакеров. Без ИИ в защите современная организация не может противостоять хакерам, усиленным ИИ Подробности эксперимента на Хабре #кибербез 💬 ген ии | MAX

💰 Как оценить эффект от ИИ до того, как вы потратите бюджет на внедрение? Альянс в сфере ИИ запустил АФИИНА - открытый вики-портал с методологией оценки финансового эффекта и кейсами из разных отраслей. Ценность проекта в том, что он переводит разговор об ИИ с языка технологий на язык бизнеса: - где именно возникнет эффект и как его посчитать? - как он повлияет на прибыль и расходы? - с чем сравнивать результат? - как доказать, что эффект обеспечил именно ИИ? Основой подхода стала методология, которую в 2025 году Альянс в сфере ИИ и Ассоциация ФинТех разработали вместе с участниками финансового рынка, а также собирали кейсы с финансовых организаций. Подробнее я писал об этом здесь. Такие инструменты помогают снять один из главных барьеров для внедрения ИИ: как обосновать инвестиции перед топ-менеджментом и финансовым директором, а также выстроить культуру финансовой осознанности в организации. Как применить методологию в своей компании? 1️⃣ Выберите конкретный процесс. Продажи, поддержка клиентов, отчётность, закупки, разработка или управление инцидентами. 2️⃣ Сформулируйте бизнес-гипотезу. Не «внедрить ИИ» или «создать RAG-систему», а, например: «сократить среднее время поиска ответа оператором с пяти минут до одной». 3️⃣ Зафиксируйте исходный сценарий (baseline). Что произойдёт без внедрения ИИ? Сколько процесс занимает сейчас, сколько стоит и какие потери создаёт? 4️⃣ Определите источник эффекта. Рост доходов, сокращение расходов, отказ от дополнительного найма, снижение рисков или повышение пропускной способности процесса. 5️⃣ Выберите способ проверки. A/B-тест, постоянная контрольная группа, квазиэксперимент или корректное сравнение показателей до и после внедрения. 6️⃣ Посчитайте полную стоимость решения. Разработка, инфраструктура, лицензии, интеграция, данные, сопровождение, контроль качества, управление рисками и безопасность. 7️⃣ Применяйте финансовый мониторинг на всем жизненном цикле применения ИИ. Сформулируйте гипотезу → оцените потенциальный эффект → проверьте его на пилоте → подтвердите финансовый результат → контролируйте его после масштабирования. При этом бизнес должен отвечать за гипотезу и результат, финансовая функция - подтверждать влияние на экономику, а техническая команда - качество модели и ИИ-решения. Завтра планирую разобрать интересные кейсы с портала и их финансовый эффект. А как у вас принимают решение о запуске ИИ: по финансовой модели, результатам пилота или пока по принципу «так делают конкуренты»? Пишите в комментариях 👇 #эффекты 💬 ген ии | MAX