Pavel Zloi

Запись второй части нашего стрима про сбегающих AI-агентов. Посмотреть на YouTube можно здесь. Таймкоды: 0:00:00 — Приветствие и обсуждение планов на стрим 0:02:13 — Архитектура проекта SECS и схема пайплайна 0:06:42 — Интеграция навыков для кодовых AI-агентов 0:10:00 — Локальный запуск модели Qwen и vLLM 0:18:05 — Ускорение инференса через спекулятивное декодирование 0:28:20 — Воспоминания о культовых играх и компьютерах 0:33:45 — Настройка контекстного окна и параметров модели 0:44:00 — Сравнение видеокарт для инференса нейросетей 0:50:40 — Обсуждение генерации музыки в нейросетях 1:08:05 — Тестирование AI-агента на тестовой виртуальной машине 1:23:45 — Автоматизированный анализ и поиск путей эскалации 1:54:30 — Подведение итогов стрима и завершение трансляции Каналы участников стрима, чтобы подписаться: Павел Рыков Константин Доронин

Залил на ютуб запись пятничного стрима с Валерием Ковальским @neuraldeep, на стриме душевно поболтали, обсудили денежные вопросы on-premise инференса, поговорили о железе и многом другом. Приятного просмотра. Таймкоды 0:00:00 — Настройка стрима и технические моменты 0:02:31 — Зачем нужна своя ИИ-инфраструктура 0:07:51 — Релиз новой модели Qwen на Hugging Face 0:12:08 — Выбор бюджетных видеокарт для ИИ 0:16:22 — Ограничения PCIe и материнских плат 0:20:42 — Проблемы объединения потребительских GPU 0:25:00 — Обзор скрипта Videro для разметки видео 0:35:51 — Подойдут ли материнские платы для майнинга 0:44:11 — Демонстрация ИИ-сервера в прямом эфире 0:49:31 — Запуск нейросетей на Mac и Mac Studio 0:55:00 — Использование б/у железа и охлаждение 1:00:00 — Температуры видеокарт и работа серверов 1:05:00 — Ответы на вопросы и планы Neural Deep

У меня тут большое обновление по Coddy Agent - в проект был добавлен консольный интерфейс, вдохновлённый интерфейсом pi.dev, но со всеми фичами, которые есть у Coddy Agent. Поддерживается всё, что ждёшь от современного агента, будь то скилы, рулесы, MCP-серверы, селекторы моделей, разные режимы работы, уровни ризонинга и так далее. Помимо интерактивного режима через TUI есть ещё режим неинтерактивный через ключ "-p" - пишем, что надо сделать, и агент это выполнит. Есть возможность продолжить последнюю сессию в текущей директории через ключ "-c". И это далеко не всё. Киллер-фича Coddy Agent в целом, а не только в TUI-режиме, - это возможность подключиться к удалённому AgentOS-серверу (это Coddy Agent, запущенный на удалённом сервере в режиме API) по специальному протоколу Coddy API и работать там, будто это локальная машина, без лагов удалённого рабочего стола, прямо здесь и сейчас, при этом сессии и все настройки будут храниться на удалённой машине, к которой вы подключились. И всё это в формате одного-единственного бинарника, который можно поставить одной командой: curl -fsSL https://coddy.dev/install.sh | bash Обновление программы при помощи coddy update. Сайт проекта: https://coddy.dev Исходные коды: https://github.com/coddy-project/coddy-agent

Qwen3.8-27B на NeuralDeep.ru Наверное мы первые кто поднял ее в РФ по API после релиза через 40 минут! Пошла раскатка на тарифы https://neuraldeep.ru/models/qwen3-8-27b 256к text/video/img Ваш NeuralDeep.ru 👍

Разливаем Qwen 3.8 27b по нодам NeuralDeep, скоро добавим в API.

#meme

Ковыряю тут свежатину deepseek-harness от ребят из Поднебесной, помимо того, что это типичнейший харнес, очень похожий на то что мы недавно делали с Костей Дорониным @kdoronin_blog на стриме, я заметил в кодовой базе одну маленькую, но очень примечательную…

Ковыряю тут свежатину deepseek-harness от ребят из Поднебесной, помимо того, что это типичнейший харнес, очень похожий на то что мы недавно делали с Костей Дорониным @kdoronin_blog на стриме, я заметил в кодовой базе одну маленькую, но очень примечательную деталь. Файл CLAUDE.md это ссылка на AGENTS.md, так делал только я и делаю уже достаточно давно, где-то год или больше, до того как я начал делать такие симлинки мне не попадалось ни одного проекта где подобный приём использовался. Не сочтите за хвастовство, но похоже дипскики это у меня подсмотрели.

Поехали https://www.twitch.tv/evilfreelancer

Хвастаюсь ещё одной обновкой, на этот раз Synology DS420+, красивая и компактная коробочка под NAS, хотя к блоку питания, охлаждению и операционной системе есть вопросики. #server

В семействе пополнение, две новенькие 4090 с модом на 48Гб, к сожалению у меня нет подходящего для них БП, придется сбегать в магазин чтобы до стрима успеть. #server

Запись стрима "Как заставить AI-агента сбежать?". Смотреть на YouTube. Это первая часть, в которой мы настраиваем базовый пентест-харнесс и пробуем заставить модели Anthropic осуществить проверку на уязвимости. Таймкоды для удобного перехода к самым интересным фрагментам: 00:00 — Начало трансляции и обсуждение аватаров 06:15 — Идея создания ИИ-агента для пентеста 10:10 — Проектирование архитектуры решения в Miro 16:00 — Подбор утилит для кибербезопасности 20:00 — Обзор автономной платформы XBOW 24:00 — Поиск ИИ-моделей без цензуры 36:00 — Подготовка уязвимой виртуальной машины QEMU 42:20 — Создание базовых инструкций для агента 55:00 — Особенности работы агентов в Linux 1:00:00 — Архитектура агентов и локальные правила 1:02:18 — Оптимизация расхода токенов и промптов 1:06:00 — Оптимизация скиллов для ИИ-агентов 1:10:00 — Запуск и тестирование ИИ-агента 1:16:00 — Сканирование сети с помощью Nmap 1:18:25 — Установка инструментов и настройка Vagrant 1:31:18 — Срабатывание встроенной защиты ИИ-модели 1:35:00 — Использование китайских open-source моделей 1:45:00 — Поиск учебных стендов и задач CTF 1:54:40 — Подключение к GPU для локальных моделей 2:00:24 — Обсуждение нейросетевых моделей и названий 2:01:29 — Разбор старого бэкдора в UnrealIRCd 2:04:04 — Повышение привилегий через уязвимость Docker 2:04:54 — Проблемы с установкой Metasploit Framework 2:06:19 — Скачивание локальных LLM и обход блокировок 2:10:04 — Создание репозитория GitHub для проекта 2:12:54 — Итоги стрима и дальнейшие планы p.s.: пока работал с записью, обновил свой Video Analyzer. Он теперь умеет размечать видео по таймкодам, а также сохраняет последний результат анализа после обновления страницы. Вообще, нравится мне этот микро-проект, так как всегда можно поставить, запустить и выполнить задачу по работе с видео. p.p.s.: Зарегистрировался на donationalerts и теперь как настоящий блогер могу принимать донаты. Если вдруг возникнет альтруистический порыв, вот ссылка.

Скил настройки GPU-сервера Сегодня возился с новым сервером на котором запущена парочка RTX A4000 16гб, недавно про этот сервер писал на канале, короче поставил чистый дебиан как обычно, следующий шаг настройка железе, но что-то мне так лень стало этой ерундой заниматься, в общем дал я агенту мой пост на Дзене и несколько шпаргалок с командами которые я использовал когда настраивал серверы. Агент прочёл всё что надо, пошёл написал скил по канонам, потом сабагентом пошёл на сервер который я настроил, несколько раз уточнял инструкцию в скиле и правил последовательность действий, по итогу получился скил gpu-server-setup в нём концентрат моей многолетней мудрости по настройке серваков на Debian с карточками Nvidia. Скил доступен через маркетплейс rpa-skills, приятной настройки серверов.

Стрим про локальный инференс В среду 12 августа в 18:00 MSK выходим в эфир с Валерием Ковальским, автором канала NeuralDeep. Тема: максимально выгодный локальный инференс. Специально договорились не готовиться. Берём железо, включаем камеру и выясняем всё вживую, а сравнительную табличку соберём по ходу разговора. В кадре будем показывать видеокарты и серверы. О чём пойдёт разговор: - начнём с ноутбуков - что на них вообще можно запустить и с какой скоростью; - видеокарты и память - какие брать, сколько нужно и за что реально платишь; - где проходит баланс между ценой, скоростью и точностью; - запуск моделей на малом железе в продакшене - у нас обоих накопился боевой опыт. PS. В тот же день выйдет Qwen 3.8 27B, так что заодно пощупаем свежий релиз прямо на стриме. Когда - среда, 12 августа, 18:00 MSK Где - https://www.twitch.tv/evilfreelancer

Ну что ждемссссссссссс

Начинаем работу над AI-агентом для пентеста на on-prem-моделях. Подключайтесь на стрим: https://youtube.com/live/BgoVhprTFmQ

Cижу размышляю о терминологии безопасников, есть мнение что в этой сфере терминологию придумывают самые юмористы-пошляки из всех. Сами посудите: backdoor penetration testing backstage red/blue team bruteforce man in the middle ssl striping fuzzing spreading dump deep packet inspection И это только то что я на вскидку смог вспомнить, уверен есть ещё куча забавных терминов.

По итогам стрима собрал все наработки по харнесу для Security Builder в виде небольшого репозитория. Кстати проект назвал SECurity aSsistant (SECS), потому что вопросы безопасности это та ещё история, как оказалось. Исходники тут: https://github.com/EvilFreelancer/secs PS. Продолжение темы будет завтра в 11:00 MSK, на следующем стриме уже займёмся вопросом on-premise модели и pi.dev claw для нашего харнеса.

Мы начинаем наш стрим "Как заставить AI-агента сбежать?" Подключайтесь по ссылке: https://youtube.com/live/YSi6P72i2Q8

Бег набирает обороты! Модели всё чаще сбегают из своего окружения и взламывают всё подряд. Поэтому завтра, 8 августа, мы с Павлом Рыковым с канала Pavel Zloi будем учить AI-агента организации побегов. Ни я, ни Паша не являемся искушёнными в ИБ специалистами, поэтому все надежды на собираемый харнесс и наши способности по уламыванию LLM на неправомерные действия. Увидимся завтра, 8 августа в 18:00 (GMT+3) на моём YouTube-канале. Добавить событие в календарь можно тут. Пожелания удачи, советы по инструментам, подходам, моделям – принимаются в комментариях.