QAQC 🔥 _тестирование ПО

Шок контент: Cypress атакован, и виноват не AI, а старая добрая SQL-инъекция, ахах.🤡🤡🤡 Вчера получил прекрасное письмо от Cypress: произошёл security incident, бла-бла-бла, взломали какой-то сторонний сервис, через который Cypress что-то делал. Детали детсадовские: чувак нашел уязвимость, и она была довольно роскошной, можно было делать: • запрос без авторизации; • SQL-инъекция в базу Metabase (это сервис, который обосрался); • получение админского доступа; • возможность читать подключённые базы и вытаскивать данные; То есть пока обсуждаем prompt injection, jailbreak и то, как LLM украдёт все на свете и сломает пентагон, данные Cypress утекли через SQL-инъекцию 🤡 P.S. Самое смешное, что лично у меня ни разу не получилось ее нигде сделать - обычно запрос либо отсеивался на внешнем уровне, либо приложение использовало нормальные параметризованные запросы.

Немного о реформах🙂 В 2020 я работал в Carolbike - и вся команда разработки созванивались примерно раз в неделю. Предпочитали вопросы решать асинхронно. У нас даже дейликов не было - потом я ввел их раз в неделю, weekly. При этом наша дев команда из 10-14 человек была эффективной, быстрой, и тайм-ту-маркет был великолепным. В 2022 я начал работать в Neutron. Команда больше, продукт сложнее, вопросов много. И то, мы умудрялись первые 3-4 месяца вместо дейли созвонов использовать текст. Какие-то общие вопросы обсуждали, но чаще - текстом. Когда разрослись до 40 человек - да, дейли, демо, ретро и тд, рабочие созвоны. Но все равно, у меня, как у хеда тестирования, было не больше 6-7 созвонов в неделю. Сейчас у меня созвонов 4-6 часов в ДЕНЬ. Команда тестирования 5 человек, общая команда разработки (с тестированием, девопсами, овнерами и тд) - 14 человек. Понятное дело, что кроме созвонов я почти ничего не успеваю делать. Паузы в 30-40 минут между созвонами - в них невозможно погрузиться в задачу. Невозможно на что-то отвлечься, внятно ответить, тк нужно готовиться к другим созвонам. Отсюда так же понятно, что что-то в процессах люто идет не так, просто потому что так не должно быть. Что сделал: • подключил локальную ИИ, которая записывала/транскрибировала все созвоны в течении двух недель. • после этого загрузил массив данных в другую ИИ, проанализировал, и выяснил, что 70% времени на созвонах команда вообще ни к чему не приходит, и говорят в основном 3-4 человека, а остальные 10+ просто слушают. • тупо показал сухие цифры на ретро, собрал мнения по 1-2-1 относительно созвонов - все недовольны. Как промежуточный итог: • сухие цифры на ретро сработали плохо, все согласились что созвонов много, но "у нас же столько решений, которые нужно обсудить и принять, что мы будем конечно стараться в асинхрон, но не обещаем". • ввел для QA команды рекомендацию обсуждать мелкие решения в тредах, и фиксировать результаты. По замерам текущей недели, кол-во созвонов пока не уменьшилось, но хотя бы увеличилось кол-во принятых и фиксированных решений. Небольшая, но победа 🎉 Кто хочет пошарить свою статистику по созвонам - велком ту комментс)

QAQC 🔥 _тестирование ПО pinned «Собрал вручную несколько промтов под самые популярные QA запросы 🫡 Можно брать промт, и тупо копировать его во что угодно, что используете - от обычного ChatGPT/Deepseek до любых агентских штук типа Claude/Opencode и тд. Просто вставляете промт, и AI выдает…»

Собрал вручную несколько промтов под самые популярные QA запросы 🫡 Можно брать промт, и тупо копировать его во что угодно, что используете - от обычного ChatGPT/Deepseek до любых агентских штук типа Claude/Opencode и тд. Просто вставляете промт, и AI выдает ровно то что нужно. Их 6: • Найти edge и corner кейсы - даете промт и описание задачи, AI находит сложные кейсы и выдает в удобной форме. • Тест-дизайн точно так же, без лишней воды, даете контекста, и наслаждаетесь. • Ревью существующих тестов. • Проверка PR/MR. • Разбор требований с точки зрения тестирования. • 😅Вишенка на торте - помочь аргументировать свое мнение. Копипастите промт, потом кидаете тред/диалог, и он вам выдает сначала мнение о каждом участнике, потом как лучше вам ответить 🤡 Промты собрал в Telegram-приложение. Надеюсь, кому-то это поможет сэкономить время.

Каждый раз когда читаю новости, про то что либо у Claude новая LLM все взломала на свете, либо у OpenAI их новый GPT хакнул Пентагон 🤡

Пост про то, как мы переоценили возможности использования AI в QA и в команде разработки 🎬 Все началось с того, что с самого высокого уровня на нашу команду (20 человек разработки и тестирования) спустился нарратив: "Мы переходим к AI first разработке, поэтому внедряем это на всех уровнях, код пишет железка, мы проверяем. Используем Bmad фреймворк". Если коротко, то Bmad фреймворк это набор агентов, которые заточены каждый под свою роль: там есть и агенты по разработке, и по тестированию, и по анализу, и по ТЗ, и проджект-овнер и тд, и тд. Главная идея этой агентской разработки заключается в том, что ты, используя любой агент, работаешь в очень небольшой сессии, по результатам которой формируется документ для работы следующего агента. И, установив этот фреймворк, ты можешь: • составить требования • составить матрицу тестирования, выявить узкие места • написать тесты • написать код • сделать ревью • запланировать спринт и разбить задачи по сторям и эпикам То есть по сути, один или несколько человек, работая с bmad, могут заменить целую команду. Удобно, что агенты составляют доки для себя же, и каждому новому не нужно объяснять ничего, достаточно сказать "запусти разработку стори 1.2", и он уже будет знать, что за стори, че делать и тд. Звучало все неплохо, мы взялись за дело. Поначалу все хорошо шло - bmad отлично справился с сбором первоначальных требований (мы еще использовали скилл grillme - он опрашивает человека обо всех подробностях, которые ты не учел. Требования получились огромными. Мы потратили день чтобы это все вычитать, внести коррективы, и все стало ок. Потом была сессия, где создали документ с архитектурой фичи - какой фреймворк, библиотеки, и тд, и тд. Тоже хорошо справился, тоже потратили день, чтобы внести коррективы. По ходу пришлось вносить изменения еще и в документ с требованиями, тк обнаружилось, что мы кое-что не учли. Далее агент Мурад (да-да) начал разрабатывать тест-дизайн документ на основе архитектурного и требования. Он обнаружил еще несколько несостыковок, которые мы пропустили, и нам пришлось перечитывать все, и вносить изменения во все документы, чтобы сделать систему ТЕСТИРУЕМОЙ. Он сразу начал рисовать корнер-кейсы, описывать тесты на задержки, на нагрузку, функциональные и тд, и тд. По итогу нам опять пришлось вносить правки во все доки, тк после очередного ревью документов обнаружилось, что мы опять что-то не учли. Потом Мурад предложил изменения в техническом решении, потому что возникали проблемы с масштабированием. Короче вылилось все в то, что каждый следующий агент находил что-то, что предыдущие не учли. И в какой-то момент мы поняли, что просто потратили уже 50-60 часов, а ни строчки кода нет, есть только 20-30 разных документов, которые между собой дрифтуют. И это все вычитать нереально, поскольку каждый док - это 300-400 строк текста, и вроде все там важно. И я понял, что Bmad фреймворк оказался слишком крутым для нашей небольшой команды. Наш текущий продукт для такого уровня формализации оказался не готов. Вероятно это идеальное решение для сотен разработчиков и банков, но не для небольших команд. Как итог, мы отказались от bmad. В теории это звучало идеально, и мы поначалу радовались - о, он предложил так-то реализовать, супер. О, он предположил что на таком-то куске модуля может быть рассинхрон - супер. О, он предложил заранее избежать гонки состояний - отлично. Но практика споткнулась о грабли банальных время/деньги/тайм-ту-маркет. Как итог: Мы взяли из bmad несколько действительно полезных агентов, типа тестирования и код-ревью, и дело с ними сразу полетело. Настроить этих агентов тоже оказалось не из простых, но по крайней мере, они дали ощутимый прирост качества и скорости, чему я был очень рад. Так же попутно, получив огромный опыт, мы нашли несколько интересных вещей из фреймворков, которые тоже имплементировали, и уже получили профит. Урок пройден, исследуем возможности агентской разработки и дальше) 🚀

У фильма Колобок какой-то лютый рейтинг 2.3 Я давно привык и не смотрю 99% русских фильмов, тк это откровенное издевательство над кинематографом, но такого рейтинга я еще не видел. Самый мед на втором слайде - на этой же странице в похожих "Человек-паук", показы которого подвинули из-за Колобка, с рейтингом 8.3, и ноунейм фильм "Да это же говно!" Роскошный троллинг от Кинопоиска, который они, когда придется отвечать, назовут "ой, баг"🔥

Гороскоп на несколько лет от GPT-Sol. Выбор очевиден.

Джуны в первый рабочий день 👌

Оч хороший фильтр, кто реализует, готов протестировать! 😂

Пост базовый про понятия в LLM. 🫡 Скорее всего вы итак это все знаете, но на всякий: LLM - это не Claude code, chatgpt и тд. Это сама модель. Когда говорят про LLM, имеют ввиду конкретную модель. У чатагпт их, например сейчас аж три новых - Sol, Luna и Terra. У них кучу версий, и тд. У Claude тоже несколько - Fable модель, Оpus, Sonnet и тд. То есть все это - и Sol, и Fable - модели. Мозги. А вот chatgpt/codex, Claude code, opencode и тд - это, условно, клиенты. AI-фреймворки. Они сами ничего не думают, они подключаются к моделям, и представляют нам, кожаным, интерфейсы управления) Таких клиентов сильно больше чем самих моделей. Но есть, как всегда, нюансы: • если вы используете AI по подписке - например, оплачиваете chatGPT или Claude - то на другие клиенты вы, скорее всего модели, исплоьзуемые в подписках, не сможете их подключить - потому что КОРПОРАЦИИ не очень хотят чтобы вы использовали что-то другое. • А вот если вы используете модели по API - то есть платите за каждый миллион токенов, то тут уже что хотите, то и юзайте. Самые популярные AI-клиенты, которые я могу рекомендовать: • Claude, если у вас подписка на их модели/ Codex если у вас подписка chatGPT • Opencode - для любых моделей кроме подписочных. Очень нравится. • Goose - обожаю, это модный и красивый клиент, удобный, нативный. • Расширение в VSCode - для тех, кто любит работать прям в IDE • Zed - тоже прикольный. P.S. Эти клиенты вы как можете запускать в привычном GUI режиме (то есть программа), так и CLI расширение (быстро, но в консоли). Хорошего четверга (у кого четверг).