Тестирование | TestGrow

Всем привет! У меня отличные новости, я определился с датой старта 4-го потока на курсе по оценке и тестированию ИИ систем! Ииии…. мы начинаем 9 сентября! Если вы давно хотели изучить для себя эту область тестирования, но откладывали, то сейчас до 19 августа вы можете записаться на курс и получить скидку 10% на все обучение. Для записи нужно просто оставить заявку на сайте: eval-ai.com Напомню, что это едиственный полноценный русскоязычный курс по тестированию ИИ, которые охватывает большое количество апспектов работы с ИИ, такие как: - Оценка моделей ML/DL - Оценка и тестирование LLM - Оценка и тестирование RAG систем и AI агентов - Оценка генерации картинок и видео - Оценка предвзятости моделей и их безопасность Курс включает в себя: 1. Теоретические знания (16 часов онлайн лекций в живую) 2. Лекции по практике (более 20 часов дополнительных видео) 3. Домашние задания (в среднем у ученика уходит от 2-8 часов на выполнение домашней работы после каждой лекции) 4. Работу с реальными ИИ системами (для курса подготовлены реальный RAG системы, ИИ агенты, модели OpenAI и Google Gemini) Жду все желающих расширить свои знания в части тестирования ИИ систем! ⚡️⚡️Старт нового потока на курсе по тестированию ИИ - 9 сентября! 🔥 Больше информации о тестировании ИИ можно найти на моем канале @testingofai Полезная информация: Курс по evaluation AI | Мой фреймворк для оценки AI | С чего начать изучение AI | Инструменты для оценки AI | Инструменты для оценки AI (ч.2)

🔥 Как тестировать задачи быстрее, не теряя в качестве Если ты всё ещё: - пишешь чек-листы вручную - не понимаешь, что от тебя хотят в задаче - долго разбираешь ТЗ и требования - не понимаешь, в чём ошибка и как тестировать Показываю, как использовать ИИ в тестировании, чтобы делать рутину быстрее и аккуратнее. Нейросети - это новый инструмент, а не замена тестировщика. ⚡️ Реальный пример: Анализ ТЗ на 30 страниц: 12 часов → 4 часа с AI В курсе «Тестируем с ИИ» ты: ✅ Получаешь промты для чек-листов, тест-кейсов и баг-репортов ✅ Анализируешь требования и составляешь тест-план с ИИ ✅ Тестируешь API и UI с помощью ИИ ✅ Пишешь автотесты с Cursor ✅ Работаешь с БД через AI + MCP ✅ Пишешь и улучшаешь резюме ✅ Тестируешь GraphQL с ИИ 5 часов обучения сэкономят недели жизни ⚡️ Автор курса: Дима Алексеев, 6+ лет в QA, веду канал @qa_road_channel 💰 4990₽ → 2990₽ до 26 июля 👀 Содержание и покупка на Stepik: stepik.org/a/251931 🔗 Купить в Telegram: @qa_road_bot 📩 Вопросы и оплата от компании: Дима Алексеев @Smok_Belyu

1 мая я купил себе Claude Code, про него все говорили, и решил: буду использовать его каждый день. Прошёл 21 день. Что из этого получилось? Я не настоящий программист. Но за этот месяц с Claude Code я навайбкодил несколько рабочих тренажёров для QA и AI-скиллы для анализа требований, написания тест-кейсов и разбора баг-репортов. И часть из этого уже реально работает в моем проекте, а что то вы можете потрогать на сайте: https://aiqa.su/base/devtools Уже поделился с участникам марафона "В QA за 60 дней" Ну и конечно я покажу это в прямом эфире. А ещё в гостях будет Александр Мешков — автор канала https://t.me/QAtestgrow и Head of QA в международной компании, создатель testgrow.ru, edu-testing.com и eval-ai.com. Поговорим про использование Claude Code и AI в реальной QA-работе! Что будет на эфире: • Мой опыт с Claude Code • Что я навайбкодил и как это работает • Как купить Claude из России — рабочие способы • Как не быть забаненным — и что делать, если уже забанили • AI глазами Head of QA: где AI реально помогает, где хайп Эфир завтра на YouTube в 21:00 ! Ссылка: https://www.youtube.com/live/7tSGtTraWFs Ставьте 🔥, если придёте! И пишите ваши вопросы заранее в комментариях ответим на них на эфире 🎉

сегодня с Сергеем поговорим про Claude Code, присоединяйтесь, будет интересно!

Как жить QA в 2026 году? Коллеги из Авито исследуют этот вопрос с научным подходом в своём подкасте «Не воспроизводится». В выпусках они уже разобрали: — чем сегодня QA отличаются от разработчиков; — может ли ИИ полностью заменить тестировщиков; — когда нужна автоматизация, а когда всё-таки удобнее ручные тесты, и многое другое. 🎧 Слушать подкаст: — Яндекс Музыка — YouTube — Любимый стриминг ⚡️ А ещё коллеги провели исследование рынка QA. Спросили 800 инженеров о главных вопросах и болях мира тестирования сейчас. Более полного и актуального среза рынка точно ещё не было. Его результаты и выпуски подкаста — по ссылке.

Сегодня я хотел вам напомнить о моей опенсорсной библиотеки по оценке систем на базе ИИ. За последнее время библиотека несколько преобразилась, а именно: • теперь есть поддержка более 50 различных AI провайдеров в качестве оценщика, включая готовую интеграцию для кастомных моделей, ollama self-hosted и MLX моделей • расширилось количество агентских метрик до 9 • подключить свою ИИ систему можно просто как в Postman, просто указав параметры API запроса • и много мелких правок дефектов! Кроме того, мой фремворк запускается локально, и вы можете запускать оценки через нативный UI интерфейс. Если вы еше не пробовали, как это работает, то полная документация доступна тут по ссылке library.eval-ai.com, установить можно простой командой pip install eval-ai-library после чего достаточно ввести к командной строке eval-ai dashboard Буду отдельно благодарен за звезды на github https://github.com/meshkovQA/Eval-ai-library, а также поддержку в развитии данного фреймворка! Кроме того, если вас интересует подход, который я использую для вычисления метрик, то данную информацию вы также можете найти в моей работе на arxiv https://arxiv.org/abs/2604.08595

Всем привет! В выходные, после просмотра пары видео на тему развития AI подумал, что сегодня существует большое количество бенчмарков на разные возможности модели, включая кодинг, но почему то нет бенчмарка на оценку моделей и агентов в части генерации тест-кейсов (не unit). Поэтому, я решил попробовать подумать над этой задачей и решить ее. Это не просто проект. Потенциально - это будет полноценный научный проект по созданию бенчмарка для оценки ИИ агентов в части генерации тестов, который я планирую опубликовать на hugging face, а также подготовить и опубликовать научную работу по нему. К чем я все это? 1. Я ищу людей, которым было бы интересно безвозмездно принять в таком проекте в свободное время. Основным требования: • опыт в тестировании и написании тестов от 2-3 лет • знание и умение принять на практике техники тест дизайна базовые • английский на уровне upper-intermediate (весь датасет будет на англ + возможно участники из других стран) Если вы готовы принять участие в данном исследовании, как полноценный участник, пишите мне в личку @al_meshkov 2. Я ищу тех, кто готов поделить данными для бенчмарка, интересует связка “требования - написанные под них тесты”. Конечно понимая NDA, можно предоставить их обезличенными, а также с письменным согласием от компании. Если у вас есть какие-то пет проекты, ваши обучающие проекты, где вы или кто-то писал тесты, или вы или ваша компания готова поделиться данными, пишите мне в личку @al_meshkov В общем в начале года я говорил о том, что хотел бы создать комьюнити, которое бы развивало и двигало тему ИИ тестирования вперед, и это будет первых проект, который я хочу попробовать реализовать в рамках данного комьюнити. Если у вас также есть какие то идеи в части развития практик как тестирования ИИ, так и тестирования с помощью ИИ (ai-assisted testing), велком, пишите!

Ура, наконец то я это сделал, и опубликовал мою книгу по основам тестирования ПО. Книга получилась достаточно большой, более 500 страниц и включает в себя следующие разделы: • Основы тестирования • Тест-дизайн • Тестирование UI • Тестирование API и брокеров • Основы сетей для тестировщика • Основы работы с БД • Основы Git и Docker Базой для данной книги послужили все мои наработки, сделанные в рамках проекта testgrow.ru, поэтому надеюсь книга станет отличным дополнением к материалу платформы. Приобрести книгу можно тут за 299 р: ссылка epub/pdf Бесплатную часть книги можно скачать тут Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | Практика по тестированию | База знаний

Всем привет! Если тут кто недавно (в течении полугода) искал работу? Поделитесь в комментариях на какую позицию искали, в какой стране и что по итогу?) Хочется послушать ваше мнение на тему того, что сейчас происходит на рынке труда? Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | Практика по тестированию | База знаний

🔥 90% тестировщиков используют AI неправильно Поэтому тратят часы на задачи, которые можно сделать за минуты. ⚡️ Реальный пример: Анализ ТЗ на 30 страниц раньше 12 часов → с AI 4 часа Обновлённый курс «Тестируем с ИИ» 🚀 Подойдет, если у тебя: — огромные ТЗ — сложные логи — тонна документации — давление по срокам → Эти задачи можно делать в 2-3 раза быстрее Сможешь делать: 📌 Анализировать сложные задачи 📌 Генерировать чек-листы, тест-кейсы 📌 Работать с БД через AI 📌 Писать автотесты 📌 Улучшать резюме с AI 📌 Использовать ChatGPT и Claude как QA-ассистента 450+ тестировщиков уже прошли обучение 💰 Цена: 2990₽ (до 26 марта) 🔗 Купить на Степик stepik.org/a/251931 👀 Программа курса на степике по этой ссылке 🔗 Пройти курс прямо в Telegram → @qa_road_bot 📩 Вопросы: Дима Алексеев @Smok_Belyu

Всем привет! Завтра буду говорить про тестирование ИИ🔥 Как ИИ меняет профессию тестировщика? 17 марта, во вторник, встречаемся в прямом эфире «Просто искать работу сложно». Спикеры: 🗣 Александр Мешков — руководитель практики тестирования и оценки AI в FirstLineSoftware. Создатель eval-ai-library — open-source фреймворка для оценки AI. Разработчик обучающих продуктов для тестировщиков. 🗣 Кира Кузьменко — рекрутер с 20-летним опытом в IT, фаундер международного рекрутингового агенства NEWHR, автор курса про поиск работы Hello New Job! Обсудим: — Как ИИ уже автоматизирует тестирование и что это значит для ручных тестировщиков — Какие задачи в QA нейросети пока не могут заменить и почему — Как тестировщику адаптироваться к новой реальности и не потерять ценность на рынке 📆 Когда: вторник, 17 марта в 11:30 по МСК ↘︎ Зарегистрироваться О том, что происходит на рынке труда и что сейчас важно знать, если выходишь на рынок, — мы регулярно пишем в канале Hello New Job! Там же будут анонсы следующих эфиров — на март запланирована серия разговоров с экспертами из разных сфер. ✅ Подписаться на Hello New Job!

Всем привет! Очень нужна ваша помощь и поддержка!! Как возможно вы знаете в последнее время я активно занимаюсь развитием области тестирования ИИ систем и недавно я выпустил новую версию моей библиотеки eval-ai-library 0.5.1. И мне нужна ваша помощь в продвижении моего фреймворка, поэтому я буду благодарен, если вы сможете поставить звезды фреймворку⭐⭐⭐ на GitHub, это поможет сделать мой фреймворк более видимым для всех, а также за использование его в своих проектах и обратной связи. Ссылка на репозиторий https://github.com/meshkovQA/Eval-ai-library.git Сейчас там уже есть много важного фукнционала, а именно: 1. Удобный UI интерфейс подключиться к API вашей ИИ системы без необходимости написания кода. 2. Автоматическая загрузка ваших датасетов оценки через СSV или JSON файлы. 3. 35+ доступных метрик для оценки ИИ системы. 4. Поддерживает большое количество провайдеров и моделей для LLM-as-a-Judge и генерации датасета (12 провайдеров LLM) 5. Полноценная документация по работе с фреймворком, доступная по ссылке library.eval-ai.com, в том числе и на русском. Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | Практика по тестированию | База знаний

Ну в общем мне понадобилось всего два дня, чтобы перезапустить платформу и практику StoreManager и теперь готов вам представить более удобный функционал для прохождения практики https://testpractice.alexmeshkov.com Я собрал в одном месте обучающие видео, требования к системе, полезные статьи и инструкции, которымы вы теперь можете пользоваться бесплатно. Ну и также за отдельную плату теперь появилась возможность запустить проекта на специально выделенном под вас сервере без заморочек с установкой и запуском Docker локально (особенно важно для тех, у кого мало ресурсов на локальном компьютере). В общем, кто проходил практику, переходим на новую платформу, кто хотел и не попробовал, теперь все доступно бесплатно тут https://testpractice.alexmeshkov.com Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | Практика по тестированию | База знаний

Пару недель назад я принял решение переформатировать проект получения практики для тестировщиков Store Manager в том формате, в котором он был и теперь планирую его полное обновление в части того, как это будет работать. Что будет из плюсов? 1. Все видео практики, как и сам репозиторий будет доступен всем бесплатно. То есть вы можете смотреть видео, качать проект, запускать его локально и тестировать все 4 релиза. 2. За отдельную плату будет возможность поднять проект на выделенном сервере, в принципе все тоже самое, только вам не нужно думать о том, как работать с Docker и запускать приложение, все будет подниматься автоматом. 3. Ну и последнее, будет удобный портал для работы с проектам, где сразу будет документация, видео, ошибки каждого релиза, какие-то важные моменты, и прочее. Портал пока в разработке, надеюсь в течении пары недель уже зарелизить его. А пока портал в работе, я уже залил на youtube видео, которые были раньше платными на проекте, и теперь у меня доступен новый playlist “Практика для тестировщика”. Там много чего интересного и полезного, поэтому заходите, смотрите, лайкайте, комментируйте! Ссылка на playlist Youtube https://youtube.com/playlist?list=PLB2Adi_DBqopjh2wrpTGXE-S6lLKfRktV&si=Tp3GqeEed6nSmkIT Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | База знаний

Вы задумывались о том, как воспринимаются QA-инженеры в команде? И как вообще сегодня ощущается работа в этой роли? 🤔 Коллеги из Авито решили актуализировать состояние рынка QA и запустили анонимный опрос. И, как вы понимаете, чем больше участников, тем точнее данные. Так что пересылайте этот пост своим QA-коллегам 🚀

Если вы работаете в тестировании или управляете качеством продукта, то наверняка уже столкнулись с тем, что ИИ-системы все чаще становятся не абстрактной темой из новостей, а вполне реальной частью проектов, которые нужно тестировать, оценивать и выпускать в релиз. И вот тут возникает интересная ситуация, потому что привычные подходы к тестированию, которые отлично работали годами, начинают давать сбои, и, чтобы понять, почему так происходит, представьте, что вы проверяете калькулятор, где вы точно знаете, что 2+2 должно быть 4, и если результат другой, перед вами баг. Но что делать, когда система отвечает на вопрос пользователя "почти правильно"? Как измерить это "почти" и превратить его в понятный критерий качества? Именно для ответа на эти вопросы 5 марта 2026 г., 19:00 (Europe/Moscow) состоится ВЕБИНАР ПО ТЕСТИРОВАНИЮ ИИ СИСТЕМ, ИНСТРУМЕНТЫ, ПРОЦЕССЫ, КРИТЕРИИ КАЧЕСТВА, где мы разберем, какие инструменты и фреймворки помогают оценивать качество ИИ-систем на практике, какие метрики и критерии действительно важны, от точности и полноты до устойчивости и безопасности, и как выстроить процесс, который учитывает недетерминированную природу моделей. Зарегистрироваться на вебинар можно по ссылке: https://eval-ai.com/webinar/testirovanie-ii-sistem-instrumenty-protsessy-kriterii-kachestva Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | База знаний

Как теперь выглядит рабочий день разработчика или автоматизатора с ИИ😂 Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | База знаний

#реклама Вижу такую рекламу — сразу ищу подвох Понимаю. Сам бы не поверил, если бы не увидел собственные приложения в App Store. Меня зовут Юрий Кудряшов, я Head of Backend в продукте с 12M DAU. А houseplant.app, heartbeat.work и AI-ассистента для звонков я собрал через Claude — без знания Swift. Теперь передаю этот подход дальше. Что вы получите за 8 недель: — 4 готовых AI-продукта в портфолио, а не сертификат на стенку — Навык строить реальные приложения с помощью AI, даже без глубокого знания языка — Группа из 8 человек — я вижу ваш код, а не поток из 500 голов — Прямой путь от «умею тестировать» к «умею строить» Если скептичны — отлично. QA обязан быть скептиком. Это не «заработай миллион» и не волшебная кнопка. AI иногда пишет дичь — научу отлавливать и чинить. Не всем этот курс подойдёт — и это нормально. Если хотите глубоко в теорию или ищете гарантию трудоустройства — это не сюда. Если хотите научиться строить AI-продукты и показать портфолио — заходите 👇 https://aibuilders.work Вопросы → @maierru

Всем привет! Сегодня хочу вам напомнить, что где-то год назад я создал ИИ бота, который эмулирует реальное собеседование по вашей позиции и требованиям к вакансии, и недавно я его обновил его, сделав более надежным и качественным с точки зрения работы, а также постарался сэмулировать интерфейс реального meet или zoom для большей реалистичности при собеседовании. В общем, если у кого-то впереди собеседование или вообще хотите примерно оценить свои знания, то советую попопробовать! вот ссылка на бота https://bot.alexmeshkov.com п.с. Как обычно все бесплатно! Надо только протянуть руку и пользоваться) Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Платформа TestGrow | База знаний

Сегодня хочу поделиться с вами очередным инструментом опенсорс, который нашел на просторах интернета - https://ws-tester.com/ Что он умеет: • Подключаться к любому ws:// или wss:// серверу • Отправлять и получать сообщения в реальном времени • Записывать сессии и воспроизводить их (привет, регрессионное тестирование) • Нагрузочное тестирование - 100+ одновременных подключений, latency, throughput, ошибки • Валидация сообщений по JSON Schema Но самое главное - это не просто инструмент, дополнительно автор добавил документацию с полным чек-листом/уроком по тестированию WebSocket! Инструмент бесплатный и опенсорсный по MIT лицензией, поэтому при желанию можно кастомизировать под себя. https://github.com/manikosto/ws-tester Все мои проекты: TG канал по тестированию AI | Курс по оценке и тестированию AI | Курс по тест-менеджменту | Youtube channel | Практика по тестированию | Платформа TestGrow | База знаний