DevOps от первого лица

👨‍🔬 Заменил плату на с Threadripper X399 на Supermicro H12SSL + горячий EPYC 7f52 (ROME). Все на Авито. 👾 Все видеокарты теперь работают на PCIe 4.0 x16, однако, это почти не дало скорости ни в prefill ни в decode. Причиной может быть урезанный P2P механизм драйверов для пользовательских (не серверных) видеокарт. Здесь есть обсуждение, это мне еще предстоит опробовать. Отсюда следует вывод оно того не стоило: Для локального инференса на нескольких видеокартах RTX 3090 достаточно PCIe 3.0 x8. Материнских плат на X299 / X399 для домашнего ИИ полностью хватит, а экономия бюджета в 2 раза. 🎩 В этой плате есть 8-ми канальный режим памяти DDR4 (против 4-ех канального на X399) и процессор более нового поколения. И здесь меня больше интересует промышленная фича дизагрегации KV-кэша. По простому: можно выгружать KV в RAM и если будет много объема то это позволит лучше кэшировать запросы, а значит вырастет prefill.

👾 На выходных навайбкодил попрактиковался в программировании через агентские фреймворки ИИ - сделал просмотрщик карт из Counter Strike 1.6 на C++ & OpenGL 4.6 под Linux. 👨‍💻 Все это делалось на установке из 4-ех RTX 3090 (ti) на модели gemma-4-31b-it под управлением vllm через агентский фреймворк Opencode. 👨‍🔬 Организовать правильную работу получилось только с третьего раза, одно дело описать то что нужно сделать, другое дело разработать схему взаимодействия. Последнее до сих пор довожу до ума, когда возникают проблемы с моделью. 🙈 Кроме того, у меня есть опыт разработки подобных продуктов (около 8-ми лет вел эту разработку без всяких ИИ и курсов), а умение гуглить спецификации и документацию оказало существенное ускорение для работы модели. 👻 В итоге это вышло очень занимательно и интересно, даже интереснее чем раздавать хеды на рандомных серверах)) 📊 Прикрепляю графики со статистикой, здесь ttft, prefill / decode, KV и попадание в кэш. ⁉ Интересно посмотреть видео с процессом разработки?

🚀 Майнинговая CMP 170HX взлетела в цене на Авито после опубликования разблокировки 64гб вместо штатных 8гб. Ссылки на обсуждения вот и вот. Что делает ее младшим братом NVIDIA A100 (цена 700к). Теперь ее минимальная цена 85к, что на уровне RTX 3090. 👾 Мне очень интересно, но пока это штука не выглядит надежной, пока видимо ни у кого нет опыта продолжительной эксплуатации в локальном ИИ, отсюда большая волатильность на б/у рынке, что делает ее покупку весьма сомнительной. ❓ У кого есть эта карта, как она в LLM после анлока? 🙏 Если кто готов любезно предоставить на тест (с возвратом или могу выкупить) буду признателен)) Исследую и выложу видос с результатами.

❓ Есть ли жизнеспособный инфренес в бюджете на 50к или 80к? На этот вопрос я постарался детально ответить в видео и статье на хабре: 🚀 https://youtu.be/uf9yDBy21pA 👉 https://habr.com/ru/articles/1053118/ Я взял 2 бюджетные материнские платы и 2 видеокарты, современные и не очень модели ИИ, провел разнообразные тесты. Получилось весьма объемно, а готовил я это около 3-х месяцев. Внутри: 📟 оборудование и цена 🔌 как определить пропускную способность памяти, прямо на практике 🎬 тесты: канальность, частота, кванты, контейнер vs хост, что будет если добавить одну карту, а две и так далее (все это приправлено графиками и моими комментариями) 💶 какие есть ценовые варианты 🎩 рассмотрим альтернативные сборки, в том же ценовом диапазоне и на развитие Если вы задумывались о персональном приватном ИИ, то теперь вы можете узнать как это все будет работать в бюджете до 100к рублей. Также вам могут помочь другие мои видео: 👉 Запускам GPT на ноутбуках без подписок и облаков 👉 Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга Все инструкции по настройке и развертыванию вы можете найти у меня на сайте: - Установка NVIDIA‑драйвера на Debian - Запуск локальных модели ИИ через llama.cpp ⁉️ Если у вас есть вопросы по сборке пишите в комментариях.

Я долго зрел и наконец созрел)) Новостей много, пройдемся кратко, а в следующих постах постараюсь больше деталей. Начнем с моего основного фокуса, из-за которого я долго не писал, и это работа) 👨‍💻 Последние полгода на работе были достаточно ... потрясающими. Уже как ~1,5 года я занимаю позицию тимлида команды DevOps на текущем месте работы. За это время мы с командой добились колоссальных успехов и произвели реформу нашей работы (наладили дежурства / улучшили процессы и для инженеров и для бизнеса / собрали команду). Детали позже. Однако, я решил уйти с этой позиции в роль инженера в этой же команде DevOps, в связи с культурными особенностями. Это было неудобное и трудное решение лично для меня, но именно так и должен поступать управленец - уметь принимать сложные решения в моменты неопределенности, когда простое ожидание перестает быть эффективным. Я приобрел драгоценный опыт, о котором расскажу позже. А теперь мое любимое: эксперименты и с ИИ и железо)) 👨‍🔬 Закончил тесты локального ИИ на бюджетных решениях (материнские платы + процессоры + самые дешевые видеокарты). Спойлер: есть там жизнь, статью уже пишу. Прикрепляю график результатов теста модели gpt-oss-120b, на нем видно какой профит дает добавление видеокарт в смешанный инференс на CPU + GPU. 🏭 Пересобрал свой стенд для локального ИИ на каркас для майнинга и заменил материнскую плата на Asus ROG STRIX X399-E GAMING + AMD Ryzen Threadripper 2920X. Видеокарты подключил через Oculink'и. Скорость инференса выросла до 150т/с на gpt-oss-120b. Видео прикрепляю. А после того как грянул гром двух спаленных проводов купил нормальный блок питания SUPER FLOWER Leadex VII Gold 2200W 80+ Titanium. Райзеры уже едут, а на выходных буду менять термоинтерфейсы на двух видеокартах. 👾 Осваиваю вайбкодинг Harness AI, на данный момент использую Open Code (пробовал Kilo Code, Claude Code, Qwen Code, Codex) с локальной моделью Gemma4-31B-it (недавний релиз). На удивление эта маленькая, но плотная модель хорошо справляется как с программированием, так и с анализом. Постепенно слезаю с GPT 5.2 Chat в пользу локальной Gemma. 🎥 А тем временем видео Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга наборало уже ~65к просмотров и более 2к лайков, подписчиков на канале в 2 раза больше чем здесь в ТГ. Удивительно как все может перевернуться)) Видимо действительно актуальная тема.

Я долго зрел и наконец созрел)) Новостей много, пройдемся кратко, а в следующих постах постараюсь больше деталей. Начнем с моего основного фокуса, из-за которого я долго не писал, и это работа) 👨‍💻 Последние полгода на работе были достаточно ... потрясающими. Уже как ~1,5 года я занимаю позицию тимлида команды DevOps на текущем месте работы. За это время мы с командой добились колоссальных успехов и произвели реформу нашей работы (наладили дежурства / улучшили процессы и для инженеров и для бизнеса / собрали команду). Детали позже. Однако, я решил уйти с этой позиции в роль инженера в этой же команде DevOps, в связи с культурными особенностями. Это было неудобное и трудное решение лично для меня, но именно так и должен поступать управленец - уметь принимать сложные решения в моменты неопределенности, когда простое ожидание перестает быть эффективным. Я приобрел драгоценный опыт, о котором расскажу позже. А теперь мое любимое: эксперименты и с ИИ и железо)) 👨‍🔬 Закончил тесты локального ИИ на бюджетных решениях (материнские платы + процессоры + самые дешевые видеокарты). Спойлер: есть там жизнь, статью уже пишу. Прикрепляю график результатов теста модели gpt-oss-120b, на нем видно какой профит дает добавление видеокарт в смешанный инференс на CPU + GPU. 🏭 Пересобрал свой стенд для локального ИИ на каркас для майнинга и заменил материнскую плата на Asus ROG STRIX X399-E GAMING + AMD Ryzen Threadripper 2920X. Видеокарты подключил через Oculink'и. Скорость инференса выросла до 150т/с на gpt-oss-120b. Видео прикрепляю. А после того как грянул гром двух спаленных проводов купил нормальный блок питания SUPER FLOWER Leadex VII Gold 2200W 80+ Titanium. Райзеры уже едут, а на выходных буду менять термоинтерфейсы на двух видеокартах. 👾 Осваиваю вайбкодинг Harness AI, на данный момент использую Open Code (пробовал Kilo Code, Claude Code, Qwen Code, Codex) с локальной моделью Gemma4-31B-it (недавний релиз). На удивление эта маленькая, но плотная модель хорошо справляется как с программированием, так и с анализом. Постепенно слезаю с GPT 5.2 Chat в пользу локальной Gemma. 🎥 А тем временем видео Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга наборало уже ~65к просмотров и более 2к лайков, подписчиков на канале в 2 раза больше чем здесь в ТГ. Удивительно как все может перевернуться)) Видимо действительно актуальная тема.

🎉 Прошел почти месяц и на удивление видео про сборку из 3-х RTX 3090 на майнерской плате для локального ИИ набрало почти 40к просмотров, более 400 комментариев и ~1.4к лайков. Спасибо всем кто оценил 🙏 Кто еще не успел посмотреть - заходите, посмотрите) 😆 Комментарии забавные, почитайте)) 👉 А свою статью на хабре Локальный ИИ: майнинг плата + 3 RTX 3090 я отправил на конкурс Технотекст8. 👨‍💻 Тем временем я провожу новый эксперимент: что можно выжать для локального ИИ на CPU, а именно на am4 и на threadripper. Не совсем only CPU, скорее смешанный инференс на CPU + доступная для большинства GPU Tesla V100, чтобы была приемлемая скорость инференса для персонального использования. По ценам пытаюсь вместиться в народную сборку чтобы каждый мог у себя такое разместить. Результатами поделюсь позже.

Несколько раз я уже упоминал что работаю над сборкой домашней лаборатории для ИИ на базе материнской платы для майнинга. Именно такой вектор я выбрал из-за цены комплектующих (без учета видеокарт), они дешевые. 🎉 И вот теперь я все докупил/дособирал/прокачал по максимуму и логически завершил эту веху - стенд полностью готов и не нуждается в доработках. Расписал весь пройденный путь и показал результаты здесь: 🚀 посмотреть видео на youtube 👉 почитать на хабре 💶 В конце видео/статьи есть расчеты финансовых затрат на итоговую сборку, без учета расходов, которые не вошли в эту самую сборку. Так как все делается на энтузиазме из личного финансирования, то я старался рационально распоряжаться бюджетом. Если вы задумывались о персональном приватном ИИ, то теперь вы можете увидеть сколько денег это потребует. А все инструкции по настройке и развертыванию вы можете найти у меня на сайте: - Установка NVIDIA‑драйвера на Debian - Запуск локальных модели ИИ через llama.cpp - Запуск gpt-oss-120b на трех видеокартах ⁉️ Если у вас есть вопросы по сборке пишите в комментариях.

🚀 ComfyUI Быстрый старт Добрался до написания инструкции по ComfyUI при помощи которого можно генерировать изображения и видео, причем все это можно делать локально без облаков. Внутри много контента, а если по сути то: ✨ начнем с примеров, чтобы было интересно…

Попробовал на выходных ComfyUI 🛋, несколько моделей для генерации картинок и видео из промпта. Особенно впечатлила модель wan2.2, при помощи которой я оживил 3 фото: 1️⃣ экскурсия на заводе БалАЗ (2025 год) 🏭, где машина превращается в Оптимуса Прайма 🤖 2️⃣…

🧾 Расшифровка звука через Whisper локально 🧐 Еще в прошлом году я наткнулся на транскрибацию звука, но так и не разобрался в ней толком. А сейчас понадобилось встроить к себе в OpenWebUI функцию расшифровки голосовых сообщений + диаризировать несколько длинных звукозаписей. 👨‍💻 Перебрал несколько опенсорных проектов, разобрался в пользовательской теории. Оказывается там другая сфера ИИ, не такая как у LLM. 📊 В конце статьи подготовил сводную таблицу с характеристиками и скоростью обработки тестового семпла. Для облегчения принятия решения привел примеры использования и наиболее подходящий вариант. 👉 Собрал все свои поиски и исследования в краткий обзор с примерами: https://byurrer.ru/whisper-ai

🚀 Написал статью и смонтировал видео как я собирал тестовый стенд из трех видеокарт и запускал модель gpt-oss-120b. Внутри поговорим про: 🎮 3 разные видеокарты: RTX 3090 TI KFA2, ASUS Rog Strix RTX 3090, Tesla P40 🧩 как это все разместить на материнской плате 🔌 как это все запитать 📊 результаты запуска, сколько в итоге выдает токенов в секунду 👉 Видео: https://youtu.be/yTNmruYj9BU 👉 Текст: https://byurrer.ru/vga3-first-test

⏳ Мои исследования локального развертывании ИИ продолжаются, на этот раз я собрал стенд в своей домашней лаборатории. 🥳 Купил NVIDIA Tesla P40 для расширения опыта с ИИ. В простое потребление ~120ватт, а при инференсе ~290ватт. Это совсем другой уровень…