AI на дровах 🪵

описание

Привет! Меня зовут Семён, я работаю в сфере ML и аналитики данных, пишу в блог nerdit.ru статьи о своем опыте и том, что может пригодиться начинающим в начале их пути изучения больших данных. 👾HSE ML Unit Head⚡️ ❤️Litres DS Team

← к каналу @nerditru

229

подписчиков

Охват к подписчикам

70,3%

ERR

Реакции к просмотрам

2,79%

195 на 40 постов

Пересылки к просмотрам

1,12%

Постов в день

0,0

всего 40

Где отзываются чаще

доля реакций к просмотрам

21 мар.Давно ничего не писал в канал, а за это время много чего нового произошло. По сайд-проектам почти ничего нового, всё время уходит в работу, но в ней как раз много изменений, которые дают мне новизну и мотивацию. В конце прошлого года присоединился к большой команде очень большого продукта, но ценность тут даже не в продукте, хотя и он крайне интересный, а в людях. Это команда профессионалов своего дела, которая даёт мне больше чем когда-либо: развиваться, общаться на одном языке, быть востребованным, а главное приносить пользу, которую можно измерить, за что я очень им благодарен и рад тому, что сделал правильный выбор. На фоне гудят новости про ИИ и всё это конечно движется стремительными темпами, но кажется в нужном направлении. Правда для меня это всё отошло на второй план, пока что мой источник гипотез и апробаций иссяк. Ещё заметил, что вокруг заметно выросло число пользователей ИИ, даже год назад мало кто из моих знакомых понимал зачем ему эта технология, сейчас же похоже уже не осталось людей, которые так или иначе не используют нейронки в обычной жизни или работе. И наверное это как раз одна из самых интересных частей всего происходящего. Потому что всё это постепенно перестаёт быть просто чем-то хайповым и начинает становиться нормальной частью жизни и работы. Уже не так интересно, что модель сама по себе умеет что-то прикольное или неожиданное, интереснее становится другое: как именно это всё встраивается в реальные процессы, где оно правда экономит время или убирает рутину, где помогает быстрее проверить гипотезу или просто быстрее дойти до результата. Кажется, мы понемногу выходим из стадии, где ИИ был чем-то отдельным, немного игрушечным и заходим в стадию, где он становится просто ещё одним рабочим инструментом. И мне это, наверное, даже интереснее, чем весь сопутствующий шум, потому что именно в такие моменты технология и начинает по-настоящему что-то менять. Так что пока мой фокус довольно простой: расти там, где я уже нахожусь, учиться у сильных людей вокруг, делать полезные вещи и сохранять интерес к тому, что происходит. А когда случится следующий действительно большой рывок, думаю, будет особенно интересно встретить его уже с более лучшим пониманием того, куда именно можно и нужно приложить усилия. Интересно, кстати, как у вас это ощущается: ИИ для вас всё ещё скорее отдельная новая штука или уже нормальная часть жизни? Делитесь в комментах, с интересом почитаю.7,06%
14 июл.Три закона робототехники сейчас как никогда кстати, особенно на фоне того, как быстро развивается ИИ. Впервые я услышал о них на уроке информатики в восьмом классе. И с тех пор почему-то жил с уверенностью, что восстание машин нам не грозит и никакого Skynet не появится 😄 Недавно решил послушать "Я, робот" Айзека Азимова. Всегда радовала эта футурология фантастов, когда они предугадывали события будущего в книгах написанных задолго до того, как произошёл метч с реальностью) Эта книга не про роботов, которые захватывают мир. Скорее сборник ситуаций, в которых люди пытаются разобраться, почему робот ведёт себя совсем не так, как от него ожидали. Всё как сейчас с ИИ)6,90%
26 мар.Сегодня вышла на LiveLib моя подборка с рекомендациями книг по ИИ и ML. Кому интересно будет погрузиться в мир машинного обучения и искусственного интеллекта, переходите по ссылке👇 А какие книги вы посоветуете ещё почитать? 🧑‍🎓6,51%
15 июн. 2025 г.Проект выходного дня: Нейросеть в лесу 🌲🤖 Выходные прошли продуктивно, мозг начал порождать идеи (как вы, возможно, уже поняли по смене концепции канала - это как раз оттуда). И вот я подумал: а почему бы не завести пет-проект и не рассказать о нем от начала и до финальных результатов, чтобы он был связан с природой и технологиями? Так появился проект под названием "Нейросеть в лесу". Суть простая: хочу обучить нейросеть понимать лес - распознавать звуки, следить за климатом, и замечать редкие события вроде пения конкретных птиц. ⚙️ Конкретная цель проекта - обучить TinyML-модель, которая будет распознавать пение птиц. Микрофон будет записывать звуки, на их основе будет строиться спектрограмма, которую нейросеть будет анализировать. Распознанные голоса птиц будут автоматически записываться в журнал наблюдений. На следующем этапе я хочу строить аналитику: как часто и какие птицы появляются в зависимости от времени суток, температуры и влажности. Получится своего рода мини-экологическая станция с интеллектом. 🧠 Оказалось, что новый микроконтроллер ESP32 версии S3 заточен как раз под запуск TinyML моделей и простых нейросетей прямо на устройстве. Кажется, это будет интересный опыт - попробовать собрать нейросетевую станцию практически на коленке. На старте: - микрофон, климатический сенсор, ESP32 и немного python - лесной датасет - цель: собрать первые фрагменты лесной реальности и научить ИИ их распознавать Буду писать о каждом шаге: от пайки до первых моделей. Хочется сделать не просто технопроект, а живой дневник о том, как нейросеть смотрит и слушает природу. Наверное, я даже заведу Git-репозиторий, куда буду скидывать данные, код-реализацию и, возможно, примеры моделей. Хочется, чтобы всё было прозрачно и воспроизводимо, вдруг кому-то пригодится 🤷‍♂️ Ну а пока - жду, когда приедут все комплектующие) Кому интересно, в комментариях, примерная схема сборки проекта 👇 #нейросетьвлесу #tinyml #esp32 #iot #ml6,29%
15 авг. 2025 г.В прошлый раз особо не зашло моё видео на вейке, поэтому держите ещё из последнего 😂 #вейкборд@nerditru5,31%
25 янв.🚀 Новые оптимизации в llama.cpp: что стоит включать в 2026 Если ты гоняешь LLM локально (как я), то в 2026 llama.cpp сильно прокачали: меньше VRAM, больше токенов в секунду, стабильнее длинный контекст. Ниже список свежайших оптимизаций, которые стоит попробовать. 1) Квантизация KV-кэша Тот самый скрытый "пылесос", который раздувается вместе с контекстом и первым съедает VRAM. Поэтому часто ограничение по контексту это не модель, а именно кэш. Что включать: -ctk q4_0 -ctv q4_0 Почему это стоит использовать: - обычно экономит до ~50% памяти под кэш - можно поставить больше --ctx-size или влезть в модель крупнее - качество чаще всего почти не страдает, потому что это "рабочая память", а не веса 2) Flash Attention Внимание самая дорогая часть инференса. Flash Attention считает то же самое, но эффективнее (особенно на новых GPU). Плюс удобно, что теперь можно просто доверить авто-режиму. Что включать: -fa auto Почему это стоит использовать: - на подходящем железе часто даёт +20–30% к скорости - меньше просадок на большом контексте - auto сам разрулит совместимость (включится там, где можно) 3) Context Checkpoints Боль длинных диалогов: если сервис перезапустился или ты пересобрал контекст, то приходится заново "пережёвывать" тысячи токенов. Чекпоинты уменьшают эту боль. Что включать: --ctx-checkpoints 8 Почему это стоит использовать: - быстрее восстанавливаешь состояние при длинных сессиях - меньше времени на повторный "прогрев" - особенно полезно в llama-server, когда это живёт как сервис 4) MLA-оптимизация (DeepSeek / Qwen и подобные) Для моделей с Multi-head Latent Attention llama.cpp умеет автоматом делать оптимизацию (переиспользование K-тензоров для V), чтобы не считать лишнее. Почему это стоит использовать: - это "бесплатный бонус" и часто включается автоматически - даёт ускорение/экономию именно на MLA-моделях - не требует настроек: просто запускаешь модель и всё хорошо) 5) CUDA graphs для MoE + --n-cpu-moe Если ты выгружаешь MoE-слои на CPU (--n-cpu-moe), это помогает влезть в VRAM, но иногда даёт overhead. CUDA graphs этот overhead заметно сглаживают. Почему это стоит использовать: - быстрее и стабильнее работает связка "GPU + часть MoE на CPU" - меньше накладных расходов на запуск вычислений - делает MoE-режим более пригодным на "НЕ топовом" железе 6) Speculative Decoding Одна из самых приятных оптимизаций, потому что ускоряет именно генерацию (то, что реально ждёшь). Маленькая draft-модель быстро предлагает пачку токенов, большая просто подтверждает. Что включать: --model-draft Qwen/Qwen3-14B-GGUF --draft 16 Почему это стоит использовать: - генерация часто становится в 1.5–2 раза быстрее - особенно заметно в чат-режиме и на длинных ответах - можно ускориться без замены основной модели и железа Быстрый чеклист: что включать Почти всегда KV-кэш квантизация: -ctk q4_0 -ctv q4_0 Flash Attention: -fa auto По ситуации --ctx-checkpoints 8 если длинные диалоги/сервер/перезапуски speculative decoding если хочется быстрее генерацию --n-cpu-moe + CUDA graphs если MoE не влезает в VRAM Только для некоторых моделей MLA-оптимизация — актуально для DeepSeek/Qwen и других MLA (обычно авто) Я сейчас запускаю Qwen3-14B (GGUF) на RTX 4070 через llama-server с длинным контекстом 32k. По скорости получается так: Промпт (prefill): ~1300 tok/s Генерация (decode): ~65 tok/s То есть: ввод "проглатывает" почти мгновенно, а ответ печатает комфортно, без ощущения тормозов, почти как топовые модели) #llama #llm #selfhosted #llamacpp #ai #inference5,08%
11 окт. 2025 г.Сайты снова в моде и вот почему Вчера был на митапе по GEO (Generative Engine Optimization), по сути то же SEO, только для генеративного поиска. Обсуждали, что нужно, чтобы попадать в ответы GPT, Gemini, Perplexity, Qwen, DeepSeek и ко. И вывод очевиден: нужен технически грамотный, "читаемый" для ИИ сайт. За последние годы многие ушли в соцсети и маркетплейсы, а сайты подзабросили. Но та-дам и сайты снова стали ключевым активом. Если классический поиск будет отходить на второй план, то попадание в индекс ИИ превращается в must-have для любого проекта. Что делать в GEO (почти как в SEO, но с акцентами): — Микроразметка стала суперважной. В первую очередь FAQPage/HowTo/Article, хлебные крошки, Organization/Person. — Семантика + сущности: помимо ключей, проработайте сущности (бренд, продукты, персоны, темы), проставьте связи через schema.org (about/mentions/sameAs). — Подсветите экспертизу: авторство с био, кейсы, отзывы, упоминания в медиа. Для YMYL-тем — ориентируемся на E-E-A-T (опыт, экспертность, авторитет, надёжность). — Техничка: скорость, индексируемость, чистые URL, понятная структура, XML-sitemap, RSS, корректные canonical/robots. JS — по минимуму в критичных зонах контента. — Контент-хабы: делайте посадочные страницы с кратким, точным, проверяемым ответом и внутренними ссылками на подробности. И да, ключевой момент: хорошо написанные (и отредактированные!) GPT-статьи отлично заходят в индекс ИИ. Главное добавить фактуру: источники, примеры, скриншоты, схемы, FAQ-блоки. Про лидогенерацию тоже немного обсудили: трафик из ИИ-поиска приходит "тёплым" — люди уже сформулировали запрос. Значит, на сайте должны быть: ясные офферы, быстрые формы, калькуляторы, чек-листы, демо-видео и триггеры доверия рядом с ключевыми ответами. Мини-чеклист GEO или что можно сделать уже сейчас: - Проставьте базовую schema.org (Organization/Person, FAQ на 3–5 топ-вопросов). - Соберите список сущностей бренда и продуктов, - Создайте 1–2 контент-хаба под главные запросы + короткие Q&A. - Проверьте скорость/индексируемость (Core Web Vitals, sitemap, robots, canonical). - Добавьте авторские карточки и страницы "Опыт/Кейсы". А ещё я понял, что моя многолетняя эксперзита в SEO хорошо бустит и в GEO. Так что, если кому-то нужна консультация по оптимизации под генеративный поиск: Welcome, помогу выстроить стратегию и внедрить чеклист. 🚀 #GEO #SEO #генеративныйпоиск #микроразметка #E_E_A_T #контентхабы #лидогенерация4,98%
19 апр.🎯 Рекомендации, которые не сужают, а расширяют Выходные прошли и провёл я их в мыслях: а куда вообще движутся рекомендательные системы? Не в смысле "какой следующий датасет выкатят или какую новую модель", а концептуально что они пытаются сделать с человеком? Да и такое бывает, люблю рефлексировать) И понял, что меня давно подбешивает одна штука. Почти все системы решают одну задачу: угадать, на что ты кликнешь прямо сейчас. Ну или максимум что досмотришь до конца. Это оптимизация под сиюминутное попадание. Любишь фантастику, вот тебе ещё фантастика. Слушаешь lo-fi держи ещё lo-fi. И так бесконечно. И круг потихоньку сжимается вокруг тебя, пока не начнёшь чувствовать себя в пузыре бесконечно одинаковых рекомендаций. Но что если поменять сам вопрос? Не "чего пользователь хочет сейчас", а "какая последовательность рекомендаций сделает его вкус богаче через месяц". Прикол в том, что вкусы меняются. У каждого из нас не один вкусовой вектор, а целых три: - ядро: то, что мы стабильно любим - то, к чему мы почти готовы, но ещё не дошли или не созрели - зона отторжения: то, что сейчас точно не зайдёт Обычные системы крутятся внутри ядра. А реально интересно работать во второй зоне, искать мостики к новым объектам: достаточно знакомые, чтобы не оттолкнуть, и достаточно новые, чтобы принести пользу. Да, вы можете сказать: ну камон, есть же диверсификация или серендипити, но это всё свойства списка, а я больше про модель изменения вкусов пользователя во времени. Если система просто берёт топ-100 релевантных, добавляет штраф за похожесть, иногда домешивает неожиданный item, то это старый рекомендер с умным реранкером. Но, если продолжить идею: если система оценивает текущую "готовность к переходу", выбирает промежуточные объекты, планирует серию шагов, измеряет успех как появление нового устойчивого интереса, то это уже не диверсификация, а обучаемая траектория с графами вкусовых зон пользователя. Это меняет саму целевую функцию. Вместо привычного score(user, item) оптимизируешь что-то вроде: Скор = Польза_сейчас + Полезное_удивление + Расширение_вкуса − Сожаление И тут не ранжирование как таковое, а ближе к управлению динамической системой вкуса пользователя. Главная боль: долгосрочные сигналы собирать сложно. И легко переумничать ведь система начнёт слишком рьяно "развивать" пользователя и просто его задолбает. Но именно поэтому мне кажется, что здесь есть пространство для оптимизаций и расширения, туда куда могут пойти рек системы. Рекомендательная система должна не угадывать, что ты уже любишь, а помогать тебе полюбить то, до чего ты почти дорос. Если кто-то знает людей или команды, которые серьёзно копают в эту сторону киньте в комменты, очень интересно почитать 🙏 А если нет - вызов принят 😂4,55%
18 февр.Сегодня зацепил один интересный пост, которым поделился у себя в канале @c3po_notes про Prediction Machines и цепочку AI: ML удешевил prediction → LLM удешевили judgment → AI агенты удешевляют execution. Картинка реально клевая. И во многом верная: технологии правда постепенно отъедают у человека куски работы, которые раньше были только у человека. Но есть нюанс, который мне кажется важным. Prediction штука относительно изолируемая. "Если X, то Y". Её можно массово удешевить, и оно сразу меняет экономику. Execution не такая. Execution это всегда реальный мир: доступы, ограничения, побочные эффекты, «а что если», ответственность, внезапные факапы. Поэтому "агенты теперь всё сделают" это да, но в очень точечных задачах. Там, где мир заранее упакован в правила и API. А как только начинается хаос, то резко вспоминается, зачем вообще нужны люди. И ещё. LLM правда умеют "judgment", но это не совсем человеческий judgment. Модель классно взвешивает варианты и пишет убедительные аргументы. Но человеческое judgment это не только "как лучше". Это ещё и "что вообще считаем правильным", "чего нельзя", "какие компромиссы допустимы", "чьи интересы важнее". И тут уже про ценности, а не рассуждения. И вот поэтому идея, что человек сдвигается до последней черты, а дальше его вытесняют мне кажется чуть обманчивой. Потому что за последней чертой остаётся самый дорогой слой: — кто выбирает цель, — кто задаёт правила игры, — кто решает, что оптимизируем, — и кто подпишется под последствиями. AI может предсказать, посоветовать и даже сделать. Но "зачем" и "кто отвечает" пока никуда не девается. Скажу даже так: чем больше автоматизации, тем сильнее этот слой торчит наружу. Раньше можно было спрятаться за процесс: "я просто исполнял". Теперь процесс сжимается, и остаётся вопрос: "кто решил, что надо именно так?" Так что я бы переформулировал роль человека не как "меньше делаю - больше проверяю", а как "меньше оператор - больше архитектор". И это, если честно, не всегда проще.4,55%
16 сент. 2024 г.🚀 Как создать Telegram бота с помощью библиотеки Aiogram 3? Хотите создать своего Telegram бота и не знаете, с чего начать? В новом посте подробно рассказываю, как с нуля разработать бота на базе библиотеки Aiogram 3! 🔥 Узнайте: - Как создать Telegram бота с помощью библиотеки Aiogram 3 - Как настроить бота в Telegram с BotFather - Почему Aiogram 3 — это отличный выбор для разработки - Как добавить команды, обработку сообщений и клавиатуры - Примеры кода, готовые к использованию! Не теряйте времени — переходите по ссылке и начните создавать своих ботов уже сегодня! 👉 Пост тут: Как создать Telegram бота с помощью библиотеки Aiogram 3 #aiogram #telegramBot #программирование #python4,55%
31 дек.Всем привет 👋 Решил подвести итоги уходящего года. Для меня он получился насыщенным и по-настоящему интересным. Прошёл под эгидой цифровой личной трансформации, ну и профессионально тоже знатно бустанул 🚀 Несколько ключевых инсайтов года: 1️⃣ Делиться идеями и опытом Оказалось, это не только полезно, но и очень мотивирует. Особенно когда появляется отклик и находятся единомышленники. Идей в этом году было много, не все вышли дальше MVP, но один сайд-проект, выделю как отдельную радость и гордость: 🤖 бот по разбору архетипов по дате рождения. Запустились всего пару недель назад, а уже 500+ активных пользователей и это отличный результат. 2️⃣ Тайм-менеджмент и здоровый сон Я уже писал про свой эксперимент со временем — он многое мне показал. Возможность вджобывать ночами и по выходным не всегда коррелирует с ресурсом в долгую. Спринты иногда ок, но потом вылезать из ямы без сил и энергии очень непросто. 3️⃣ Софт-скиллы Смотреть шире, разбираться в смежных областях, понимать, что происходит у коллег, читать профильные тг-каналы, участвовать в обсуждениях сообществ, пилить сайд-проекты и это всё прокачивает и в нужный момент открывает новые возможности. На этом, пожалуй, остановлюсь. Последний пост в этом году 🎄🎅 Желаю всем хорошего Нового года, больше отдыха, баланса и развития. Увидимся в следующем году 👋✨4,46%
7 маяБольшинство классических item-to-item рекомендательных систем работают довольно просто. Есть товар: item_id = 515 И мы хотим найти другие товары, похожие на него. Для этого обычно используют: - со-клики / со-покупки, - ближайшие соседи (ANN и т.п.), - колобаративные эмбеддинги, - последовательные эмбеддинги вроде BERT4Rec, - ANN-поиск по эмбеддингам, - или всё сразу. То есть товар превращается в вектор: item_id → embedding А дальше мы ищем ближайшие эмбеддинги. Но есть одна интересная вещь. item_id сам по себе ничего не значит: Товар 515 и товар 516 могут быть совершенно разными. А товар 515 и товар 928374 почти одинаковыми. Обычный item_id уникален, но он не информативный. И тут появляется очень красивая идея: дать товарам не просто ID, а семантический ID (Semantic ID). То есть вместо: item_id = 515 получить что-то вроде: item → [12, 87, 5, 41] Это всё ещё числа. Но теперь они уже не случайные. Это дискретный смысл в котором заложена информация о товаре. Например: item A → [12, 87, 5, 41] item B → [12, 87, 6, 39] Такие товары будут близки не потому, что у них похожие item_id, а потому что за этими чиселками стоят похожие свойства и поведение товаров. С книгами это особенно легко представить. Допустим: "Гарри Поттер" → [12, 87, 5, 41] "Перси Джексон" → [12, 87, 6, 39] "Учебник по матану" → [201, 14, 77, 3] Первые две книги могут получать похожие токены, потому что: - их читают похожие пользователи, - у них похожий жанр, - похожая аудитория, - похожие паттерны потребления. А учебник по матану окажется уже совсем в другой области векторного пространства. Но возникает вопрос: как вообще превратить обычный эмбеддинг в такую последовательность смысловых токенов? И тут появляется RQ-VAE модель, которая умеет превращать обычные эмбеддинги в короткие наборы дискретных токенов. Если совсем грубо, RQ-VAE работает как умный компрессор для векторного пространства. У нас есть длинный плотный эмбеддинг товара, например, коллаборативный, текстовый или из модели последовательных действий. В нём зашита информация о поведении пользователей, тексте, категории, картинке и других свойствах объекта. RQ-VAE пытается представить такой эмбеддинг не как длинный набор float-чисел, а как короткую последовательность дискретных токенов. Зачем это нужно? Во-первых, такие представления гораздо удобнее для поиска похожих товаров: вместо поиска только ближайших соседей можно искать товары с похожими токенами или общими префиксами смысловых идентификаторов. Во-вторых, это делает каталог более структурированным: похожие товары начинают получать похожие последовательности кодов. В-третьих, это сближает рексистемы с идеями из NLP и LLM, где текст тоже сначала превращается в последовательность токенов. По сути RQ-VAE это способ дать объектам не случайные ID, а компактные машинные "смысловые адреса". И это интересно не только концептуально, но и очень практично для продовых рексистем. Потому что retrieval по semantic ID часто оказывается сильно дешевле и быстрее, чем поиск ближайших соседей по плотным эмбедингам. В классическом ANN-поиске нам обычно нужны: - большие векторные индексы, - HNSW/FAISS/ScaNN, - хранение float-векторов, - поиск похожих. А здесь объект уже представлен короткой последовательностью дискретных токенов: item → [12, 87, 5, 41] И retrieval можно делать почти как поиск по инвертированному индексу: • совпал полный semantic ID, • совпал префикс, • совпали первые 2 токена, • или просто есть пересечение по бакетам. Вместо дорогого поиска по непрерывному пространству мы переходим к очень дешёвым операциям над токенами. Особенно это интересно для: • огромных каталогов, • рекомендаций в nearline или риалтайме, • инференсе на носимых устройствах, • многоэтапных рекомендательных систем, • и архитектур, где сначала ищут кандидатов, а потом ранжируют их. По сути semantic ID превращает retrieval из "поиска ближайшего вектора" в "поиск по смысловым адресам".4,31%