Нейросети: магия искусственного интеллекта

💦 Опять массовый выброс на рынок новых моделей. Все перечислять не хватит сообщения. Наиболее ожидаемой для меня была Qwen 3.8 27B. А судя по количеству скачиваний, я не один такой. Qwen 3+ версий - реально рабочая корпоративная лошадка, мастер на все руки в меру своих размеров. 🤥 По метрикам местами приближается к Opus 4.6 Max (!!!! кто бы год назад мог подумать!). Но на деле чудес от модели которая помещается в консумерскую карту не стоит. 🥸 Конечно попробовал ее на своем железе. И... вернулся к Qwen 3.6 35B3A. Прироста на своих задачах резкого не получил качества. А вот скорость генерации и особенно время до первого токена упало драматически! Сейчас готовлю тесты, чтобы посмотреть реальный прирост. И активно ищу железо. ⭐ Бюджет уже запланировал и на этой неделе планирую прикупиться еще парой железяк с быстрой памятью и шиной. Пока по всем тестам и показателям, самое оптимальное решение в части генерации под мои задачи две Nvidia RTX 5090 32Gb. Которые тянут за собой правда еще кучу всяких кабелей, доп блок питания, кулеры - охлаждения... в общем прикольный конструктор типа Lego для увлеченных мужчин и женщин ). 😔 Мечтал о Nvidia 6000 PRO 96Gb в свою коллекцию, но по метрикам скорость генерации в полтора раза ниже при более высокой стоимости самой карты. Так что если кто торгует картами - дайте знать. И какие ваши впечатления от новой модельки?

💰 Считаем деньги... прошел первый этап оценки эффективности подписок. Оценивал Alibaba (Qwen), Kimi, Z.AI, Opencode. Пока результаты промежуточные, на оценке недельных лимитов. Есть и погрешности - не все запросы шли через контрольных шлюз. Но картина похода на правду. Ниже возле каждой подписки коэффициент дотации к рыночным ценам. Alibaba — самая эффективная (≥15.7×) — У меня недорогая подписка за18/мес - брал как тестовую. Но уже думаю перейти на следующий уровень 68 долл - это цены с действующими скидками. Плюс - хороший выбор моделей, не только Qwen. Kimi — вторая (≥10.7×) и подписка здесь подороже у меня. Но модели только Kimi, но мне нравится - хороший рабочий вариант. Z.AI — выше безубыточности (≥3.7×); подписка дорогая (80) - брал розничную цену на сегодня. Но у меня она куплена с большим дисконтом и обходится примерно в 30 долл мес. Но реально бесят окна с повышенными коэффициентами (x3). И вечно что то шаманят - так что не рекомендую по текущей цене к покупке. И да... если убрать повышенный тариф и покупать токены на опенроутер, то всего будет примерно x2 дотация к розничной цене. OpenCode Go — ≥3.0× cамая дешевая подписка, 10 долл. Других нет. Обещали х6, но видим, что не получается так... Будем продолжать эксперимент.

Как вытащить из нейросети разнообразие: простой приём для промптов Проблема: модель отвечает одно и то же Замечали, что если попросить ChatGPT или Claude написать рассказ, шутку или придумать идею — ответ каждый раз почти одинаковый? Один и тот же сюжет, те же формулировки, те же «безопасные» варианты. Это не баг и не ваша вина. При обучении модели натаскивают на «человеческие предпочтения», а люди подсознательно выбирают знакомое, плавное, предсказуемое. В итоге модель запоминает: «нравится типичное — давай типичное». И начинает выдавать один-два заученных шаблона на любой запрос. Исследователи называют это mode collapse — схлопывание в одну моду. Хорошая новость: разнообразие никуда не делось. Оно заперто внутри модели, и его можно вытащить правильным промптом. Приём: попросите не ответ, а распределение Вместо: «Напиши шутку про кофе» Пишите: «Сгенерируй 5 шуток про кофе. Для каждой укажи вероятность от 0.0 до 1.0, с которой она могла бы быть выбрана из всех возможных шуток на эту тему. Верни в формате JSON.» Всё. Модель переключается из режима «дай один лучший ответ» в режим «покажи, как выглядит пространство ответов». И внезапно выдаёт пять реально разных шуток вместо пяти вариаций одной и той же. Готовые шаблоны Для брейншторма и идей: «Придумай 7 идей для [задача]. Для каждой укажи оценку вероятности (0.0–1.0). Верни списком.» Для текстов и историй: «Напиши 5 вариантов начала рассказа на тему [тема], каждый объёмом около 50 слов. Укажи вероятность каждого варианта. Формат: JSON с полями text и probability.» Для нестандартных решений: «Сгенерируй 5 ответов на вопрос [вопрос]. Вероятность каждого должна быть ниже 0.01. То есть мне нужны редкие, нетипичные варианты.» Последний шаблон — самое интересное. Вы буквально говорите модели: «не давай мне то, что ты обычно даёшь». И она начинает рыться в дальних углах своих знаний. Три усилителя 1. Попросите подумать перед генерацией. Добавьте в начало: «Сначала кратко рассуди, какие вообще бывают подходы к этой задаче. Затем сгенерируй варианты с вероятностями.» Это помогает модели не скатиться в первый попавшийся шаблон. 2. Просите добавку вторым сообщением. Если пяти вариантов мало, не начинайте заново. Напишите в том же чате: «Сгенерируй ещё 5 вариантов с вероятностями, не повторяя предыдущие.» Модель продолжает с того же места и не сбрасывает контекст. 3. Управляйте «дикостью» через порог. - «вероятность ниже 0.5» — чуть необычнее обычного - «вероятность ниже 0.1» — заметно нестандартно - «вероятность ниже 0.01» — совсем на краю, максимум креатива Чем ниже порог, тем безумнее результат. Но и тем выше шанс, что модель уйдёт в странности. Начинайте с 0.1. Чего ожидать Качество отдельных ответов не падает. Модель не начинает писать хуже — она просто перестаёт писать одно и то же. Из пяти вариантов два-три будут отличными, один средним, один странным. Но вы хотя бы видите спектр, а не одну точку. Единственный минус: модель тратит чуть больше токенов на вывод вероятностей и рассуждений. В веб-интерфейсах с лимитом на длину ответа это иногда означает, что сам текст будет чуть короче. Если упрётесь в лимит — уменьшите число вариантов с 5 до 3. Оригинальная статья.

😨 Навык, который пару месяцев назад наделал шуму. Ниже цитата: 🧑‍💼 Коллега уволился, наставник выпустился, напарник перевёлся — и унёс с собой весь плейбук и контекст? 💞 Родные, старые друзья, партнёр отдаляются — а ты хочешь сохранить то самое ощущение от общения с ними? 🌟 Любимый автор, кумир, мыслитель, с которым ты никогда не встретишься — но хочется знать, что бы он сказал на твой вопрос? 🤨 Делов то... скормить навыку цифровые следы и он начнет думать и действовать как тот, кто ушел от вас. Страшновато...

☕️ За чашкой утреннего кофе и чтением новостей, пришел к мысли, что первое что мы потеряем из-за ИИ - интернет. Или станем там сильно вторичны. Это не наша среда, ИИ она нужнее. 🌟 Разбирал вчера закладки в следующих постах поделюсь парой находок - пусть и не совсем новых. 🖥 https://neuraldeep.ru/ очень полезный российский ресурс. Насколько понял, развивает его комьюнити. Стоит обратить внимание на маркеплейс скиллов для агентов. В том числе по работе с 1С и Битрикс. Есть API (будьте внимательны и осторожны), в том числе с бесплатными относительно не скромными лимитами (150 запросов / 3 часа · 600 / неделю, Search (deep-research) — 3 запроса / день).

🧙 Какая то магия... DeepSeek обновил модель deepseek-ai/DeepSeek-V4-Flash-0731 и теперь эта относительно небольшая модель (284B parameters /13B activated) по бенчмаркам подпирает легендарный Opus 4.8. Модель и до этого была хороша, я ее использовал для большинства простых задач. Но сейчас выглядит просто замечательно с учетом стоимости 0.14$/0.28$ за входящие и исходящие токены. 😭 Чтобы запустить локально нужно что то типа две RTX A6000 Pro или Mac Studio M3 Ultra 256GB - те инвестиции минимум 22К+$. Да и скорость на бюджетных решениях локально будет 14-20 токенов в секунду. Хотя, на Nvidia B100 (35K$) можно получить уже примерно 140 токенов в секунду. API пока однозначно выигрывает, если не касается чувствительной информации. 💰 Китайские модели путь не фронтир, но лучшие по цене качеству и уже отдали существенную долю глобального рынка. На картинке статистика с крупнейшего агрегатора Openrouter. deepseek-ai/DeepSeek-V4-Flash-0731 уже доступна в бесплатных лимитах opencode.

🤑 Так как не нашел данных в сети, решил проверить сам: какая подписка наиболее дотируемая и выгодная по токенам. Сегодня начал эксперимент. ⚡️ Оперативно собрал шлюз, на который завел подписки Opencode Go, Z.AI, Alibaba Token Plan, Kimi. Вынужденная мера, так как использую их с нескольких машин. Логирую все действия, потраченные, сгенерированные, кэш токены, достижение лимитов и тд 🤷‍♂️ Не претендую на рейтинг самой выгодной подписки, это зависит от большого количества факторов. А именно хочу понять уровень дотаций к розничной цене токенов. Оставайтесь на связи, буду информировать о результатах.

Продолжаю графоманство. Попробовал с ИИ вместе переосмыслить, как должна измениться роль ИТ руководителя и его подразделения. Получилось интересно. Хотя, явно ИТ изменяться будет не просто - сейчас, подразделения ИТ блокер. Такие времена, меняться придется всем. Готов подискутировать.

🔈 Модифицировал блокнот Colab с транскрибацией и диаризацией. Собрать все, чтобы работало с библиотеками - тот еще квест. Оптимизировано потребление памяти (не будет падать на больших файлах), появилась возможность подключать гугл диск, выше скорость. Ссылка на видео по работе с блокнотами Colab.

Позаимствую контент, мне показалось интересным, во что планирует инвестировать Y-combinator. Надеюсь, и вам тоже. Источник здесь.

🤗 Про найм, любопытно. Философия найма Мы нанимаем не «руки», а «мозги». В AI-native организации ценность человека определяется не способностью выполнять задачи, а способностью: - Формулировать проблемы (Problem Framing). - Проектировать системы (Systems Thinking). - Верифицировать результаты (Critical Evaluation). - Управлять исключениями (Exception Handling). - Принимать решения под ответственность (Accountability).

❄️ Готовлю корпоративный проект обучения для уже постоянного клиента. Кое какие результатами прямо хочется (и могу) поделиться. Ничего такого, просто мысли про трансформацию структур. Не истинна в последней инстанции, но повод задуматься и поспорить. 0. Манифест: во что мы верим Прежде чем рисовать оргсхему, фиксируем принципы, из которых вытекают все решения.   1. Код — не ограничение. Ограничение — способность правильно сформулировать задачу, спроектировать архитектуру и верифицировать результат. Инженер, который пишет код руками, — это инженер, который не умеет ставить задачи агентам.   2. Агент — не инструмент. Агент — коллега. У него есть идентичность, права, обязанности, метрики, жизненный цикл. Его онбордят, оценивают, переводят, увольняют. За его действия отвечает конкретный человек.   3. Платформа — продукт. Внутренние сервисы имеют product owner, roadmap, SLA, пользователей и NPS. Если платформа неудобна — её не используют, и вся модель рушится.   4. Человек нужен там, где нужна ответственность. Не для рутины. Не для контроля ради контроля. А для принятия решений, за которые кто-то должен ответить перед регулятором, клиентом, акционером.   5. Структура — не навсегда. Оргсхема пересматривается каждые 6 месяцев. Команды создаются и расформировываются. Роли появляются и исчезают. Единственное, что стабильно, — принципы.   6. Скорость без контроля — катастрофа. Контроль без скорости — смерть. Мы не выбираем между ними. Мы проектируем контроль внутрь скорости.

👀 Когда наступит то чудесное время и ИИ возьмет управление бизнесом? Насколько он к этому готов? Решил собрать (конечно с помощью ИИ Kimi) бенчмарки и эксперименты по этой теме. Получилось крайне увлекательное чтиво - не обрабатывал, выкладываю как есть. 😳 Первое впечатление - ага, облажался! Но смотреть стоит не на текущие результаты, а прогресс в этой области. А мы готовы отдать бизнес в управлении ИИ?

🇨🇳 Китайские товарищи пошли тяжелой артиллерией сдувать ИИ пузырь в США. Alibaba выпустила Qwen 3.8 Max Preview. Модель на 2.4 млрд параметров (!). Обещают выложить веса (хотя зачем они нам в таком размере?!). Сайт уже сложно открывается у них, Kimi вообще приостановила продажу подписок... Смотрю и на их подписку уже, пока не закрыли продажу.

🖥 Возникла гипотеза: ключевые противники ИИ в компании - ИТ директора. Не правильно обобщать, не для всех справедливо. Лично знаю иные примеры. Но чаще правда. Полез исследовать и подтверждать эту гипотезу. По итогу родились три заметки: рекомендации руководителю, ИТ директору и суперперсоне (новый вид сотрудников). 👑 Первая заметка для роли руководителя. Все таки тон задает именно он. Но все три заметки связаны, рекомендую к прочтению (скоро опубликую вторую и третью). Поддержите просмотрами и лайками на vc.ru И конечно, дискуссия открыта. ИТ директора, расскажите мне, что я не прав 😏

💻 По результатам нескольких встреч, сначала на меня напало исследовательское рвение, а потом желание оформить в документ (графоманство). Благо ИИ оформляет мысли в текст... В результате родилось пару заметок. Чтобы не выкладывать как гугл документ, опубликовал первую из них на vc.ru 🖥 Исследование начиналось с вопроса "Чем AI Native отличается от AI First", потом полез смотреть на альтернативные точки зрения. В итоге дискуссия с моделью и сбор информации по метрикам оценки отдачи от ИИ. Написана простым языком (даже коробит немного), здесь ориентировался на уровень тех, кто будет читать. Цикл из трех статей следует далее...

... К началу 2036 года будет насчитываться 200 миллионов ИИ, что эквивалентно рабочей силе **примерно в 100 миллиардов человек, и 2 миллиарда роботов**, сочетающих в себе человекоподобные и другие специализированные формы. ИИ мыслят быстрее людей, а роботы работают усерднее. Любая задача, ранее сдерживаемая когнитивным или физическим трудом, ускоряется до тех пор, пока не будет обнаружено новое узкое место. Многие ранее неразрешимые узкие места стали доступны армиям гениальных интеллектуалов, которые напряженно размышляют над их решением . 🎹 Это как мелодия и слова рандомной песни, которые крутятся в голове весь день... 📖 Публикую с задержкой, только дошли руки прочитать самому. И... я знаю какие мысли будут в голове все выходные. Авторы прогноза AI 2027 выпустили новый - AI 2040. Очень рекомендую. Общие впечатления о некоторой ангажированности отчета и поднятия градуса дискуссии с какой то целью... а может правда? Прогноз AI 2027 был хорош.

🔨 Желающим оценить работу LLM на локальных ноутбуках рекомендую вот этот ресурс. LLM будет запущена прямо в браузере и не требует от вас сложных настроек. Пролистните страницу ниже, будут настройки. Модель по умолчанию - не стоит внимания, а вот если открыть расширенные настройки, можно выбрать вполне приличный Qwen 3.5 4B. Также можно дать ссылки на репозитории на HF с gguf и загрузить свою модель. 🙈 Хотел добавить - наслаждайтесь. Но нет. Но попробовать стоит )

💰 Число подписок в активе растет и лимитов в них жестко не хватает. У меня сейчас три действующие. 1️⃣ Первая и классическая - Codex (Plus тариф - 20 долл/мес.). Использую для уточнения спецификаций и ревью по их итогу. И сложных задач. Экономлю ) 2️⃣ Z.ai (GLM Coding Pro - 302 долл/год) - сейчас купил годовую под хорошие скидки в связи с переходом и ужесточением лимитов. Высаживаю в ноль где- то к середине периода. Изначально, по ощущениям, были лимиты щедрее. Потом они кручу-верчу... но в целом годовая со скидкой терпимо. Иначе не очень оправдано. Использую с claude code. 🌷 Opencode.ai (тариф Go - 10 долл./мес) - говорят, что за это дают токенов на 60 долл. Может быть... к середине месяца как правило в ноль у меня лимиты. Дают доступ к опенсорс относительно недорогим моделям. Думал, может купить две таких на месяц? 4️⃣ Ну и еще по API беру, с оплатой за токены. Разные модели по мене необходимости... такая тоже бывает. 🔭 Смотрю на другие подписки... Например, вышла удачная модель Kimi K3 (по бенчам уступает только Fable и GPT-5.6). Пробовал... впечатления приятные. Приемлемый по ощущениям план Allegretto у них в подписке 39 долл/мес. Не дешево... лимиты четко не обозначены, не понятно что покупаешь. В Cursor после покупки их Илоном Маском удачный Grok и их собственная модель с неплохими лимитами. Смотрю модель Individual Pro Plus 48 долл/мес. Завтра пойду видно за покупками... А какие подписки используете вы? Делитесь опытом