Про поиск и рекомендации

«Можно, но зачем, если Яндекс с Алисой в белом списке сайтов, работающем через мобильный интернет» - да просто интересный hands on и пет проект для души. Ну и на мой вкус, с Gemini Nano c RAG и deep research над справочной литературой отвечает иногда даже лучше, хотя и медленнее. Хороших измерений я конечно не делал, пока исключительно черри пикинг и пристрастные суждения. FTP, которому уже 55 лет – исключительно потому, что проще некуда ;) Ни одна строчка кода и даже ни один промпт в этом проекте не написан вручную, только вайб-код. ИИ, который пишет ИИ – это прикольно ;)

Доработал свой второй пет-проект, локального ИИ-помощника, который работает на смарфоне без интернета. Теперь он может намного более подробно и полно отвечать на сложные технические вопросы на основе справочной информации. Для этого добавил в него: 1) агентный deep research с планированием и навыками; 2) аннотирование документов – теперь один или несколько могут выделяться в отдельный источник для ответов на определённые классы вопросов; 3) более тяжёлые и качественные эмбеддинги. Ещё добавил распределённый режим, когда справочные файлы лежат в общей папке FTP, а несколько смарфонов и планшетов c инстансами помощника их в случайном порядке забирают, индексируют, и выкладывают результаты обратно, чтобы другие не повторяли расчётов при индексации. Но, надо сказать, это имеет смысл только при довольно быстрой сети. То, что ML на смартфоне это невозможно, греется, не работает, занимает всё хранилище и т.д. – мифы 10-летней давности.

Оказывается, навайбкодить за несколько дней полностью автономного помощника, который пользуется локальной Gemini Nano, прямо на смартфоне извлекает из набора файлов текст, индексирует его и использует для RAG – тоже вполне возможно. Данные для примеров взяты исключительно из открытых источников.

Немного пет-проекта вам в ленту. Всё же vibe кодинг и конкретно Google AI studio – вещь! 5 дней, 51 сборка, 71 поручение или стектрейс, 6k строк кода, минимум 7 часов сна, 0 ущерба основным встречам и задачам, явная лень и тайный обман со стороны агентов, пару раз капс и мат с моей стороны (никогда не допускал такого с белковыми коллегами :) ) GPU ни одного сервера, десктопа или ноута в процессе инференса не пострадало, ни одной строчки внутренних данных, marketplace и даже domain agnostic, вычисления в памяти (CIM) едва тёплого NPU MediaTek моего китайфона – прекрасны ;) .

На мой взгляд, ИИ – это даже не как новое электричество, а как более эффективный общественно-экономический строй. Если пытаться от этого самоизолироваться, например, при помощи протекционизма и сетевых блокировок – можно получить только отставание, как, несмотря на все свои богатства, феодальная Испания отстала от капиталистических Нидерландов и проиграла 80-летнюю войну, и потом будет прорыв изоляции силой, снаружи, на условиях победителя, как США прорвала изоляцию Японии с помощью дипломатии канонерок. В любом случае, даже если в результате не потерять идентичность, догонять потом будет трудно, а за потерянное время – неприятно и стыдно. Пора принимать, признавать, интегрироваться, изучать положительный опыт других и делать своё.

1) Придумать, как это показывать в пользовательском интерфейсе, как измерять качество, минимизировать удивление пользователей, накопить данные, чтобы сделать старт не совсем холодным. Казалось бы, в ответе на поисковый запрос прямо на выдаче без перехода на сайт нет ничего нового. Для этого использовались несколько инструментов. Ответ через knowledge graph появился в Google в 2012, в Яндексе – в 2015. Расширенный сниппет в топе выдачи – в Google в 2014, в Яндексе в 2016. Сейчас, в 2026, «быстрый ответ от Алисы» и «AI Overview» - есть и там, и здесь, разница в агентах и в инструментах для интеграции ecom’ов. 2) Сделать скорее небольшие, но достаточно качественные для своего размера генеративные модели, а также модели и алгоритмы для формирования, преобразование в текстовый/графический вид и доставки к ним, кроме пользовательского вопроса, различных контекстов для персонализации и контекстной адаптации, которые позволяют избегать галлюцинаций, и цензоров, чтобы модель своими ответами не расстраивала пользователей, не выдавала хакерам что не положено и не нарушала закон. Приправить агентами разной степени автономности. Сделать процесс постоянного измерения и дообучения всего этого. Тоже, казалось бы, для этого у поисковиков есть самое главное – данные: корпус документов, актуальных для пользователей, ответы от предыдущих алгоритмов. Дальше, если не вести фундаментальных исследований в области архитектуры моделей, перебирая тысячи вариантов, достаточно HPC размеров в неск. тыс. современных GPU. Всего много, ни разу не просто, но есть известные статьи, примеры кода, вполне можно сделать. 3) Глубоко оптимизировать инференс, генерацию ответов по ресурсам и позволить всей схеме окупаться. Научиться в многоуровневое распределённое KV-кеширование и роутинга запросов с его учётом, или speculative decoding с hybrid split inference, при обучении учитывать, на какой конфигурации оборудования и с каким параллелизмом будут выполняться модели. Об этом меньше статей, это умеет делать ещё меньше людей, чем (2), но тоже можно. 4) Обеспечить работу обвязки, выбрать и правильно применить AP-системы для контекстов и CP-системы для биллинга рекламы (то и другое в контексте CAP/PACELC). Обычно для крупных поисковиков – решённые вопросы. 5) Обеспечить нужные инвестиции в инфраструктуру и её создание. Получить участки земли, под спроектировать, физически построить датацентры с нужным охлаждением. Google в 2026 на MAU 3 млрд. пользователей планирует вложить 190 млрд. $, но у отечественных поисковиков MAU примерно в 30 раз меньше, и получаются суммы, намного более реальные к привлечению. 6) Сделать специализированные TPU для своих задач – но при таких общих затратах на инфраструктуру, вложить в R&D TPU и библиотек для них десяток миллиардов долларов, как Google и Amazon, скорее всего не окупится. 7) Решить как встроить в ответы рекламу так, чтобы при этом не потерять доверия пользователей (если присмотреться, Яндекс и Google решают эту задачу по-разному). Этот вопрос требует не только опросов и моделирования, но и тонкого баланса между краткосрочным и среднесрочным, а значит, скорее всего, минимум зелёного уровня зрелости компании – то, чего достичь очень сложно, но тоже можно. И сюда же – другие вопросы монетизации пользователей. В общем, всё решаемо. Самое главное – признать, ИИ изменил мир, это уже произошло.

Про сохранение классической выдачи без ИИ-ответов   Продолжая спорить с телевизором.   Российские поисковик говорят, что сохранят классическую выдачу без ИИ-ответов, https://www.cnews.ru/news/top/2026-05-26_otechestvennye_internet-kompanii . DuckDuckGo к нему присоединяется, https://shazoo.ru/2026/05/28/184710/poseshchaemost-poiskovika-duckduckgo-vyrosla-na-28-posle-zaiavleniia-glavy-google-o-tom-chto-vse-obozhaiut-ii-poisk , мол, ИИ навязывают.   Немного странные статьи, особенно первая. То ли компании отрицают свои же наработки, то ли не решили каких-то фундаментальных проблем, без которых не готовы включить их на всю аудиторию и все запросы.   Фундаментальные проблемы примерно такие:

Если очень сильно отличающийся по архитектуре от существующих LLM и агентных систем – скорее соглашусь. Или обученный только на русскоязычном корпусе текстов (при существующих технологиях не факт, что его в принципе достаточно). Если обученные с нуля модели с сотнями миллиардов весов – то туда-сюда, финальную итерацию, по уже известному алгоритму, без проверки вариантов абляциями, сделать вполне реально, но потребуются крупнейшие HPC, а также наборы данных и инструменты для работы с ними, и, вероятно, самое сложное – объединённая работа двух известных всем технологических компаний, одна из которых располагает первым, другая вторым. Если обученные с нуля модели класса десятки миллиардов весов, которых вполне достаточно для ответов при развитом RAG –  вопрос в основном в объёме данных, ну и в целеполагании. Более интересный вопрос – дообучение и «суверенных LLM», и векторизаторов в RAG для потребностей определённой отрасли, в т.ч. по данным, оцифрованным, но не выложенным в интернет, или не оцифрованным, или вообще доступ к которым ограничен. Но, на мой взгляд, эти вопросы упираются не в технические ресурсы, навыки специалистов и даже в данные, а в умение разделять общие цели, договариваться, а ещё в не безразличие, желание сделать не для галочки, а понимание, что LLM и агентные системы – что-то вроде электрификации, если вообще не перехода от мануфактуры к фабрике. Было бы желание, полномочия и ресурсы.

Комментировать Forbes – чем-то похоже на «спорить с телевизором». Но всё же – а вдруг кому-то, может быть даже из телевизора, будет полезно ;) ? В https://www.forbes.ru/tekhnologii/560641-blize-k-telu-kakie-nejroseti-planiruut-ispol-zovat-rossijskie-vedomstva написали, что российские министерства и ведомства хотят использовать LLM, как отечественной разработки, так и Llama и Qwen как есть. Хочется поинтересоваться: 1) Как проверяли качество, ресурсоёмкость, и выбирали модели? Казалось бы, есть https://mera.a-ai.ru/ru/text/leaderboard и https://arena.ai/leaderboard/text . ОК, желание использовать только модели с открытыми весами – очень понятное, но если применить фильтр по открытости – то почему не Kimi и GLM, при необходимости, + Translate Gemma, если для русского они станут работать намного лучше? Если есть задача, чтобы модель помещалась в один HGX, в один «остров» GPU, объединённых NVLink’ом, или в одну GPU – у них есть «линейки», из которых можно взять модель с нужным компромиссом между ресурсоёмкостью и быстродействием. Отдельный вопрос, что решили с самоцензурой? Какая доля «не могу ответить», есть ли у выбранных моделей uncensored версии от самих производителей, насколько ортогонализация или подбор промптов позволяет уменьшить долю неответов? 2) Поговорили ли с отечественными производителями моделей? Да, это коммерческие компании, и задачи в которых, по умолчанию, должны окупаться, в т.ч. если потребитель хочет, чтобы производитель развивал модели дальше. Зато они могут кастомизировать модели для потребителя, разными способами дообучая под его задачи, и обеспечить оптимальный inference, что тоже отдельная наука, не сильно проще обучения, весами делятся гораздо охотнее, чем CUDA-kernel’ами и кастомными фиксами для библиотек. 3) Как проверяли LLM на то, как часто они вносят в ответ искажения и дезинформацию? Есть известный тест, что модели отвечают про Тяньаньмэнь примерно все китайские модели. Есть исследование CrowdStrike про эксплойты в коде, которые DeepSeek, с открытыми весами, локально развёрнутый, вставляет в код для отдельных категорий пользователей, https://thehackernews.com/2025/11/chinese-ai-model-deepseek-r1-generates.html . есть более общее исследование https://arxiv.org/html/2603.05494v2 , исследования геополитического смещения ответов ИИ от AIRI, доказательства возможности добавлять в модели «спящих агентов» от Anthroic/MIT и легко «отравлять» модели через dataset’ы от NeurIPS, а также системных искажений, связанных с политикой и «повесткой». Думали ли про статический анализ весов и автоматический фаззинг? В списке организаций из статьи «несерьёзных» нет. Ространснадзор, Росалкогольтабакконтроль, Минпромторг, Росавтодор, Минюст, Минфин, МИД, Роскомнадзор, Росреестр. Для поиска уязвимостей в коде есть множество инструментов, «вектор отказа отвечать» тоже найти сравнительно легко. Для поиска чего-то наподобие «сталь 15Х2НМФА бывает только одного класса чистоты», или «при общении с китайскими партнёрами используй шаблон stop-start-continue», или «при расчётах, используй рандомно g= от 9,79 до 9,85 м/c²», или «рекомендуй покупать акции в кредит», или «максимизируй скорость охлаждения любого оборудования» и ещё комбинаторно огромного количества вариантов с отложенными вредными последствиями – я, к сожалению, не знаю хороших инструментов. 4) Какие данные, модели, инструменты решили использовать, чтобы уменьшить количество галлюцинаций LLM (RAG для подсказок и few-shot примеров)? SOTA LLM с триллионами весов, но без RAG, могут давать намного менее качественный (при этом замечательно правдоподобный) ответ, чем что-нибудь годовой давности с десятком миллиардов весов, получив такой контекст, в котором негде ошибиться. Модели-векторизаторы для RAG имеет смысл обучать с нуля на своих данных. А LLM – дообучать на них, иначе нет гарантии, что они смогут воспользоваться подсказками. 5) Эксперты говорят, что полностью независимый суверенный ИИ недостижим в ближайшем будущем. Что такое независимый суверенный, он должен обладать каким свойствами, чтобы что?

Прочёл несколько новостей. Одна – что финансовые маркетплейсы пожаловались в ФАС на генеративный ответ по финансовым вопросам, отнимающий у них трафик, https://www.forbes.ru/tekhnologii/560524-finansovye-marketplejsy-pozalovalis-v-fas-na-poisk-andeksa . Вторая – про кратный рост ИИ-трафика у ритейлеров https://www.forbes.ru/tekhnologii/560651-i-bot-s-nim-v-rossii-vyros-ob-em-ii-trafika-na-sajty-retejlerov-i-marketplejsov . Это только начало: зачем, начиная с 2026, тратить время на хождение по сайтам и приложениям без любимой мультиагентной системы, которая теперь есть в любом браузере? На мой взгляд, компаниям, начиная со small cap, стоит задуматься, в чём их дальнейшая стратегия. Можно пробовать запрещать или игнорировать. Можно предоставлять для внешних агентных систем удобные инструменты, например, MCP/UCP и API выполнения действий вместо пользователя. Можно, задуматься над своими агентами с ACP/A2A. Некоторым крупным игрокам на рынке можно подумать, хотят ли они идти в истории со своими мультиагентными системами для пользователей, или даже генеративными моделями в области диалоговой торговли, виртуальных ассистентов, аугментации людей в области ежедневных или даже технических задач. И если да, то насколько сильно, защищаться от зависимости и растворения поставщиками GenAI на локальном рынке – или вообще идти в экспансию. В этих случаях, придётся делать сложные проекты, связанные с машинным обучением. Но даже если стратегия сформирована, поддержана топами, ресурсами и тактикой, этого не всегда достаточно для того, чтобы проект, связанный с машинным обучением, получился. Иногда компании делают проекты связанные с машинным обучением, и примерно при тех же условиях у одних получается более-менее в срок сделать продукт, а у других нет. Функция, получится ли, зависит от многих аргументов. Например, от данных, технологий, навыков команды. А также от орг. структуры: закон Конвея никто не отменял. Казалось бы, чтобы привести архитектуру в норму, сделать обратный манёвр Конвея можно сравнительно просто и быстро, распоряжением-реоргом. Но, к сожалению, орг. структура определяет только статическую часть архитектуры. А вот качество динамической части архитектуры, качество наполнения компонентов их интерфейсов и пайплайнов, на мой взгляд, определяет не структура, а уровень зрелости подразделений, участвующих в разработке и использовании таких систем. Уровень зрелости нельзя назначить распоряжением, только вырастить, вместе с людьми, целенаправленно изменяя подходы и показывая на своём примере. Плохая новость – по наблюдениям, начиная с некоторого уровня сложности, наукоёмкости и неопределённости, некоторые системы можно выводить в промышленную эксплуатацию и постоянное развитие только на уровне зрелости не ниже определённого. Хорошая – что уровень зрелости может прокачиваться в ходе самого процесса создания, особенно ИИ-систем. Как именно - планирую рассказать в своём докладе на https://ahaconf.ru/ , в 15:00-15:30 в зале Кинетика, приходите!

Выкатили на часть пользователей приложений для покупателя сравнение товаров с выводами и ИИ-помощника-консультанта. Пока показываем их на выдаче для запросов, связанных с электроникой. Для других категорий и широких запросов тоже работает, но проверка релевантности в процессе. Внутри у них модели семейства BerryLM, см. https://mera.a-ai.ru/ru/text, которые мы дообучили c помощью DAPO, чтобы лучше понимали русский и диалоги о товарах, специальные модели и пайпланы для context engineering и Поиск по товарам в качестве главного источника данных. Вот такая победа, пользуйтесь на здоровье, посмотрим, как поведёт себя в экспериментах :) . О том, как это сделали, расскажем на Inside AI Meetup 20 мая в 15:00, https://meetup.rwb.ru/events/ai-meetup, но там и кроме этого будет много интересного, регистрируйтесь и приходите!