Intelligent Systems Architecture

Почему падение генеративного ИИ во «впадину разочарования» переживается так тревожно? Ключевая ошибка экзальтированных инфлюенсеров: вместо эффективного сотрудника они продавали автономную организацию — утопию организации без людей. Отдельно — другая, более глубокая проблема. IT-рынок, залитый дешёвыми деньгами, вместо эффективности (это сложно) масштабировал некомпетентность (это не сложно). Для масштабирования некомпетентности ничего делать не нужно — она прекрасно масштабируется сама. Как следствие, сейчас вроде бы можно дать людям мощнейшие инструменты для повышения их эффективности, а почти некому. В итоге же выиграют те, кто научится строить эффективные коллективы из людей и агентов — в первую очередь диптехи, а также очень богатые организации, которые успеют залить проблемы деньгами. То есть на самом деле ничего не изменится, тревожность со временем пройдёт.

В коллективах агентов всё как у людей.

Вдогонку. От ИТ-специалистов потребуется более высокая квалификация и вовлечённость. И тут всё упрётся в образование и в HR, которым тоже придётся начинать как-то потихоньку во всё вникать. И вот тут настоящая драма. Лично я не верю, что в образовании начнут платить, а платить будет нужно, потому что квалифицированных людей должны учить не менее квалифицированные люди. Квалифицированные люди при капитализме требуют денег. А у нас в образовании и в социальной сфере (вообще) до сих пор почему-то социализм. Это, безусловно, прекрасно, но в таком виде, как легко можно заменить, не едет.

Вчера слушал на Business FM (на безрыбье и рак — рыба) высказывания руководителя одной уважаемой компании и другой, которая делает «Мегаплан», на тему ненужности ИТ-специалистов. Исполнители, когда готовили спикерам доклады, не указали следующие вещи: Операторы мультиагентных систем, те самые T-shape специалисты, которых так все хотят, — это опытные инженеры, часто архитекторы, с навыками бизнес- и системного анализа. Именно инженеры. Иначе дальше прототипов, которые завтра развалятся, эти системы ничего нового не произведут. И вот каждый такой T-shape будет стоить как целая команда. В найме ведь нужно как-то удерживать людей, которые могут всё сами. Не так ли? Если у кого-то не растёт бизнес, потому что экономика скукоживается (не в телевизоре, натурально), то, может быть, поэтому ИТ-специалисты не нужны? В моей логике, чтобы обогнать конкурентов, нужно делать больше и быстрее теми же ресурсами и даже нанимать. Больше и быстрее, потому что лидеры именно так и делают. И да, по ходу переучивать людей — тех, кто уже понял, что происходит. Пользовательский опыт радикально изменится. Нужно будет переписывать почти всё. И главное — наводить порядок в данных и в процессах. Без этого агенты не работают. Агенты плодят энтропию быстрее людей. Дисциплины нужно будет много больше. Кто это будет делать? Не нужны будут не ИТ-специалисты, а ИТ-неспециалисты, которых примерно 80% сейчас. Это согнутые под гнётом короны разработчики, которые не хотят вникать в бизнес. Это аналитики, которые не хотят вникать ни в бизнес, ни в разработку. Это менеджеры, которые не хотят вникать ни во что вообще. Это ручные тестировщики, которые хотят и дальше ехать на ручнике. Те, кто хочет или захочет вникать во всё, нужны будут очень. И сложность будет только расти.

А что если loops over graphs? А что если engineering as a whole? Какая-то у них тяга к инженерии — без инженерии.

Вдогонку: контекстный антиинжиниринг на маркдаунах уходит в прошлое. Магия упёрлась в потолок. И дальше, тут разочарую, будет сложнее. И, о нет, для результата придётся нанимать инженеров. Кто их успел сократить — с двойной премией к рынку.

Графовая память (особенно если она построена поверх онтологии) является ключевым элементом архитектур с замкнутыми нейросимволическими контурами.

В сухом остатке: при строгой дисциплине управления знаниями вместо Handoff нужен Kickoff

Handoff вреден. Текстовая сводка между сессиями — сжатие с потерями, которое выполняется в худший момент: контекст зашумлён, многие гипотезы и инсайты забыты или замылились. Хуже того, handoff часто уводит в сторону: новая сессия стартует со случайного промпта. Прогрев контекста съедает время и нервы. Вместо этого состояние нужно фиксировать непрерывными отсечками в Git: рабочий журнал, реестр извлечённых уроков, ADR (если сессия архитектурная), открытые вопросы, бэклог. И это почти бесплатно. Вход в новую сессию — короткий промпт, содержащий точку входа (какие артефакты исследовать при старте) и инструкцию описать понимание следующих задач. Всё остальное вычитывается напрямую из репозитория. Такой подход позволяет стартовать сессию в произвольной точке без потери информации.

Я редко говорю, что являюсь председателем государственной экзаменационной комиссии в Ярославском государственном техническом университете (ЯГТУ). Уже много лет я стараюсь принимать защиты дипломов и давать обратную связь коллегам из дружественного мне вуза. Поделюсь своими выводами по защитам: Сильные защиты становятся сильнее. Мой любимый формат защиты — проект как стартап. Уже не первый год вижу защиты в таком формате, но если раньше команды были кросс-функциональными исключительно «по-айтишному» (то есть состояли, например, из фронтендеров, бэкендеров, ML-инженеров, менеджеров и тестировщиков), то в этом году произошёл качественный сдвиг. Наконец-то в команде появился экономист, и, соответственно, честно разработанные бизнес- и финмодель. Кроме того, впервые увидел у ребят впечатляющий набор научных публикаций, включая К1. В следующем году надеюсь увидеть и SME (предметных экспертов) в составе команд. Пока они привлекаются только как консультанты. Порог входа в профессию кардинально вырос. Ребятам из «троечного» сегмента раньше можно было с чистой совестью ставить тройку, зная, что они тут же найдут работу (рынок разбирал всех). Сейчас так не работает. За год ситуация изменилась радикально, и откровенно слабые выпускники работу в ИТ больше не найдут. Высшее образование нужно срочно перестраивать. С нынешним темпом развития технологий и оснащения классические лекции «мелом на доске» выглядят безнадежно устаревшими. Больше того, персональные треки обучения нужно учиться собирать на ходу. Про повышение зарплат преподавателям и учёным я не говорю. Это проклятая тема. Я уже не верю, что уровень курьеров или грузчиков они когда-нибудь преодолеют. Это какой-то психологический барьер, что ли, для нашей системы.

В довершение серии постов. Графовая память (особенно если она построена поверх онтологии) является ключевым элементом архитектур с замкнутыми нейросимволическими контурами. Такие архитектуры позволяют автоматически отбраковывать результаты генерации, оставляя только формально корректные. Простыми словами: агенты с такой архитектурой никогда не предложат клиентам услуги, которых у вас нет, или параметры, которые не соответствуют услугам. Но сразу оговорюсь, у таких решений есть минус, из-за которого их пока "не покупают". Это та самая инженерия, которую нужно делать. А сейчас перекуплен «мэджик». При этом важно понимать, что графы — это лишь один из элементов памяти агентов. Они также должны иметь как минимум рабочую и эпизодическую память, потому что им нужно дискутировать и рефлексировать. Но это уже другой вопрос.

Приняли обе статьи. Provable — здесь ключ. Думаю, тренд уже на траст. Иначе отдача от вложений в LLM будет ниже ожиданий.

Для всех, кто интересуется распределёнными решениями, в особенности «потрохами» брокеров сообщений: хочу сказать, что в этой работе мы сделали HAZOP для брокера сообщений — не игрушечный. Насколько я знаю, до нас этого никто не делал. Представляете, в современных автомобилях есть брокеры сообщений.

Приняли обе статьи. Provable — здесь ключ. Думаю, тренд уже на траст. Иначе отдача от вложений в LLM будет ниже ожиданий.

Свидетельство того, что иногда договориться нельзя.

«Привет, а какую бы ты модель использовал для локального развёртывания, которая тулзы вызывает и хорошо понимает, что вызывать?» Короткий ответ: никакую. И вряд ли такие появятся. Обычно спрашивают про потолок локального железа — самое мощное, что можно развернуть на топовом десктопе: модели на 70–120B в квантовании. С инструментами они справляются нормально. Но вызывать инструменты и определять порядок их вызова, то есть работать автономно, — это разные вещи. Автономия начинается там, где надо удержать длинную цепочку рассуждений: разбить задачу, вести план на десятки шагов вперёд и переигрывать его, когда сам же ошибся несколько шагов назад. А упирается всё в генеративную гибкость — умение собрать план под задачу, которой не было в обучении, и нащупать обходной путь, когда инструмент вернул не то. Это та сторона моделей, которую принято называть эмерджентностью — ближайший родственник креативности. И растёт она вместе с масштабом обучения — плавно, но связь прямая. Вот здесь локальный потолок и уступает фронтиру (GPT, Claude, Gemini — сотни миллиардов, а то и триллионы параметров). Дело в том, что нужный масштаб в десктоп пока не уложить. На длинной дистанции это неизбежно проявляется как симптомы: контекст плывёт, ошибки наслаиваются одна на другую, и модель всё больше галлюцинирует. Поэтому мой подход к таким системам — гибридные архитектуры с контролем переходов состояний, о которых писал выше.

Говорит VC @ JPM в комментариях к посту Palantir