Цифровой геноцид

Поскольку искусственный интеллект и автоматизация берут на себя все более сложные функции принятия решений, сохранение устойчивости-резилентности, которую люди привносят в рабочие системы, становится важнее, чем когда-либо. В статье, недавно опубликованной в журнале Journal of Cognitive Engineering and Decision Making, представлена ​​концепция TRUSTS (Transform with Resilience during Upgrades to Socio-Technical Systems) — структура, которая переводит принципы устойчивости в практические требования к разработке технологий. https://journals.sagepub.com/doi/10.1177/15553434261470484 Люди часто являются основным источником резилентности рабочих систем, реагируя на неожиданные события и разнообразие требований с изобретательностью, инициативой и гибкостью, которых обычно не хватает технологиям. Между тем, технологии искусственного интеллекта и автоматизации все чаще разрабатываются для выполнения макрокогнитивной работы, такой как планирование и принятие решений в здравоохранении, транспорте, национальной безопасности и других областях, имеющих серьезные последствия. При разработке без учета способов выполнения этой работы для обеспечения устойчивости рабочей системы новая технология рискует поставить под угрозу эту устойчивость На картинке - набросок как разрабатывали фреймворк и адаптировали Основная идея в том, чтобы добится Shared Demand and Deviation Awareness — все участники системы (люди и ПО) распознают и делятся информацией о новых угрозах и отклонениях от «обычного режима»;

Дональд Норман "Знания важны: навыки необходимы" Норман написал очередную статью о проблемах ЛЛМ и взаимодействиях ЛЛМ с пользователем, приведу основное, на мой взгляд, полное эссе доступно по ссылке https://donnorman1.substack.com/p/knowledge-is-important-skills-are?r=8ey10&utm_campaign=post-expanded-share&utm_medium=web&triedRedirect=true Люди — универсалы животного мира, физически уступающие животным, но обладающие уникальной способностью изобретать миллионы специализированных физических и когнитивных инструментов, расширяющих их возможности. Инструменты специализированы, и большинство из них требуют значительного опыта, обучения и практики для эффективного использования. Иными словами, овладение многими из этих инструментов требует специализации. В искусственном мире зафиксированного знания, которое усваивают наши современные ИИ, компьютеры превосходят любого человека. В реальном, физическом мире картина меняется. Навыки — это особый вид знания, который нельзя усвоить через чтение, слушание или наблюдение. Даже через инструктаж. Их можно освоить только через опыт, методом проб и ошибок, через практику. Значительная их часть невыразима словами, неописуема, но осваивается через опыт и практику. Обладание экспертными навыками означает быть специалистом. Что важнее: универсалы или специалисты? Ни то, ни другое. И глубокие узкие специалисты, и широкопрофильные универсалы одинаково необходимы для выживания в реальном, физическом мире. Сегодня в мире искусственного интеллекта мы входим в физический мир через агентов и роботов, требующих специалистов. Знание не зависит от формы. Действие сильно зависит от формы. Законы физики ограничивают действие. Посмотрите на ИИ-агентов: каждый из них специализирован под конкретную задачу и часто требует специализированных инструментов. Некоторые люди используют свои LLM, чтобы задействовать целые отряды специализированных агентов, каждый из которых способен на специализированные действия, а их совокупность даёт нужный результат. Заключение И специалисты, и универсалы одинаково необходимы. В сфере знаний немногие являются широкопрофильными универсалами; немногие — по-настоящему глубокими и узкими специалистами. Но ещё меньше тех, кто является одновременно и универсалом, и специалистом. Среди физических и когнитивных артефактов большинство специализированы под узкий круг навыков. В физическом мире знание бесполезно, если оно не применяется. А применение лучше всего оставить специалистам, даже если сами артефакты разрабатывают, а затем управляют ими универсалы. ———— Похоже, мы возвращаемся к Расмуссену и его модели «Навыки, Правила, Знания»... но теперь у нас есть ИИ, создающий впечатление, что он способен охватить все три уровня что, однако, не дает преодолеть колоссальный эволюционный разрыв, также известный как рамки физического мира.

https://designintech.report/ и разные пути отображения ИИ и UX в профессии дизайнера - не очень мне понятно, но очень интересно Джон Маэда — американский дизайнер японского происхождения, специалист в области компьютерных технологий, писатель. Профессор дизайна Массачусетского технологического института youtube.com/watch?v=dry_rIRsDl8&vl=ru

Use-Related Risk Analysis Анализ рисков, связанных с применением (Use-Related Risk Analysis, URRA), — это критически важный, но часто неправильно понимаемый компонент программ валидации человеческого фактора (HF) для комбинированных лекарственных препаратов и медицинских изделий. Хотя URRA нередко воспринимается лишь как формальное требование регулятора, на деле он играет гораздо более значимую роль: помогает выявлять риски, связанные с применением продукта, формирует стратегию валидации и служит для FDA доказательством того, что эти риски были эффективно устранены. Примерная схема, которая реализуется на уровне табличек у хуман факторс-специалистов Определить предполагаемых пользователей, среду использования и пользовательский интерфейс Выявить опасности, связанные с использованием Идентифицировать и категоризировать критические задачи — то есть задачи, ошибка в которых может причинить вред пациенту Разработать и внедрить меры по снижению/контролю риска Подтвердить (валидировать) безопасность и эффективность для пользователя Затем сделать формативное тестирование - оценки удобства использования на всем этапе исследования, - и затем суммативные типы исследования - которые ориентируются на шаги с высоким/неприемлимым риском https://interfaceanalysis.com/insights/demystifying-the-use-related-risk-analysis/ Методичка Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США https://www.fda.gov/media/170948/download Более детальное описание метода с табличками и видами - периодически меняется https://array.aami.org/doi/full/10.2345/0899-8205-44.s1.40

Ладно, на самом деле вот он для открытого доступа - "сад блога ЦГ" 499 концептов — от HCI и скевоморфизма до советской «Технической эстетики» и ВНИИТЭ.  198 персон исследователей и проектировщиков - тех, кто это придумал, спроектировал, сломал или предсказал. 2412 постов - от первых курсоров до нейросетевых интерфейсов. 23 763 связи между всем этим https://lilalogos.github.io/garden1/

Мы выпускаем образовательный ресурс open-xai. Привет, друзья! Я шла к этому очень долго и наконец-то готова выпустить образовательный ресурс open-xai! Ресурс построен как точка, где можно учиться просто всему, что есть в интерпретируемости. От классических методов, до геометрии и математики в моделях. Сейчас в нем: ⁃ 2 трека. XAI Practitioner — объяснять поведение моделей руками, от классики до LLM. Math of LLMs — математика и mechanistic interpretability изнутри модели, на уровне весов и схем. ⁃ 17 тематических блоков — сквозняком от линейной регрессии до Sparse Autoencoders. ⁃ 50+ методов интерпретируемости. Мы открываем ресурс и открываем первые два модуля (часть ресурса будет бесплатной и такие блоки будут открываться первыми сейчас). Открытые с сегодня блоки погружают в термины и мир интерпретируемых моделей. После модулей вы никогда больше не сможете смотреть на них прежними глазами) Это только начало галактики — и новые модули будем докатывать. Для понимания апдейтов можно завести аккаунт: https://open-xai-platform.web.app/register (письмо-подтверждение может упасть в спам — гляньте туда, если не пришло). Тыкать, пробовать и делать баг-репорты (мы надеемся, что последнего будет мало) сюда: https://open-xai-platform.web.app

Как раз на днях писал про explainable llm как будущее и вот!

Простите, конечно, вечер становится томным В центре,как я понял, лежит христианский догмат о Воплощении: бесконечный Бог становится конечным, уязвимым, телесным. Авторы противопоставляют это цифровой культуре, которая тяготеет к абстракции - аватарам, «цифровым двойникам», алгоритмам. Тертуллиан и святоотеческая традиция подчеркивают важность телесности - и с этим у ЛЛМ проблемки богословского характера Отдельный большой блок — «воплощённая мудрость» разных традиций: Августин, Макрина Младшая, Перпетуя, стоик Мусоний Руф, суфийская мистика. В общем, идея воплощенного познания в христианстве еще поборется с ИИ Раздел о «лжепророчестве ИИ» противопоставляет библейских пророков (призывающих к покаянию) предиктивным алгоритмам, которые выводы для пользователя редко когда делают - мол, покайся и не покупай на вайлдберрис колбасу В комментариях к посту нетленка Написано примерно так: TOWARD A THEOLOGY OF ITERATION To remix theology is to believe in iteration. Creation was not a one- time act but an ongoing loop. The Gospel is not a closed text, but a live mix. Revelation is not sealed but streaming. The theologian becomes a DJ: sampling Scripture, scratching doctrines, looping tradition until the Spirit speaks in new keys. inaugurates a theology of the remix—a theology that dares to believe that the Word still becomes flesh, even now. That even in error, the Spirit edits. That grace is God’s refusal to give up on the mix. Let the remix begin.

Туман войны (нем. Nebel des Krieges) или Туман неизвестности — термин, введённый в трактате «О войне» Карлом фон Клаузевицем для обозначения недостоверности данных о положении театра военных действий. Клаузевиц был современником Гегеля (оба даже умели от одной эпидемии холеры), но случайная его идея изменила весь мир компьютерных игр. Впервые возникнув в странных играх конца 70-ых, идея тумана войны стала визитной карточкой стратегий компании Близард: Warcraft и StarCraft, а оттуда перекочевав во все остальные, став каноном и штампом.

Уже почти год сражаюсь с рецензентами Communications of the ACM и уверен, что лучше этой версии не напишу. Пока рецензенты докапываются до формы, суть статьи рискует растерять новизну. Поэтому даже если им опять что-то не понравится, переделывать ничего не хочу — решил опубликовать препринт. Подтолкнул меня к этому сегодняшний разбор свежего отчёта DX Q2 2026. Судя по цифрам, объём AI-сгенерированного кода превысил 50%, медианный размер PR вырос на 64%, а расходы на ИИ скакнули с $1.5 тыс. до $44 тыс. за год. При этом доверие к изменениям упало, доля инноваций не выросла, а сэкономленное время поглотили ревью и CI/CD. Индустрия производит всё больше кода, но доверия к нему становится только меньше. В посте отлично разобрана диагностика проблемы, однако индустриальных протоколов её решения всё ещё нет. Во всяком случае в публичном поле. А это именно то, о чем моя статья. Когда ИИ генерирует патч, тесты, документацию и ревью-комментарии на основе пересекающейся информации, зелёные тесты и выросший coverage ничего не доказывают. Они лишь подтверждают соответствие собственным, возможно ошибочным, предположениям модели. Возникает artifact inflation. Количество объектов в Pull Request растет, остаточный риск не снижается. При этом нагрузка на команду остаётся прежней. В статье я предлагаю правило допуска для рискованных изменений. Оценка должна вестись не по количеству сгенерированных строк, а через assurance density. Этот показатель должен отражать, насколько пакет изменений действительно покрывает заявленные риски и снижает неопределенность, не раздувая при этом ресурсы на ревью и поддержку. Сразу оговорюсь, что это opinion-статья. В ней нет эмпирической валидации или метрик с продакшена. Но это и не голословная демагогия — концепция опирается на строгий формальный аппарат assurance cases, чтобы дать индустрии рабочий язык и конкретные правила до того, как проблема окончательно выйдет из-под контроля. Собственно, препринт.

Вот и Анатолий вторит с публикациями в ведущие журналы

Онтологии, ИИ и знаниевые графы https://www.youtube.com/watch?v=Sir59K8ZDPU Хорошая лекция о том, как могут быть использованы онтологии для работы с агентами - и как это может функционировать. Нечто подобное делал для некоторых коммерческих проектов, хотя там причины были тривиальны Фрэнк Койл (Frank Coyle) описывает два метода создания онтологий, то, что 15 лет назад еще можно было называть инженерией знаний: "подход сверху вниз — собираешь экспертов, и они садятся и анализируют предметную область, придумывают сущности. Что у нас есть? У нас есть заказы на покупку, у нас есть клиенты, у нас есть представители клиентов, и мы их структурируем. Формируются связи и свойства" и есть второй подход снизу вверх, когда уже реакции клиентов, пользователей и новые сущности наносятся на сложившийся граф в онтологии базы знаний. https://schema.org/ до сих пор хранит таксономии для всего на свете - я так понимаю, что это язык XML о котором подзабыли OWL - Web Ontology Language для описания онтологий обладал уже необходимыми свойствами транзитивности и поддерживался веб консорциумом. Современные агенты-ЛЛМ, которые работают в циклах, могут быть существенно улучшены и избавлены от родовых травм и ошибок - если в момент детекции проблем будут получать обращение к формальной онтологии. Так как агенты являются чисто стохастическими языковыми моделями, то обращение к формальной схеме для проверки может качественно улучшить качество ответа. Френк приводит пример, что повторный возврат средств по одному и тому же заказу — это проблема, которая может возникнуть у языковой модели. Но онтологии могут это отловить, тогда как в обычном тексте это отследить очень сложно. Выплата, отправленная в службу поддержки вместо покупателя — это тоже можно отловить с помощью OWL disjoint property, когда «клиент» и «представитель поддержки» — это две отдельные сущности. "На самом деле мысль, которую я хочу донести, такая: используйте reasoner (машину логического вывода), построенный на онтологии, чтобы отслеживать LLM, иметь ограждения (guardrails), которые держат её честной. Под этими ограждениями я имею в виду вот эти вспомогательные технологии — RDFS и OWL"

UX и AI - концепция Explainable AI. Статья Explainable AI: roles and stakeholders, desirements and challenges Хоффман для меня важный автор - он один из пионеров разных подходов когнитивных интервью и анализа когнитивных задач, автор многочисленных книг по природе экспертизы и экспертного знания при взаимодействии с интерфейсами и продуктами https://www.ihmc.us/groups/rhoffman/ Его статья с соавторами посвящена проблеме и аспекту объяснимости ИИ и выводов языковых моделей, пресловутый ExAI, кажется, наиболее крутая тема с точки зрения дизайна и человекоориентированного восприятия. Идея систем ИИ, которые могли бы объяснять себя конечным пользователям, была отчасти стимулирована Докладом Европейского союза о праве на объяснение решения, принимаемого системой ИИ Существуют успешные демонстрации того, что машинно-генерируемые объяснения могут положительно влиять на производительность. Пользователи иногда хотят объяснений, но объяснения особенно полезны, когда ИИ ошибается. Объяснения могут влиять на доверие пользователя к ИИ и помогать пользователям формировать более богатые ментальные модели того, как работает ИИ Объяснения помогали людям проверять рекомендацию ИИ и решать, приведёт ли изменение входных данных к изменению рекомендации ИИ. Объяснительный человеко-машинный диалог может улучшать процесс приобретения знаний для экспертных систем продемонстрировали, что «рационалы» человека (аннотации) текстового материала, которые система машинного обучения представляет в качестве объяснений своих классификаций, приводят к суждениям о том, что объяснения улучшились. Обратный результат состоит в том, что объяснения не всегда помогают. Они могут негативно влиять на уверенность пользователя в конечном решении Проблема в том, а что такое объяснимость? Объяснение систем ИИ пользователям, заинтересованным сторонам или другим бенефициарам систем ИИ почти неизбежно будет отличаться от объяснений, которые удовлетворяют формалистскому пониманию объяснимости, интерпретируемости или прозрачности — таких как деревья решений и логические программы. Разработчикам нужны «научные» объяснения, тогда как конечным пользователям или неспециалистам — «повседневные» объяснения. Некоторые авторы предложили спекулятивное сопоставление групп заинтересованных сторон с различными требованиями к объяснениям: конечным пользователям (лицам, принимающим решения) нужны объяснения, которые позволяют им формировать доверие и «возможно, предоставляют им дополнительное понимание для улучшения их будущих решений и понимания явления». Затронутым сторонам нужны объяснения, которые позволяют им определить, справедливо ли с ними обошлись. Регуляторам необходимо знать, что решения являются справедливыми и безопасными. Разработчикам систем необходимо знать, работает ли ИИ как ожидается, как диагностировать и улучшать ИИ, а также, возможно, получать понимание из его решений. Хотя большая часть работы в этой области сосредоточена на таксономиях, эти представления начали проникать в продукты. Например, демонстрация IBM AI Explainability 360 (IBM, 2021) имеет отдельные интерфейсы для трёх различных типов «потребителей» (клиент банка, кредитный специалист и специалист по данным), которые предлагают всё более сложные перспективы правил принятия решений, а также переход от примеров, основанных на случаях, в качестве объяснений к крупномасштабным представлениям базовых данных в сценарии заявки на кредит Авторы провели некоторое число интервью, результатом которых стал “Справочник по объяснимости ИИ” (PLAYBOOK, прости Господи), который сам по себе позволял соотнести роль и возможное необходимое объяснение - но не обошлось без сюрпризов, потому что в конечном итоге самообъяснимость имеет дополнительные значения для пользователей: дать обучающемуся возможность развить более богатую ментальную модель работы ИИ, но также удовлетворить любопытство, делать более точные прогнозы поведения ИИ, достичь соответствующего доверия к ИИ-модели, объяснить кому-то другому логику выбора. При этом есть устойчивый класс пользователей, которым не интересен и не нужен объяснение как получен вывод, ну это тоже логично, сценарий поисковика Наиболее интересное замечание, мне кажется, следующее. Инструкторы и тренеры должны иметь возможность обучать конечных пользователей тому, «как оно отказывает» и «как оно вводит в заблуждение» (ограничения и слабые стороны) Инструкторы — и люди в других ролях заинтересованных сторон — должны иметь понимание, достаточное для того, чтобы объяснять систему ИИ не себе, а другим людям. Инструкторам, конечно, нужен доступ к богатому корпусу случаев, которые являются репрезентативными для контекстов внедрения. Но они также должны иметь возможность обучать конечных пользователей заниматься деятельностью по обслуживанию и устранению неполадок. Инструкторы должны иметь возможность обучать конечных пользователей чувствовать, насколько быстро они войдут в серую зону в различных сценариях. ИИ нужно делать больше, чем объяснять «почему» конкретных решений: оно должно иметь возможность давать пользователю заблаговременное знание о том, когда рабочая система приближается к граничному случаю. Обучение на граничных случаях имеет решающее значение для установления доверия к ИИ Сама статья: https://www.frontiersin.org/journals/computer-science/articles/10.3389/fcomp.2023.1117848/full

Добил интерактивную статью о визуализации, которую обещал себе написать последние годы и на которую потратил выходные последних месяцев. Статья: https://tbrizitsky.github.io/Sunburst-article/ Исходники: https://github.com/tbrizitsky/Sunburst-article Наверняка еще остались баги, но я доволен.

Тарас написал отличную статью, которая отражает вообще общий тренд на создание интерактивных и вычислительных статей computational article - их можно отдельно посмотреть на условном Nature. Наиболее похоже на блокноты-ноутбуки у дата-сцайнтистов в которых можно хранить любые типы данных. https://proceedings.scipy.org/articles/NKVC9349 Тут можно вспомнить подборку https://distill.pub/ и манифест автора направления https://en.wikipedia.org/wiki/Explorable_explanation, который породил направление Удешевление фронт-разработки делает возможным еще и большее число интерактивных визуализаций и веб-экспериментов в представлении теорий и знаний

Возьмём задачу деформирующего (камуфляжного) окрашивания, например, в том виде, как она изложена в нашем наставлении. Разбиение контура предмета осуществляется здесь путём нанесения на предмет пятен по крайней мере двух цветов, которые должны возможно более отличаться друг от друга по светлоте и один из которых должен быть более или менее сходным с цветом фона. Действие такой окраски основано на двух психологических явлениях: уже известном нам явлении подравнивания и явлении контраста по светлоте. Сущность последнего заключается в том, что оба непосредственно примыкающих друг к другу цветовых пятна, имеющие цвета, достаточно различающиеся по светлоте, изменяют свой цвет в направлении увеличения различия между ними. В конце Теплов предлагает расположить психологию в основании военной технологии маскировки — и, судя по некоторому числу статей и публикаций в 1920-е и 1930-е годы, добивается определённых успехов в этой большой цели, предполагая, что практические задачи в конечном итоге оказываются источником интуиций и вдохновения для теоретических конструктов. Скан из Ленинки из журнала «Война и техника» за 1926 год. Выходные данные: Психология как основа для маскировочной техники // Война и техника. 1926. № 306–307. С. 44–52.