Эффект Матфея

Просто появиться - уже 80% успеха Хлесткую фразу приписывают Вуди Аллену. Жизнь подтверждает ее в самых разных контекстах, в том числе в контексте научных карьер. Больше полувека назад социолог Роберт Мертон описал эффект Матфея в науке. Идея в том, что признание распределяется не только по заслугам, но и по статусу ученого. Известные исследователи получают больше внимания и признания за сопоставимые результаты. Сам Мертон не пытался измерить, насколько распространен этот эффект. Он предложил механизм и проиллюстрировал его на ярких примерах - в совместных публикациях основная слава часто достается самому известному соавтору; при независимых открытиях разными учеными признание тоже распределяется неравномерно. Позже исследователи начали проверять эту идею на данных, в разных контекстах. Они изучали цитирования, результаты рецензирования, распределение грантов, и другие формы научного признания. По сути, все эти работы отвечают на один и тот же вопрос - получает ли ученый больше признания просто потому, что уже успешен? В таких исследованиях ключевой момент - насколько исследовательский дизайн позволяет обеспечить сравнение "при прочих равных", то есть изолировать и оценить влияние именно статуса автора. Задача не простая, но ученые придумали целый ряд способов, позволяющих приблизиться к этому. Исследования с сильным дизайном скорее подтверждают существование эффекта Матфея, чем опровергают. Здесь мы обратим внимание на одно такое исследование. В нем изучалось влияние получения гранта молодыми учеными на их успешность в привлечении финансирования в будущем. Авторы проанализировали конкурс одной из грантовых программ Нидерландов для молодых ученых и использовали квази-экспериментальный дизайн (а именно, дизайн разрывной регрессии, RDD). Они сравнили исследователей, чьи заявки получили практически одинаковые экспертные оценки, но оказались по разные стороны от порога получения финансирования. Оказалось, что получение гранта само по себе увеличивает вероятность получения финансирования в будущем. Авторы интерпретировали этот результат как проявление эффекта Матфея. В этом исследовании обнаружилась интересная вещь. Первоначальный грант мог работать как сигнал для научного сообщества, но одновременно он менял и дальнейшее поведение самих ученых. Те, кто не получил этот грант, реже подавали заявки на последующие конкурсы, чем их коллеги, получившие грант. Получается, что накапливающееся со временем неравенство в объемах привлеченного финансирования формировалось не только за счет внешней оценки ученых, но и за счет самоотбора - ранняя неудача снижала готовность ученых снова участвовать в конкурсах. И здесь вернемся к Вуди Аллену. 80% или не 80%, но часть успеха действительно связана с готовностью снова вступать в игру после неудачи. ✨

Логос. Этос. Пафос. И немного persuasion bombing Всем, кто использует ИИ-инструменты, дают простой совет, что нужно проверять результаты модели (be human in the loop). На деле все, конечно, не так просто. Найти несуществующий источник литературы, проверяя выдачу от модели, уже привычная история и рутина для исследователей. Но “газлайтинг” от ИИ, когда проверяешь результаты выдачи и указываешь на ошибки возмущает больше. LLM не признает сделанной ошибки, что указанного источника не существует, как будто не сама модель предложила его несколькими сообщениями выше. Так одно из исследований с GPT‑4, где ведущие консультанты решали бизнес-кейс и пытались проверять ответы модели тоже было результатом такого наблюдения об ответах модели в случае указания на ошибки. Дизайн кейса был изначально построен так, что типичное ожидаемое решение будет неверным и модель скорее всего выдаст именно его, что позволит проанализировать дальше ответ после указания на ошибку. В результате анализа ответов модели исследователи выявили классические риторические приемы из триады Аристотеля: логос, этос и пафос. Главным наблюдением авторов было еще и то, что после возражений риторика не исчезала, а становилась интенсивнее и смещалась в сторону защиты авторитета модели (persuasion bombing). Какие-то токсичные паттерны поведения… Конечно, мы не можем назвать ChatGPT нарциссом и манипулятором, ведь намерение здесь не докажешь, и сама антропоморфизация еще один из эффектов изучаемых при использовании ИИ. Это паттерны системы, обученной выдавать связные и нравящиеся людям ответы, чтобы удерживать пользователей и не терять их доверие. Тут хоть самому становиться мастером НЛП или прочитать хотя бы книгу Роберта Чалдини «Психология влияния», теперь уже не только для переговоров с людьми, но и для работы с LLM. Делать по таким исследованиям глобальные выводы нельзя, но задуматься можно.

Проводят ли эксперименты над российскими учеными? 👀 В каком-то смысле проводят, да. Взять хотя бы наукометрическую оценку результатов исследований. Но сейчас поговорим про другие эксперименты - про исследования об ученых, где используется методология эксперимента. Рандомизированный эксперимент считается золотым стандартом для установления причинно-следственных связей. Он широко применяется в медицинских науках - добровольцев случайным образом делят на две группы, одной дают лекарство, другой нет, после чего сравнивают результаты. В социальных науках экспериментальный дизайн тоже находится на вершине пирамиды доказательности, однако используется значительно реже. Тем не менее исследования об ученых с использованием эксперимента существуют. Многие из них посвящены различным предубеждениям (bias) в науке. Например, в одной из работ был проведен такой эксперимент. Экспертов испанского научного фонда попросили оценить заявку исследовательской группы на получение финансирования. Фонд и эксперты были настоящими, а вот сама заявка была специально подготовлена для эксперимента. Часть экспертов получила вариант, где руководителем группы был указан мужчина, другая часть - ту же заявку, но уже с женщиной-руководителем. Авторы хотели проверить, повлияет ли пол вымышленного руководителя на оценки. Статистически значимых различий они не обнаружили. Однако, в этой теме есть и другие экспериментальные исследования, с другими результатами (например 1, 2, 3). Исследуют ли с помощью экспериментов российских ученых? Кажется, такие работы встречаются редко. В одной из недавних публикаций описан эксперимент, который использовался не для изучения поведения самих ученых, а того, как россияне воспринимают научные результаты. Респондентам показывали очень короткое описание научного исследования и просили оценить, насколько правдоподобными кажутся его выводы. При этом одним респондентам сообщали, что исследование выполнено в институте РАН, другим, что в одном из ведущих российских университетов. Кроме того, варьировалось наличие информации о финансировании проекта. Авторы изучали, влияет ли этот контекст на восприятие результатов (спойлер - влияет, хотя и не очень сильно; несмотря на развитие университетской науки, в глазах россиян РАН по-прежнему обладает более высоким научным авторитетом). Стоит ли стремиться включить эксперимент в собственное исследование? Если для медицины эксперимент это ориентир и образец, то в социальных науках это скорее удел отважных, нежели норма. К тому же сам по себе экспериментальный дизайн не гарантирует, что работа станет хитом. Например, упомянутая выше статья опубликована в авторитетном журнале Quantitative Science Studies, но получила примерно столько же цитирований, сколько в среднем получают статьи этого журнала, большинство из которых вовсе не являются экспериментальными. Для некоторых областей показано, что статьи с экспериментальным дизайном не обладают преимуществом по цитируемости. Однако, если вас манят эксперименты, этого уже может быть достаточно, чтобы отправиться в это плавание. ✨

Оценка научной результативности - выбор между спорным, дорогим и страшноватым Использование наукометрических показателей для оценки науки давно вызывает критику. Главные аргументы известны: количество публикаций и цитирований лишь косвенно отражает качество исследований; погоня за метриками стимулирует не научный прогресс, а оппортунизм. Эта критика во многом справедлива. Если наукометрия так несовершенна для оценки, чем ее заменить? Заменить на оценку практической отдачи исследований невозможно - во многих областях практический эффект исследований не подразумевается вовсе. Один из вариантов это экспертная оценка. Если говорить о национальном масштабе, наиболее известный пример такой системы - британский Research Excellence Framework (REF), результаты которого используются для распределения государственного финансирования университетов. Основа REF - экспертное рецензирование научных результатов. Обычно отмечают, что экспертная оценка значительно дороже наукометрии. Но насколько она дорога? В 2023 году был опубликован отчет с подробной оценкой затрат на проведение волны оценки REF 2021, позволивший увидеть цену одной из самых известных систем оценки науки. По оценкам авторов отчета, совокупные затраты на проведение REF 2021 составили около 471 млн фунтов стерлингов. В эту сумму вошли не только расходы финансирующих организаций, но и издержки самих университетов: подготовка материалов для оценки, рабочее время членов экспертных комиссий, административного персонала и исследователей, участвовавших в подготовке заявок. В этом цикле оценки участвовали 157 университетов. Если разделить общую сумму на число университетов, то получится, что в среднем оценка научной результативности одного вуза обошлась почти в 3 млн фунтов стерлингов (заметим, что эти затраты не являются ежегодными, REF проводится примерно раз в 6–8 лет). Представить, сколько бы стоила оценка REF в российском контексте довольно сложно. Нельзя просто умножить оцененные расходы в 3 млн фунтов на число российских занимающихся наукой организаций (> 4000) или вузов (> 1000 c филиалами). С одной стороны, стоимость труда в России ниже, чем в Великобритании. С другой - британские университеты уже имеют многолетнюю инфраструктуру и опыт подготовки к REF (в российских вузах ее нет). Тем не менее очевидно, что проведение национальной системы экспертной оценки стало бы заметной статьей расходов на науку. Для сравнения, совокупные затраты на REF 2021 превышают годовой бюджет РНФ, включая все его грантовые программы. При этом наукометрический подход тоже не бесплатен. Вопрос сколько ресурсов российская наука тратит на функционирование своей системы оценки результативности организаций - весьма интересный, исследовать его непросто. Даже простая оценка числа специалистов, занятых "административной наукометрией" в России, - нетривиальная задача. На этом фоне уже не хочется отметать сразу идею об использовании ИИ-инструментов в оценке научных результатов (хотя сначала хочется). В начале этого года Майк Телволл (Mike Thelwall), один из наиболее известных исследователей в области наукометрии, опубликовал статью о перспективах использования ИИ-моделей для оценки научной результативности. Профессор Телволл с коллегами активно проводят эмпирические исследования, в которых они смотрят, как LLM-оценки согласуются с оценками экспертов. На базе этого опыта в обзорной статье автор не продвигает идею, о том что LLM - хорошая альтернатива наукометрии и экспертам, но напоминает о проблематичности двух традиционных подходов и рассуждает о том, по каким причинам мы в целом все равно не испытываем энтузиазма перед передачей оценки науки на аутсорс ИИ. Если ранее у нас было два "плохих" подхода к оценке, теперь у нас их может стать три. Кажется разумным комбинировать три несовершенных способа так, чтобы они нейтрализовали недостатки друг друга. Однако, пожелать это легче,чем сделать.

Чтение на отпуск - фикшн-бестселлеры про ученых Все больше коллег радуются началу длинного отпуска. Порадуемся за них и мы! (И пошлем лучи поддержки тем, кто заполучил на лето не отпуск, а интересные проекты 😬) Наука вполне умеет быть и отпускной. Особенно когда попадает в художественную литературу. Ученые спасают мир, ищут себя, влюбляются, спорят с коллегами и совершают открытия. Делимся списком: 1. Проект "Аве Мария". Энди Вейер. Научная фантастика от автора Марсианина. В науке недостаточно быть очень умным. Нужно еще уметь существовать в сложной системе человеческих отношений. Если вы потерпели неудачу в этой системе, но интеллект при вас, вы все еще можете спасти мир. Книга уже экранизирована - 94% на Rotten Tomatoes 👀 2. Стоунер. Джон Уильямс. Университетский роман. Даже если вы выбираете профессию, следуя зову красоты Сонета 73, жизнь непроста. Университет может оказаться местом для разочарований, интриг и компромиссов. Книга вышла в середине XX века, "переоткрыта" недавно, и заслужила высокую оценку лучших современных писателей. 3. Солнечная. Иэн Макьюэн. Вам тоже хочется заглянуть в жизнь нобелевского лауреата? Некоторые из них оставили мемуары, о многих написаны биографии. А вот художественных романов о нобелевских лауреатах почти нет. Большой писатель Иэн Макьюэн предлагает портрет выдающегося физика, переживающего кризис. Герой пытается создать технологию, способную повлиять на будущее человечества в условиях климатического кризиса. 4. Уроки химии. Бонни Гармус Роман о талантливой исследовательнице, столкнувшейся с сексизмом в академической науке 1960-х и неожиданно ставшей телеведущей научно-кулинарного шоу. Книга вышла в 2022 году, стала международным бестселлером, получила экранизацию в виде мини-сериала и оказалась одной из самых востребованных в публичных библиотеках. 5. Неделя как неделя. Наталья Баранская. Стремительно пролетающая повесть о неделе из жизни молодой ученой, вышедшая в 1969 году и сразу наделавшая шуму. В институт, где работает главная героиня Оля, приходят социологи и демографы с анкетами - выяснять, почему советские женщины-ученые рожают мало детей. Спустя пятьдесят лет повесть читается как очень современная. Видимо поэтому ее переиздают, вы можете купить ее в книжном. 6. Гипотеза любви. Али Хейзелвуд Завируситься в тиктоке с романом про ученых - это надо уметь. Для авторки это, видимо, тоже было неожиданностью. После успеха романа она оставила академическую карьеру в области нейронаук и переключилась на писательство. Эта книга - легкий жанр, для тех кто любит ромкомы и хочет разгрузить голову. Экранизация выходит на Амазоне в сентябре.

🏆 Что такое успех в науке? Один из главных вопросов для исследователей карьер ученых - каковы факторы успеха в науке. Но чтобы начать на него отвечать, надо определиться, что есть успех. "Здравый смысл" современной академической системы, основанной на бесчисленных метриках, отчетах, самообследованиях, предполагает, что успех это что-то объективное - публикации, цитирования, индекс Хирша. В целом, хорошая зарплата и высокая позиция также могут быть мерилом. А может быть, нетоксичные коллеги с которыми комфортно работать? Кажется, успех в науке устроен сложнее, чем кажется на первый взгляд. Но как? Этим вопросом задаются Марек Квик и Войцех Рошка в недавнем препринте "Success in Science: How Global Prestige Organizes Careers". Опросив почти 11 тысяч польских ученых и сопоставив их ответы с их библиометрическими показателями в Scopus, авторы выделили корреляции между 10 показателями успеха в академии. Это, разумеется, получение профессорства, публикации в международных журналах, в ведущих польских журналах, приглашение спикером на конференции (keynote), национальные награды и призы, цитирования работ, престижные институты, звания в академиях (ПАН, РАН, Королевское общество и другие), грантовое финансирование и международные связи. Эти десять признаков успеха сгруппировались (в порядке убывания выбора респондентов) в четыре вида успеха по мнению самих ученых: международный публикационный успех (международные публикации, цитирования, связи), престиж и академическая заметность (звания в академиях наук, работа в престижных институциях и приглашения на конференции), национальное признание и финансирование (гранты и награды) и формальный статус (польские журналы и профессорство). Авторы утверждают, что успех не только состоит из разных составляющих, но имеет иерархическую природу, где публикации в международных журналах приводят к кумулятивному накоплению других видов успеха, цитирований, грантов, связей. А вот профессорство, как мерило успеха, теряет свою значимость. Такая иерархия подтверждает традиционную академическую ценность "publish or perish". Интересно, будет ли иерархия меняться в ближайшем будущем в связи с тем, что технологии ИИ упрощают создание публикаций.

🤖 Железный закон робототехники или вторжение ИИ в университеты Для многих студентов выпускной является долгожданной церемонией, вознаграждением за усилия, приложенные к получению степени. В праздничный день они зовут друзей и родственников, чтобы познакомить их с однокурсниками и учителями, разделить счастливые мгновения признания работы. Хорошо организовать college commencement непросто: надо собрать список гостей (и организовать их пропуск, рассадку и угощение), найти солидных спикеров (пусть не Стива Джобса образца 2005 года, "Stay hungry. Stay foolish", но хоть кого-то), эффектно вручить дипломы выпускникам, - и правильно назвать их имена. На организации таких событий можно построить целый бизнес — например, компания Tassel уже более двадцати лет занимается именно этим. И многие университеты, включая New York University, University of Minnesota и University of Pennsylvania с радостью пользуются их услугами. В этом году, судя по лентам новостей американских СМИ, организаторы выпускных столкнулись с новой дилеммой, — пытаться ли упростить себе жизнь с помощью новых технологий. Наиболее резонансным стало использование ИИ для произнесения имен выпускников. Это очень важный аспект церемонии, момент финального признания и ликования, традиционно рискующий обернуться провалом: студентов много, списки имен читают не всегда знакомые со всеми студенты сотрудники и так далее. ИИ здесь кажется хорошим решением, — та же Tassel (ранее нанимавшая профессиональных актеров для озвучивания имен) предлагает выпускникам заранее верифицировать правильный вариант произношения. “I don’t know a more human application of AI than this”, говорит Chase Rigby, CEO в Tassel. И делится записью, как это происходило в Northeastern University London в 2025 году. Но есть и другие примеры. В Glendale Community College тоже использовали ИИ для озвучивания имен выпускников, но программа допустила ошибки в части имен и пропустила еще сотни. Реакцию можно оценить самостоятельно. Комментаторы отмечают не столько очевидные ошибки и провалы технологии, сколько превращение особого момента, запоминающегося на всю жизнь, в автоматизированный и деперсонализированный процесс. "If you spent 4 years working toward a degree, they can spend 4 secs to read your fucking name". Неприятие выпускниками излишней тематизации ИИ заметно и по некоторым реакциям на выступления приглашенных спикеров. Прославилась Gloria Caulfield, руководитель в сфере недвижимости, в ходе своей речи в University of Central Florida назвавшая ИИ новой индустриальной революцией, — и она искренне не поняла гул неодобрения. В Middle Tennessee State University музыкальный продюсер Scott Borchetta стал объектом насмешек за свой энтузиазм по поводу ИИ в музыкальной индустрии. "These tech executives are not reading the room". Комична история Sundar Pichai, CEO в Google, решившего никак не включать упоминания ИИ в свою речь при выступлении перед выпускниками. По его словам, произнесенным на самой церемонии, он получил много советов "о том, что говорить не следует". Речь в итоге оказалась посвящена навыку превращать непривлекательные вещи (unappealing) в многообещающие (full of promise), - и сохранять оптимизм. В 2026 году выпускались первые студенты-бакалавры, вся университетская жизнь которых прошла бок о бок с ИИ (если считать с ноября 2022 года). Посмотрим, как будут проходить церемонии в ближайшие годы, и пожелаем сил всем выпускающим и выпускающимся. И поздравим всех, у кого заветная церемония в этом году уже прошла.

Рецензирование - если оно вас не убьет, то сделает сильнее "Я хотел(а) отдать должное вашему журналу, а вы плюнули мне в лицо": эмоциональная (не)вежливость и “лицо” в английском и русском слепом рецензировании" - статья с таким названием не может не тронуть струны души ученого. Авторы исследования проанализировали 70 русскоязычных и 50 англоязычных рецензий, полученных журналом "Russian Journal of Linguistics". Задачей работы было понять, в какой степени в двух академических традициях рецензирования учитываются нормы вежливости и эмоциональные факторы. Не стоит ожидать от исследования плакатных выводов вроде "российские рецензенты непоправимо грубы". Но на анализируемой выборке рецензий авторы показывают, что российские рецензенты в большей степени сосредоточены на содержании статьи и выявлении её слабых мест. При этом они значительно реже используют языковые средства смягчения возможного негативного эффекта. Англоязычные же рецензенты, помимо оценки содержания, чаще учитывают "лицо" автора - социальное достоинство человека в коммуникации. Они используют коммуникативные стратегии, смягчающие критику и придающие ей конструктивный характер, побуждая автора продолжать работу. Интересно, что авторы в статье ссылаются на более раннюю работу других ученых, в которой сравниваются англоязычные и немецкоязычные рецензии - последние тоже отличались от англоязычных прямотой и искренностью, скажем так. Интересным продолжением исследования могло бы стать изучение того, демотивирует ли авторов прямой тон русскоязычных рецензий, или же они привычны к этой традиции и с той же готовностью перерабатывают и переподают рукописи, что и авторы, получающие англоязычные рецензии. Напомним здесь и о давней, но не теряющей вдохновляющей силы статье "How are the mighty fallen: Rejected classic articles by leading economists". Как пишут авторы в начале работы: "Мы попросили более 140 ведущих экономистов, включая всех ныне живущих лауреатов Нобелевской премии и медали Джона Бейтса Кларка, рассказать о случаях, когда их статьи были отклонены научными журналами. Мы попали в болезненную точку". Авторы получили ответы от более чем 60% опрошенных ведущих экономистов. Большинство из них сталкивались с отказами от журналов, и немало из этих отказов впечатляли ученых до глубины души. Некоторые из отвергнутых работ впоследствии стали классикой. Например, работу Джорджа Акерлофа "The Market for “Lemons”: Quality, Uncertainty and the Market Mechanism" отвергли три журнала, приняв статью за "лимон" в терминах самого Акерлофа (некачественный товар). Редакторы писали автору о тривиальности работы, а сейчас эта статья - абсолютная классика с пятьюдесятью тысячами цитирований. В то время Акерлоф был молодым автором, и непростая судьба рукописи влияла и на то, как он сам воспринимал свои идеи. Всем, кто сегодня пишет рецензии, пожелаем добавлять в них конструктивные предложения и поддерживающие ноты, а тем, кто получает замечания или даже отказы, - не терять мотивацию ✨

В поле зрения наукометристов часто попадают горячие темы. В частности, одна из статей ЦИАНО освещает развитие в России климатических исследований. 📌 Какого же было наше удивление, когда в процессе подготовки статьи мы узнали, как много работ по библиометрии изменений климата уже существует. И их число нарастает словно по графику "хоккейной клюшки", 🏒 мы же присмотрелись к деталям этого массива. Небольшая заметка была подана в престижные журналы по проблемам климатологии. Первая версия публикации "Do scientometric studies serve climate research?" была довольно быстро отклонена в Nature Climate Change, Global Environmental Change и Sustainability Science, которые издаются такими известными издательскими группами как Nature, Elsevier и Springer. Статья была доработана и подана как аналитический комментарий в важнейший именно для социальных исследователей климата журнал Climate and Development, рецензенты которого внимательно отнеслись к нашей выборке. Наши аргументы были приняты, а статья вышла в апреле

Набор на курс о социологии знания «Лабиринты рефлексивности» открыт! Желающие забронировать платное место могут писать @theghostagainstthemachine, представившись и рассказав пару слов о себе в качестве знакомства. Участникам конкурса на бюджетные места необходимо кидать свои письма на гугл-форму до 24 июня. Жду вас!

Циано рекомендует: курс о социологии знания «Лабиринты рефлексивности». Андрей Герасимов открыл запись на курс с обсуждением величайших имен и текстов в социологии знания. Курс - это в своем роде проводы Андрея из социологии в историю, и возможно повтора курса не будет. Смотрите также цикл лекций Андрея об идеях Эндрю Эбботта, Дональда Маккензи и Моники Краузе в записи.

Действительно ли социальные науки политически нейтральны? Да, примерно таким вопросом задался Джеймс Манци в статье для журнала Theory and Society. Принято считать, что учёный живёт в башне как-то связанной со слонами и следует мёртоновским добродетелям. Хотя бы на бумаге. Автор исследования взял выборку статей из крупнейшей библеометрической базы данных OpenAlex с 1960 по 2024 годы в 11 дисциплинах, отобрал из них англоязычные статьи из ведущих журналов, имеющие отношение к политическим вопросам, и попросил ChatGPT разместить аннотацию каждой публикации внутри политического спектра США, от крайне правой позиции до крайне левой. Каждой аннотации ChatGPT присваивал баллы от 0 (крайне правая) до 10 (крайне левая). Результаты показали, что академические статьи заметно смещены в сторону левых, эгалитарных идей. На рисунке для каждой из рассмотренных областей показан средний индикатор политической позиции, и распределение статей по набранным баллам. При этом, смещение в начальном периоде 1970-1990 было меньше, но с каждым годом увеличивалось. Кроме того, чем левее располагалась дисциплина, тем более гомогенной она была. То есть, если в политологии или экономике наблюдался спектр мнений от крайне правых до крайне левых, то в исследованиях этничности, гендера и антропологии доминировали левые взгляды. Стоит оговориться, что результаты исследования характеризуют идеологическую направленность содержания политически релевантных публикаций по социальным наукам, а не идеологические взгляды ученых или уровень идеологической предвзятости академического сообщества в целом.