Рандомные галлюцинации

Сегодня мы рады представить результаты нашей работы последних месяцев — семейство специализированных SLM-моделей OCC-RAG для question answering по контексту. Несмотря на компактный размер (всего 0.6B и 1.7B параметров), наши модели способны отвечать на сложные multi-hop вопросы, рассуждать по шагам и, что особенно важно, корректно отказываться от ответа, если в контексте недостаточно информации. Как нам удалось этого добиться? 📚 Сложные синтетические вопросы-ответы Для обучения моделей нужны большие объемы качественных данных. Однако большинство открытых QA-датасетов уже давно стали частью обучающих выборок современных LLM и плохо подходят для развития сложного рассуждения. Поэтому мы построили собственный пайплайн генерации данных. С помощью Wikontic мы извлекаем граф знаний из текстов и затем генерируем вопросы на основе путей в этом графе. Такой подход позволяет создавать действительно сложные multi-hop вопросы, требующие объединения информации из нескольких источников. В результате мы получили: — миллионы одношаговых вопросов; — сотни тысяч multi-hop вопросов; — специальные примеры с контекстами-дистракторами; — задачи, в которых правильным ответом является отказ от ответа. ⚙️ Mid-training и curriculum learning В качестве базовых моделей мы использовали Qwen3-0.6B и Qwen3-1.7B. Далее провели масштабный mid-training на более чем 3 миллионах сгенерированных примеров. Обучение строилось по принципу curriculum learning: сначала модель осваивает простые одношаговые вопросы, а затем постепенно переходит к сложным multi-hop сценариям. 🏆 Результаты Мы протестировали OCC-RAG на популярных QA-бенчмарках, включая HotpotQA, MuSiQue, TAT-QA, а также ConFiQA — одном из самых строгих тестов на faithfulness, который проверяет способность модели следовать контексту даже тогда, когда он противоречит общеизвестным фактам. Результаты превзошли наши ожидания: — OCC-RAG показывает качество на уровне моделей в 2–6 раз больше по размеру; — на задачах multi-hop reasoning наши модели конкурируют с моделями класса 8B–14B; — на ConFiQA OCC-RAG превосходит даже Qwen3-32B; — модели существенно лучше следуют контексту и значительно реже подменяют его своими внутренними знаниями; — среди специализированных малых моделей для QA OCC-RAG показывает лучшие результаты. Что это означает? Мы показали, что маленькие специализированные модели могут конкурировать с гораздо более крупными LLM, если правильно подойти к данным и процессу обучения. Это открывает путь к созданию более дешёвых, быстрых и надёжных систем для RAG, поиска информации и корпоративных QA-решений. Если работа показалась вам интересной — будем рады вашим лайкам, репостам и вопросам 👇 https://huggingface.co/papers/2606.00683 🌐Рандомные галлюцинации

https://huggingface.co/papers/2606.00683

Продолжаем неторопливо разбирать статьи с #ICLR 2026 🇧🇷 в этот раз LiteCoST — двухэтапный фреймворк для QA на длинном контексте (от 10K токенов). Stage 1️⃣: Генерация CoST-трейсов с GPT-4o Сначала GPT-4o генерирует Chain-of-Structured-Thought (CoST) трейсы: анализирует запрос, выбирает структуру (таблица/граф), строит схему, извлекает данные, проверяет качество и уточняет итеративно, если ответ не совпадает с референсом. Таким образом мы получаем и трейс, и структурированный контекст как вывод (SSO) — таблицу или граф. Stage 2️⃣: Адаптация SLM через SFT + GRPO Трейсы используются для обучения SLM: LLaMA-3.2-3B-Instruct (3B) и Qwen2-7B-Instruct. Для обучения использовались данные из FinQA (8k), TAT-QA (16k), SQuAD (100k+), LegalBench (6.8k) — всего <200k семплов. Сначала SFT для структуры/формата, затем GRPO с ревордом на ответ, соблюдение формата и консистентность каждого шага reasoning к референсному трейсу. 🏆Результаты: SLM на уровне GPT-4o На Loong-бенчмарке обученные модели сильно превосходят базовые: LLaMA-3B +27.6% accuracy, Qwen-7B +17.8%. Qwen-LiteCoST обходит Qwen2.5-14B, GPT-4o-mini и GPT-4o по общему счёту (79.93 vs 79.32), работая в 2–4 раза быстрее. 🧠Takeaway: Достаточно очевидный: структурирование контекста для long-document QA сильно улучшает качество, а LiteCoST позволяет достичь этого с помощью компактных SLM без постоянных вызовов дорогих LLM 🌐Рандомные галлюцинации

🔥 ICLR 2026: детекция LLM-контента через галлюцинации в библиографии? Подошла к концу одна из топовых AI-конференций — ICLR 2026 в Рио. Из 19 525 сабмитов приняли всего 5355, acceptance rate — 27.4%. Помимо скандалов с утечками данных на OpenReview (что уже стало традицией), главное — методы детекции LLM-генерацией в научных статьях. Самый надежный способ выявить такой контент? Искать галлюцинации! А в научных статьях — проверять библиографию. Организаторы объединились с GPTZero и запустили Hallucination Check: инструмент сопоставлял библографию с базами Google Scholar, arXiv, CrossRef. Но GPTZero давал много false positives (например, отмечал ссылки на неанглоязычные статью с переводом). Поэтому ввели комбинированный подход: Area Chairs проверяли GPTZero, затем все перепроверяли Program Chairs. Очевидно, такая практика с инструментами детекции галлюцинации станет стандартом для детекции LLM-контента. 🌐Рандомные галлюцинации

📣 CFP AIST 2026 Приглашаем подать статью на AIST 2026 – 13-ю международную конференцию по анализу изображений, социальных сетей и текстов. В этом году конференция пройдёт 16–18 октября 2026 в Назарбаев Университете в Астане 🇰🇿 ✍️ Для NLP-аудитории особенно релевантны темы: – LLM / RAG / text mining – social network analysis – multimodal AI, image/video analysis – data mining и machine learning applications Что важно: участие в конференции и публикация принятых статей полностью бесплатные. Основные статьи будут опубликованы в Springer LNCS, companion volume – в CCIS. 🗓 Дедлайны – Abstract: 1 июля 2026 – Full paper: 10 июля 2026 – Notification: 10 августа 2026 – Camera-ready: 18 августа 2026 🔗 Чат конференции: https://t.me/aistconference 🔗 CFP: https://aistconf.org/calls/papers/ 🔗 Submission: https://openreview.net/group?id=aistconf.org/AIST/2026/Conference Вопросы можно задать на org@aistconf.org или в чате конференции.

📜Multimodal Evaluation of Russian-language Architectures Мультимодальный бенчмарк, содержащий текст, изображения, аудио и видео, учитывающий культурно‑языковую специфику русского и предлагающий универсальную таксономию мультимодальных способностей языковых моделей 📜Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation Авторы предлагают механизм обнаружения случаев, когда компрессия входной последовательности удаляет существенную информацию 📜Call, Reward, Repeat: Advancing Dialog State Tracking with GRPO and Function Calling Авторы используют GRPO для улучшения Dialog State Tracking в условиях небольшого количества обучающих данных, показывая, что такой подход позволяет превзойти предыдущие методы даже при меньшем объёме обучающих данных

🚀 Первый день EACL 2026 в Рабате, Марокко! Друзья, сегодня стартовала европейская конференция EACL в солнечном Рабате! Как всегда, буду подробно освещать самые интересные работы по NLP. Начну с краткого обзора работ от наших коллег. 📜Wikontic: Constructing Wikidata-Aligned, Ontology-Aware Knowledge Graphs with Large Language Models Wikontic — многошаговый конвейер построения компактных, онтологически согласованных с Wikidata графов знаний из открытых текстов, который достигает высокого покрытия ответов в многошаговых QA‑задачах при существенно меньших затратах токенов 📜DRAGOn: Designing RAG On Periodically Updated Corpus DRAGOn — методология проектирования RAG‑бенчмарков на периодически обновляемых корпусах, сочетающую автоматическую генерацию вопросов‑ответов по извлечённому графу знаний (продолжение следует)

Когда встреча прошла, а заметок — ноль? Команда NLP из НГУ придумала, как спасти вас от этой проблемы. Представляем Pisets — инструмент для конспектирования лекций, интервью и докладов, где стандартные ASR‑модели вроде Whisper или WhisperX часто выдают галлюцинации. 🧠 Что внутри? Pisets — это пайплайн из нескольких моделей: 1️⃣ Wav2Vec2-сегментер: на длинном аудио сначала выделяются участки, где вообще есть речь 2️⃣ AST (Audio Spectrogram Transformer) отбрасываются ложные «речевые» сегменты 3️⃣ Whisper выдает финальную транскрипцию с пунктуацией на отфильтрованные и размеченные сегменты Работа была представлена на NAACL 2025 в Industry Track и получила положительные отзывы 🔗 arXiv 💻 Код 👍 Если понравилась работа — можно поддержать авторов upvote’ом в Hugging Face Daily Papers 🌐Рандомные галлюцинации

🚀 MedGemma 1.5 4B от Google: мультимодалка для медицины! Google Research выпустил апгрейд открытой модели MedGemma 1.5 4B — компактный генеративный ИИ для здравоохранения. Работает с текстом + изображениями: высокое разрешение MRI/CT, серии рентгена грудной клетки, локализация анатомии и разбор меддокументов. Задавай вопросы по снимкам — получай результат. Звучит как идеальный ассистент рентгенолога 👨🏻‍⚕️. 💊Особенности 4B параметров — запускается локально, без отправки чувствительных данных в облако. Релиз MedASR — ASR для преобразования речи в текст специально для медицинского домена. 🥇Бонус Хакатон MedGemma Impact Challenge на Kaggle с призами $100k. Опиши проблему (на основе одного из 4 сценариев или придумай свой сценарий), оцени эффект и реализуемость. Получи приз. 🧠Выводы Что вообще всё это значит? Большие медицинские модели уже давно есть у компаний: возьмите любую проприетарную мультимодальную модель общего назначения — она с приличным качеством понимает CT/MRI-снимки. Google идёт дальше: выкладывают небольшую модель, обученную под 4 сценария использования, и запускают хакатон, на котором предлагают придумать проблемы под эти сценарии или новые. В скором времени нас ждёт буст в использовании LLM для медицинских кейсов. 🌐Рандомные галлюцинации

Как мы знаем, многократная генерация и majority vote — это надёжный, но вычислительно затратный способ получить фактологичную генерацию (self-consistency). Авторы статьи Confidence Improves Self-Consistency in LLMs из Google предложили подход под названием Confidence-Informed Self-Consistency (CISC), где происходит взвешенный majority vote на основе confidence модели.​ ⚙️Чем отличаются CISC от простого self-confidence 1️⃣ Оба метода получают множество генерации 2️⃣ При self-consistency просто выбирается наиболее часто встречающийся ответ 3️⃣ CISC добавляет self-assessment step, где каждой генерации модели назначается уверенность (confidence) 4️⃣ Для CISC выбирается ответ путём взвешенного majority vote на основе self-assessment 💻Что использовалось в качестве self-assessment 1️⃣ Response Probability — нормализованная вероятность всей генерации 2️⃣ Verbal Confidence мы просим LLM оценить уверенность в ранее сгенерированном выводе 3️⃣ P(True) мы просим модель оценить уверенность в бинарном формате (либо 0, либо 1) и вычисляем вероятность, которую модель присваивает токену 1 📦 Бенчмарки и Модели GSM8K, MATH, MMLU-Pro, Big-Bench-Hard GEMMA2, QWEN2.5, Mistral 📈Результаты Метод P(True) даёт наилучшие результаты, обеспечивая среднее сокращение вычислительных затрат на 41% и 46% при бюджете в 5 и 10 генерации соответственно. 🌐Рандомные галлюцинации

Итак, как мы знаем, галлюцинации можно определять на уровне всего респонса, на уровне спанов и на уровне атомарных фактов. С галлюцинациями на уровне всей генерации понятно, но как обстоят дела с поспановыми и на уровне клемов. В работе MUCH: A Multilingual Claim Hallucination Benchmark сделан шаг вперед: от поспановых к формированию «клеймов», но все еще на уровне спанов. 📜О чём статья Авторы делают попытку перейти к детекции галлюцинаций на уровне клеймов, но при этом оставаться на уровне спанов, чтобы можно было применять методы оценки неопределенности (UQ). Клеймами они называют спаны внутри генерации (на картинке). ⚙️Как работает пайплайн 1️⃣ В качестве основы для датасета используются данные из соревнования Mu-SHROOM только для English, French, Spanish and German — далее будет понятно, почему только для этих языков 2️⃣ С помощью инструмента на основе правил much_segmenter генерация разбивается на спаны, которые авторы называют клеймами. Правила применяются только к вышеуказанным языкам 3️⃣ С помощью GPT-4o GPT-4.1 и контекста из Википедии (аналогично PsiloQA), происходит аннотация каждого клейма-спана 4️⃣Применяют различные методы UQ в частности CCP, SAR, Maximum Likelihood, Token Likelihood, Token Entropy для получения UQ всего спана 📈Результаты 1️⃣В качестве схемы аггрегации лучше всего сработало произведение UQ всех токенов клейма 2️⃣Метод CCP показал себя лучше всех, но не сильно. Max Likelihood получил ROC-AUC 0.772 против 0.732 для CCP, однако вычислительно он значительно более эффективен 🌐Рандомные галлюцинации

«A Head to Predict and a Head to Question: Pre-trained Uncertainty Quantification Heads for Hallucination Detection in LLM Outputs» Здесь авторы представляют предобученные головы неопределённости (UQ heads) — дополнительные модули, которые можно подключить к различным LLM для оценки уверенности в ответах. Эти головы обучаются на признаках внимания и вероятностях токенов, а их архитектура позволяет эффективно выявлять галлюцинации на уровне утверждений. Полученные UQ heads показывают state-of-the-art результаты на нескольких наборах данных, хорошо обобщаются на новые языки и модели (включая Mistral, Llama и Gemma 2). 📍 Hall C Session 13 🕓 Fri. Nov 7 10:30–12:00 📎4532-Main

Продолжаю описывать статьи, принятые на EMNLP «Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models» Работа посвящена оценке неопределённости в генерации LLM — важной задаче для выявления галлюцинаций и недостоверных ответов. Авторы предлагают новый способ обучения модели безусловной неопределённости, которая учитывает взаимозависимости между шагами авторегрессионной генерации. Для этого они используют признаки из attention весов и вероятностей на каждом шаге, а также предлагают двухэтапную процедуру обучения с рекуррентными признаками. Результат — значительное повышение качества selective generation, где модель должна «замолкать», если не уверена. 📍 Hall C Session 13 🕓 Fri. Nov 7 10:30–12:00 📎4520-Main

Несколько дней осталось до EMNLP 2025 в Сучжоу 🇨🇳. В этом посте я расскажу о наших статьях, принятых на конференцию. Начну с двух работ по адаптивному RAG. Адаптивный RAG позволяет модели обращаться к внешним источникам только тогда, когда собственных знаний недостаточно. 1️⃣«LLM-Independent Adaptive RAG: Let the Question Speak for Itself» В этой работе мы показали, что можно делать адаптивный RAG без доступа к внутренним представлениям модели для оценки ее неуверенности — по внешним признакам вопроса: типу вопроса, частоте упоминания сущностей и др. Несмотря на простоту подхода, он часто не уступает методам на основе неопределённости. Минус — для качественной работы нужно учитывать много внешних факторов 📍Hall C Session 5 🕓 Wed. Nov 5 16:30-18:00 📎930-Main 2️⃣«Will It Still Be True Tomorrow? Multilingual Evergreen Question Classification to Improve Trustworthy QA» В этой работе мы использовали единственный признак вопросов — их вечнозелёность для адаптивного RAG. Вечнозелёные вопросы — это такие, на которые ответы не зависят от времени (например, «Кто был первым президентом США?»). Для таких вопросов RAG не нужен — достаточно знаний самой LLM. Об этом подробнее я писал на Хабр 📍 Hall C Session 11 🕓 Thu. Nov 6 16:30-18:00 📎923-Main 3️⃣ «When Models Lie, We Learn: Multilingual Span-Level Hallucination Detection with PsiloQA» В этой работе мы предложили метод генерации синтетических данных для обучения моделей детекции галлюцинаций на уровне токенов. С помощью модели, обученной на нашем датасете, мы заняли призовое место в соревновании SHROOM по постановочной детекции галлюцинаций в многоязычном сеттинге. 📍 Hall C Session 3 🕓 Wed. Nov 5 13:00-14:00 📎2080-Find 4️⃣«When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs» В статье проведено сравнительное исследование пяти методов повышения устойчивости LLM к изменениям формата и пунктуации в промптах. Авторы сравнили fine-tuning и in-context learning на 8 моделях из семейств Llama, Qwen, Gemma и сравнили их на 52 задачах из Natural Instructions 📍 Hall C Session 3 🕓 Wed. Nov 5 13:00-14:00 📎3533-Find 🌐Рандомные галлюцинации

Сегодня, 25 октября, в стенах НИУ ВШЭ проходит одно из ключевых событий российской AI-сцены — постерная сессия Fall into ML 2025, организованная Институтом искусственного интеллекта и цифровых наук ФКН ВШЭ. На сессии представлены работы исследователей, принятые на ведущие международные конференции уровня A* в 2025 году — NeurIPS, ICLR, ACL, EMNLP, CVPR, SIGIR и др. Среди постеров есть работы и с нашим участием Постер 9️⃣When Models Lie, We Learn: Multilingual Span-Level Hallucination Detection with PsiloQA EMNLP Elisei Rykov, Kseniia Petrushina, Maksim Savkin, Valerii Olisov, Artem Vazhentsev, Kseniia Titova, Alexander Panchenko, Vasily Konovalov, Julia Belikova Постер 3️⃣9️⃣When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs EMNLP Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov Постер 4️⃣2️⃣ Will It Still Be True Tomorrow? Multilingual Evergreen Question Classification to Improve Trustworthy QA EMNLP Sergey Pletenev, Maria Marina, Nikolay Ivanov, Daria Galimzianova, Nikita Krayko, Mikhail Salnikov, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii Постер 6️⃣6️⃣ LLM-Independent Adaptive RAG: Let the Question Speak for Itself EMNLP Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii Постер 9️⃣8️⃣ SPY: Enhancing Privacy with Synthetic PII Detection Dataset NAACL SRW Maksim Savkin, Timur Ionov, Vasily Konovalov Подходите с 16-18 не опаздывайте. Постерная сессия это прекрасная возможность познакомиться с нашими исследованиями и с нами лично. 🌐Рандомные галлюцинации

🚀 Совсем скоро начнётся EMNLP — одна из самых значимых конференций в NLP. Для многих молодых учёных это первая крупная конференция, и после собственного доклада часто кажется, что «миссия выполнена». Но на самом деле главное — не только выступить, но и грамотно прожить саму конференцию. 💡 Как провести EMNLP осознанно и с пользой 1️⃣ Изучите расписание конференции заранее. Оно обычно публикуется за пару недель — отметьте интересные постеры и орал-сессии. 2️⃣ Выберите доклады, близкие вашим темам. Используйте поиск по ключевым словам или даже ChatGPT, чтобы ничего не упустить. 3️⃣ Посмотрите эти работы на arXiv. Пробегитесь глазами по статьям, сформулируйте 1–2 вопроса авторам. Это отличный способ для начала диалога. 4️⃣ Приходите заранее на постерные сессии. Познакомьтесь с соавторами лично — часто именно там рождаются коллаборации и интересные идеи. 5️⃣ Если приехали с группой, распределите зоны. Пусть каждый отвечает за свою часть постеров — так охватите больше интересных людей. 6️⃣ Возьмите с собой флайеры. Коротко о ваших статьях на конференции. Когда кто-то заинтересуется вашим стендом — дайте ему флайер, чтобы он мог узнать больше. 📚 Конференции — это не отдых, а большая работа. Но если вы мечтаете о научной карьере и подходите к ней системно — EMNLP может стать мощным рывком вперёд. 📜 Программа конференции 🕒Время проведения: 4 Ноября — 9 Ноября 🇨🇳 Место проведения: Сучжой, Китай 🌐Рандомные галлюцинации

Сегодня расскажу про нашу свежую статью «When Models Lie, We Learn: Multilingual Span-Level Hallucination Detection with PsiloQA», которую приняли на EMNLP 🎉 Кстати, если работа вам понравилась прошу проголосовать за нее на HuggingFace Daily Papers. В работе мы предложили метод генерации синтетических данных, содержащих естественные (не инсценированные) галлюцинации, размеченные на уровне спанов. Но ценность этой работы — не только в содержании, а ещё и в том, как она родилась. Я давно убеждён: NLP — это прикладная область. А в прикладных областях особое значение имеют соревнования — от Kaggle до академических вроде SemEval, DSTC и других. Участие в них позволяет: 1️⃣ прокачивать технические навыки 2️⃣ понимать, что коммьюнити считает актуальным и сложным 3️⃣ находить идеи, достойные статьи Эта работа — как раз результат одного из таких опытов. 📜О чём статья Мы разработали пайплайн для генерации датасета с естественными галлюцинациями. Мы не просили LLM намеренно ошибаться (как в HalluEval), а детектировали реальные примеры. Так мы получили многоязычный датасет PsiloQA для поспановой (span-level) детекции галлюцинаций и протестировали на нём разные подходы. ⚙️Как работает пайплайн 1️⃣ Берём пару первых абзацев статьи из Википедии (или любого источника знаний). 2️⃣С помощью GPT-4o получаем вопрос–ответ для этого контекста. 3️⃣ Просим открытую модель ответить на этот же вопрос. Получаем ответ-кандидат. 4️⃣ GPT-4o, имея контекст, вопрос, исходный ответ и ответ-кандидат, размечает галлюцинации в кандидате. 5️⃣ Делаем постфильтрацию (убираем пустые или отказные примеры). 📈Результаты 1️⃣Пайплан позволяет генерировать датасеты разных доменов, размеров и языков с минимальными затратами. 2️⃣Все галлюцинации — естественные, LLM никто не просил галлюцинировать намеренно. Таким образом, для детекции можно использовать методы на основе внутренних представлений моделей, тем более что мы добавили инфрмации о модели. 3️⃣Датасет подходит для тестирования LLM на множестве языков. 4️⃣Кросспроверка показала: при обучении на нашем датасете мы почти всегда получали лучшие результаты при тестах на других, вручную размеченных датасетах. 🌐Рандомные галлюцинации

Давно мы не разбирали статьи на канале — пора исправлять это упущение. Сегодня на разборе работа с броским названием «Do Androids Know They’re Only Dreaming of Electric Sheep?» (ACL 2024 Findings). 📜О чем статья? Авторы исследуют задачу детекции галлюцинаций на уровне отдельных спанов и на уровне всего ответа при условии что есть доступ ко внутренним состояниям модели. Важно: рассматриваются grounded-сценарии, то есть все необходимые знания уже есть во входе модели. В качестве задач берут: 1️⃣ абстрактивное суммирование, 2️⃣ диалог, опирающийся на знания, 3️⃣ data‑to‑text генерацию. 🔬Метод Постановка явно «просится» под пробинг скрытых представлений модели. Проверяют три варианта: 1️⃣ линейный пробинг вектора текущего токена, 2️⃣ attention‑pooling по всем токенам до текущего, 3️⃣ ансамбль этих двух подходов. 📊Результаты 1️⃣ Лучшая точность достигается, если брать скрытые представления слоев где‑то между 10–20‑м слоями. 2️⃣ Ансамблирование по всем слоям почти не добавляет качества → гипотеза о «разных типах галлюцинаций на разных слоях» не подтвердилась. 3️⃣ Llama‑2‑7B и Llama‑2‑70B показывают схожие результаты → маленькая модель вполне достаточна. 4️⃣ Не наблюдается трансфера между датасетами → универсального «сигнала галлюцинаций» для всех задач нет. #paper 🌐Рандомные галлюцинации