the last neural cell

Deep learning-based control of electrically evoked activity in human visual cortex link: https://doi.org/10.1016/j.neuron.2026.07.006 Классная статья в Neuron от нашей лабы. Меня там нет, ибо приехал позже. Коротко: - делаем кучу случайных стимуляций в V1 человека (разные токи и комбинации электродов) - учим сетку в обе стороны: предсказывать ответ мозга по параметрам стимуляции и наоборот В итоге получаем модель, которая выдаёт параметры стимуляции под нужную активность мозга. На реальном пациенте попадает в использует меньше тока и даёт более стабильные фосфены, чем ручная калибровка. p.s. Следующие шаги: 1. работаем только с определенный статичным протоколом стимуляций - то есть никаких bimemetic и прочего. 2. Не предсказывает активность во времени - только средний нейронный отклик для каждого канала.

Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data link: https://arxiv.org/abs/2607.22615 tl;dr: предобучаем MAE на 14.6 часах спонтанной активности из V1 слепого пациента с Utah array и по нейронному отклику на стимуляцию декодируем, видит человек фосфен или нет. Реальные данные пациента. Наконец-то дошли руки написать мини обзор моей статьи с AAAI 26. Постером я уже делился, а теперь она доехала и до архива. Итак, мы работаем с сигналами Utah массива из V1 слепых людей: можем и стимулировать, и записывать. Было бы здорово не спрашивать человека каждый раз, видит он что-то или нет, а понимать это прямо по нейронному отклику на стимуляцию. Плюс у нас накопилась куча спонтанной активности: 252 сессии, 14.6 часа записи с 96 каналов. Вот и вопрос: можно ли предобучить модель на этих данных так, чтобы она помогала понять, видит человек или нет. Модель За основу взял MAE, кстати один из первых обзоров на этом канале был именно про эту модель, много лет назад. Натренировал и увидел в латентах кучу кластеров по сессиям, что совсем не ложится на задачу: мы хотим отличать, видит человек или нет, а не угадывать, в какой день была сделана запись. Поэтому добавил второй лосс, по сути sigmoid loss как в SigLIP, только наоборот: притягиваю фичи из разных сессий и отталкиваю фичи из одной. Плюс подаю в декодер эмбеддинг сессии отдельным токеном: вся сессионная информация уходит туда, и энкодеру просто незачем хранить её в латентах. Латентное пространство стало выглядеть сильно лучше, и метрики подтянулись. Результаты Поверх замороженного энкодера учим обычную логистическую регрессию. На психометрической задаче (человек отвечает видит или нет на стимуляции с разной силой тока и электродами) получаем 84.1% против 80.2% на сырой MUA и 82.4% на PCA. Забегая вперёд, в латентах ещё видно, каким электродом стимулировали и с каким током: соседние электроды кластеризуются вместе. Но самое интересное это пороговая задача: тот же электрод, ток зафиксирован на пороге 50%, человек то видит фосфен, то нет. И даже тут мы декодируем восприятие на 64% против 60% на сырых данных. Так что наконец закрыл гештальт и поделился, а то собирался уже несколько недель и всё никак не мог дойти. Дальше думаю превратить это в полноценную статью: обучиться на нескольких людях и сделать нормальные абляции.

Та самая группа из UC Davis, которая работает по программе BrainGate2, публикует отчет: они подробно пишут про опыт использования внутрикортикального интерфейса «мозг-компьютер» для управления речью и курсором в домашних условиях в течение нескольких месяцев. Их 45-летний пациент с БАС за время исследования произнес 183 060 предложений. #prosthesis | #brain | #readout

https://ccunpacked.dev/#agent-loop

Шестой день после имплантации и первая запись в лабе Сегодня мы увидели намного больше спайков. Мозг все ещё адаптируется к импланту. Записали спонтанную активностиь и также успели про стимулировать несколько электродов, однако пока что без фосфенов. Они должны появиться позднее, примерно на 2-3 недели. Сделал фото: Antonio Lozano Записал активность: Adrian Villamarin Руководил процессом: Eduardo Fernandez (наш профессор)

Мы начали работать со слепым пациентом. Напомню, что я в лабе уже чуть больше года и занимаюсь визуальными имплантами. Пару дней назад мы имплантировали электроды Utah array в визуальную кору новому пациенту. У нас теперь есть шесть месяцев на эксперименты. Сегодня был первый день записи данных. Записали спонтанную активность с закрытыми и открытыми глазами. Сигналы пишутся, спайки есть, импеданс нормальный. Мы используем ripple stimulator. P. S. На фото мой коллега и первые спайки. К сожалению, пока что не могу выложить с пациентом.

Neuro embeddings of resting state 😅 Первый раз вижу такие колечки) На самом деле в этих кольцах (маленьком и большом) в основном артефакты

The most tasty neuro papers in 2025 Мой личный, абсолютно субъективный список лучших статей по нейро-декодингу за 2025 год. Тренд года: кидай больше данных и молись чтобы стало лучше. Но главный вопрос по-прежнему в том, как объединить данные между животными, областями мозга и типами электродов в одной модели. Разбил 10 статей на 4 секции: инвазивные сигналы, неинвазивные, нейро софт и напоследок принес статью из нашей лабы (я не соавтор, работа началась ещё до меня). 01. Invasive signals ▸ Foundation model of neural activity predicts response to new stimulus types Foundation model trained on mouse V1 generalizes to completely new stimulus types (motion, noise, Gabor) and predicts cell types from MICrONS. Nature 2025 ▸ Neural Encoding and Decoding at Scale (NEDS) One model does both encoding and decoding across 83 mice on Neuropixels/IBL data. Multi-task masking, SOTA on both directions, predict brain activity and behavior. ICML 2025 ▸ A cross-species neural foundation model for end-to-end speech decoding (BIT) End-to-end brain-to-text: transformer pretrained on 367 hours of Utah array data (human + monkey), paired with audio-LLM. WER drops from 24.69% to 10.22%, transfers to imagined speech. ICLR 2026 ▸ A Generalist Intracortical Motor Decoder (NDT3) Autoregressive transformer pretrained on 2000 hours of intracortical spiking from 30+ subjects. Beats from-scratch models when you have less than 1.5 hours of task data. NeurIPS 2025 ▸ OMiSO: Adaptive optimization of state-dependent brain stimulation Closed-loop stimulation that uses pre-stim brain state to pick which electrodes to zap on a Utah array in monkey PFC. Adapts online, outperforms state-blind methods. NeurIPS 2025 02. Noninvasive signals ▸ REVE: A Foundation Model for EEG MAE on 60,000 hours of EEG from 25,000 subjects across 92 datasets. 4D positional encoding handles any electrode config. SOTA on 10 downstream tasks. NeurIPS 2025 ▸ LSM-2: Learning from incomplete wearable sensor data Foundation model for wearables pretrained on 40M hours of day-long sensor data. Learns directly from incomplete recordings via learnable mask tokens, no imputation. arXiv 2025 03. NeuroTools ▸ Kilosort4 Graph-based clustering with merging trees for spike sorting. Best across all conditions, handles low-amplitude neurons under high drift. Nature Methods 2024 ▸ Jaxley: differentiable simulation of biophysical neural models JAX framework for biophysical neuron models with autodiff and GPU acceleration. Fit compartmental models orders of magnitude faster, trained a 100k-param morphological network on vision. Nature Methods 2025 04. Our lab ⚡️ Neural correlates of phosphene perception in blind individuals: A step toward a bidirectional cortical visual prosthesis Science Advances 2025 p.s. Пишите в комментарии, какие работы я пропустил и должен был добавить в этот топ.

ReVision Implant получает FDA breakthrough Бельгийцы из ReVision Implant получили FDA breakthrough device designation на свой Occular - кортикальный визуальный протез с 1000+ гибкими микроэлектродами прямо в visual cortex, минуя ретину и оптический нерв полностью. Первый trial в октябре 2026, полноценные испытания на слепых волонтерах - лето 2027. link: https://www.massdevice.com/revision-implant-fda-breakthrough-vision-bci/

tasty aaai-26 papers 🔹 MindSight: Bio-Inspired Neural Architecture for Visual Restoration via Cortical Electrical Stimulation tl;dr: система учится генерировать паттерны напряжений на электродах чтобы создавать нужные зрительные образы через стимуляцию коры. Протестировано на реальных макаках. Запись с 1280 каналов V1, декодирование из 50мс окон MUA, предсказание тока на каждый электрод. Два пути обучения: через MUA декодер и через симулятор фосфенов. Минимум 16 каналов должны активироваться вместе на электрод (нашли через эксперименты с саккадами). Макаки с завязанными глазами различают формы на уровне нормального зрения и обходят препятствия. 💬 Пожалуй самая необычная работа с конференции. Не симуляция, не "мы показали что в принципе можно", а реальная штука, которая работает на приматах. 1280 каналов это серьёзный масштаб, и то что макаки реально навигируют и различают формы, это уже чуть больше чем proof of concept. 🔹 Multi-dimensional Neural Decoding with Orthogonal Representations tl;dr: регуляризация через ортогональность латентного пространства для декодирования движений. Utah array, моторная кора макак, декодируют направление, позицию, скорость и ускорение одновременно. Orthogonality loss разделяет латент на куски под каждый параметр движения. Голова классификации сессии, при переносе её веса используют чтобы выкинуть сессионные фичи. Cross-session 2-shot точность направления 72.6% -> 80.2%, cross-subject R2 скорости 0.592 -> 0.653. Ablation: только комбинация ортогонализации и головы сессии даёт эффект, по отдельности почти ноль. 💬 Пообщался с Kaixi на конфе, но всё равно не до конца понял зачем классифицировать сессию. По мне логичнее анти-классифицировать, то есть явно убирать всю инфу о сессии из представлений и стараться делать это во время обучения, а не после. В любом случае направление правильное, session drift одна из главных проблем в BCI. 🔹 MindCross: Fast New Subject Adaptation for Cross-subject Video Reconstruction from Brain Signals tl;dr: реконструкция видео из мозговых сигналов с быстрой адаптацией на нового субъекта. Разделяют латент на subject-specific и subject-agnostic части. Один shared encoder + N subject-specific энкодеров. Specific часть отвечает за особенности пациента, shared за семантику видео. При адаптации на нового субъекта обучают только его specific encoder. 💬 Я бы сделал ровно наоборот. Shared encoder должен давать session-specific информацию, а individual энкодеры, session-invariant фичи. У каждого человека мозг уникален, и именно индивидуальный энкодер должен маппить эту уникальную топологию в общее семантическое пространство. А ещё лучше, использовать LoRA для каждого участника и обучить мета-модель которая генерирует LoRA веса по resting state нового субъекта. 🔹 New Synthetic Goldmine: Hand Joint Angle-Driven EMG Data Generation tl;dr: генерация синтетических ЭМГ данных по движениям пальцев для улучшения классификации жестов. Модель решает обратную задачу, придумывает активность мышц под заданный жест. Прирост 2-3% по точности. 💬 Я пробовал заводить синтетику несколько раз, и для ЭМГ и для МЭГ. Генерировать получалось, но прироста по качеству это не давало. Эта работа очередной раз доказывает что у меня просто руки не оттуда росли и надо пробовать ещё!

Что происходит в LLM. Февраль 2026 Несмотря на то, что LLM — главный хайп последних 2 лет, вокруг больших моделей остаётся много путаницы и заблуждений. Чем отличаются модели? Надо ли доучивать модель? Хостить или ходить по API? На что можно рассчитывать при построении агента или RAG-системы? Почему у кого-то работают RAG и агенты, а кто-то вовсе в них разочаровался? Deepschool ответит на эти и другие вопросы на онлайн-лекции в четверг! За полтора часа вы получите актуальный срез индустрии вокруг LLM: — актуальные модели и их свойства — бенчмарки — self-host VS API — типы задач — главные «болячки» ванильных решений — и актуальные советы по их лечению Спикер — Дмитрий Калашников, NLP Team Lead в Яндексе🔥 А ещё расскажут про курс «LLM», где вы узнаете, как устроены современные LLM, как их обучать, запускать и оптимизировать — всё под кураторством опытных инженеров. Всем участникам лекции подарят скидки на обучение 🎁 Подключайтесь в четверг, 12 февраля в 19:00 МСК! Регистрируйтесь по ссылке и приходите на лекцию в четверг! #промо

Впечатление от AAAI 26. Я съездил на свою первую AI конференцию. Показывал нашу работу над визуальными имплантами на воркшопе AI for Neuro, общался с кучей людей, слушал доклады. Расскажу, как это было. После года в Эльче (маленький город на юге Испании) Сингапур впечатляет. Всё сверкает, всё большое. Но за углом от небоскрёбов Hawker Center и Chinatown: грязно, шумно, вкусно. Еда отличная, погода с постоянными 30 градусами. Конференция Почти 5000 принятых статей. Огромные ангары с постерами, посмотреть всё нереально. Технические сессии и приглашённые лекции, честно говоря, не очень зашли. Что-то было слишком общим, а на технических сессиях многие спикеры просто читали с листочка. Намного полезнее подойти к постеру и поговорить с автором напрямую. Там и вопросы нормальные задать можно, и обсудить работу. Также неожиданно для себя встретил много ребят из России. Люди занимаются многими вещами: RL, пайплайны для агентов, NAS, предсказывают погоду и конечно generative AI. Ещё интересная штука: разговорился с китайскими ребятами, которые делают motor decoding на обезьянах. Оказалось, только в Пекине сейчас 4 лаборатории, которые этим занимаются и конкурируют друг с другом. Так что BCI-статей из Китая в ближайшие годы будет сильно больше. Воркшоп AI for Neuro Главное событие для меня. Организовал Reza Abbasi-Asl с командой, и организовали отлично. Из спикеров больше всего зацепили Andreas Tolias (Stanford) и Martin Schrimpf (EPFL). Оба про одно: хватит играться с маленькими моделями, пора скейлить. Запомнилась фраза Tolias: "We don't have a choice. We should stop doing toy experiments. Train big models." Он показал свою foundation model для зрительной коры, обученную на данных ~135 000 нейронов 14 мышей. При переносе на новое животное требует в 2-3 раза меньше данных, чем обучение с нуля. То есть можно реально ставить эксперименты in silico, а не каждый раз заново собирать данные. На канале Дарьи Клеевой есть подробный разбор. Schrimpf показывал TopoLM, трансформер где у юнитов есть 2D позиция, как у нейронов в коре. При обучении модель сама организуется в кластеры, которые напоминают языковые зоны мозга. Мне это зашло, потому что идея простая: добавь spatial loss и получи brain-like организацию. У его лабы ещё вышла работа про scaling laws для brain-aligned vision моделей, по сути то же сообщение: масштаб работает. Мой постер Я показывал работу "Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data" на постерной сессии воркшопа. Если коротко: мы берём resting state данные (мозг просто "шумит", без стимуляции), делаем на них pretrain модели, и после этого она лучше предсказывает, что человек воспринимает при стимуляции зрительного импланта. Про планы Пока мы готовимся к следующему пациенту для имплантации электродов, хотим набрать как можно больше данных, в том числе с обезьян, и наконец нормально отскейлить модели. Главная боль: данные плывут между сессиями, и модель с одного пациента очень тяжело перенести на другого.

Рад поделиться тем, что у команды частью которой Я являюсь, на HuggingFace вышел ТехРепорт по VLA, которая работает на разных роботах в том числе и нашем антропоморфном роботе - Грине (не китайском!). Если вкратце: за последний год стало ясно, что просто «навалить данных» уже не помогает. Чтобы робот перестал тупить в реальных задачах, нужно копать в сторону качества, переносимости между воплощениями и адаптацией в реальном мире Что в отчете: Выстроили многоуровневый пайплайн обучения: VLM (L0) -> SFT VLM (L1) -> претрейн VLA (R0) → SFT VLA (R1) → RL finetune (R2), где каждая фаза последовательно адаптирует модель понимать и действовать в физическом мире. Унифицировали действия (R64): Сделали единый интерфейс для разных роботов. Использовали маскированный loss, для того чтобы разнородные пространства действий у воплощений не путали модель Выстроили жесткий пайплайн работы с данными: Выстроили пайплайны фильтрации данных, оценки качества и разнообразия датасетов, оценки и выравнивания скорости движений в данных. RL, JPM и OOD-detector: Научили роботов не просто копировать движения, а восстанавливаться после ошибок + обобщаться на абсолютно новые предметы без переобучения. И главное — вовремя останавливаться, а не «суетиться» после того, как задача уже сделана. В итоге — SOTA на бенчмарках и отличная работа вживую на том же ALOHA, и нашем антропоморфном роботе - Грине. Внутри много «скучной», но важной инженерки, благодаря которой всё это реально работает, а не просто красиво выглядит на видео. 📌 Почитать можно тут: https://huggingface.co/papers/2602.00919 Наш сайт: https://sber.ru/robocenter Резюме и предложения: @alex_postnikov26 @pdemen (Можно написать мне если ребята не доступны:@Alexander_Nutalapati) Будем благодарны за апвоуты и поддержку! 🙏

Давайте поддержим ребят, они делают крутого робота гуманоида Грин! Так ещё и рассказали как они его обучали!

Neuralink выкатил отчёт за два года Telepathy. 21 участник. 15,000+ часов использования. Некоторые уже превышают скорость обычного пользователя мыши (8-10 BPS) чисто мыслями. Sebastian, 23-летний медстудент, сидит на импланте по 17 часов в день для учёбы. Восстановление речи уже работает: пациенты с ALS набирают 40 WPM через imagined finger movements. Запущен отдельный trial VOICE с целью 140 WPM, скорость обычного разговора. Управление роботом тоже продемонстрировано, Alex управлял рукой Tesla Optimus мыслями. Самое интересное это Blindsight. Визуальный имплант, ждёт регуляторного одобрения на первые человеческие тесты. Начальная версия будет low-res. Зрение скорее всего будет черно белым и нечетким, при этом контуры объектов будут различимы. Очень интересно посмотреть на первую реакцию от испытуемых. Зрение субъективно, у обезьян не спросишь что они видят. Камера внешняя, беспроводное подключение к импланту в visual cortex. И вот тут: учитывая нацеленность Маска на продукт и владение xAI, думаю этот имплант в итоге пойдёт с AI-ассистентом который будет давать контекст об окружающем. BCI + AI vision assistant в одном продукте сейчас ни у кого нет. Все собирают на коленке из доступных моделей, в том числе и мы у себя в лабе😅 link: https://neuralink.com/updates/two-years-of-telepathy/

Foundation model как рабочий инструмент #neuro #ai Публикация: Wang, E. Y., Fahey, P. G., Ding, Z., Papadopoulos, S., Ponder, K., Weis, M. A., ... & Tolias, A. S. (2025). Foundation model of neural activity predicts response to new stimulus types. Nature, 640(8058), 470-477. В предыдущем посте я писала, что большинство foundation models для ЭЭГ/МЭГ пока что застряли на уровне робкого технологического эксперимента. В этом же посте предлагаю рассмотреть пример качественно иной результативности использования таких моделей в нейронаучных исследованиях. 🤩В описываемом исследовании были собраны данные активности ~135000 нейронов 14 мышей. Мышам предъявляли естественные видеозаписи (динамичные сцены, близкие к реальному зрительному опыту) и регистрировали, как на них реагируют нейроны в разных зрительных областях коры. На этих данных авторы обучили единое обобщённое представление работы зрительной коры — так называемый foundation core. Данные от разных животных и разных областей коры объединялись, чтобы модель выучила не индивидуальные особенности конкретной мыши, а общие принципы зрительной обработки. В модели представлены следующие модули: 1️⃣Перспектива: учитывает геометрию зрительного ввода. Положение глаз у мыши слегка меняется, и один и тот же стимул может проецироваться на сетчатку по-разному. Этот модуль пересчитывает изображение с экрана в то, что “видит” глаз в каждый момент времени. 2️⃣Модуляция: учитывает текущее состояние животного. Известно, что активность зрительной коры зависит не только от стимула, но и от поведения: движется ли мышь, расширен ли зрачок, в каком она состоянии бодрствования. Этот модуль вводит такие поведенческие факторы в модель. 3️⃣Ядро: динамический энкодер, который получает скорректированный зрительный сигнал и информацию о состоянии животного и преобразует их во внутренние представления. Именно здесь модель учится выделять устойчивые закономерности зрительной обработки, общие для разных животных и областей коры. 4️⃣Вывод: связывает общее представление с активностью конкретных нейронов. Для каждого нейрона обучается простой линейный слой, который переводит общее представление ядра в его индивидуальную динамику активности. После обучения ядро модели фиксируется и используется как универсальная основа. При работе с новыми животными модель не переобучается целиком: подстраиваются только индивидуальные компоненты, отвечающие за конкретные нейроны. Результаты следующие: 💫Модель обучается только на натуральных видео, но корректно предсказывает, как нейроны зрительной коры будут реагировать на совершенно другие типы стимулов: движущиеся точки, решётки Габора, шумовые паттерны и статические изображения. Она корректно воспроизводит классические нейрофизиологические характеристики нейронов: чувствительность к ориентации, направлению движения и пространственную избирательность. 💫При переносе на данные новой мыши foundation-подход оказывается значительно более экономным. Чтобы достичь той же точности предсказаний, что и модель, обучаемая с нуля под конкретное животное, ему требуется в 2–3 раза меньше объёма записей. 💫По внутренним параметрам модели, отвечающим за предсказание активности отдельных нейронов, можно восстанавливать их анатомические свойства — от принадлежности к зрительной области до типа клетки, морфологии дендритов и вероятных синаптических связей с другими нейронами. При этом модель обучалась только на функциональных данных и никогда не “видела” анатомию. Связь между функцией и структурой возникает как естественное следствие выученного представления работы зрительной коры. 🤩В итоге такая модель перестаёт быть просто инструментом для предсказания сигналов. Она позволяет проводить полноценные нейрофизиологические эксперименты in silico без реального предъявления стимулов животному. Классические протоколы (от подбора параметрических стимулов до оценки избирательности отдельных нейронов) можно реализовывать напрямую на модели, используя её как замену живому эксперименту там, где это допустимо.