Meta представили TRIBE v2 – нейросетевую модель для симуляции активности человеческого мозга
Исследователи из Meta опубликовали TRIBE v2 - нейросетевую модель, которая по видео, аудио и тексту предсказывает fMRI-активность человеческого мозга.
Ключевой тезис работы: если современные модели уже научились хорошо представлять структуру мира в своих скрытых пространствах, то эти представления можно использовать как промежуточный язык для моделирования мозга.
TRIBE v2 работает точнее МРТ(fMRI). То есть если измерить мозговую активность одного человека, МРТ в большинстве случаев будет менее точно отображать типичную (усредненную по группе) реакцию мозга на раздражитель, чем модель. Все дело в том, что индивидуальный МРТ довольно шумный, а TRIBE v2 предсказывает более стабильный сигнал для самых разных ситуаций
Пример предсказания модели из статьи:
Сейчас модель объясняет ~54% вариации сигнала, в отдельных областях – до 80%. Это уже довольно много, и даже близко к верхнему пределу fMRI как измерения. Но получается, что благодаря scaling laws следующие модели могут не просто упираться в этот предел, а фактически выйти за него в смысле восстановления более чистого сигнала, чем дает сам fMRI.
Но сами авторы признают ограничения: fMRI слишком медленный и грубый по времени метод, модель пока не охватывает многие сенсорные системы, а главное - описывает мозг как пассивного наблюдателя, а не как действующего агента, создающего поведение. Поэтому работа не закрывает проблему понимания работы мозга, а скорее предлагает новый масштабируемый инструмент для ее систематического исследования. Ссылка на сайт публикации (там кроме публикации еще демка и сама модель): https://aidemos.atmeta.com/tribev2/ 
Отличный комментарий!