Ученые сумели достать песню Pink Floyd из кеша мозга

Исследователи под руководством Людовика Белье из Калифорнийского университета в Беркли продемонстрировали, что узнаваемые версии классической рок-музыки Pink Floyd можно воссоздать на основе активности мозга, которая была записана во время прослушивания песни.

Исследование, опубликованное 15 августа в журнале PLOS Biology с открытым доступом, использовало нелинейное моделирование для декодирования активности мозга и реконструкции песни «Another Brick in the Wall, Part 1». Модели кодирования позволили выявить новую корковую субрегиональную зону в височной доле, которая лежит в основе восприятия ритма и может быть использована в будущих интерфейсах „мозг-машина“.

Предыдущие исследования показали, что компьютерное моделирование может быть использовано для декодирования и восстановления речи, однако для музыки не было создано прогностической модели, включающей такие элементы, как высота тона, мелодия, гармония и ритм, а также различные области сети обработки звука в мозге. Группе специалистов из Калифорнийского университета в Беркли удалось создать такую модель, применив нелинейное декодирование к активности мозга, зарегистрированной с помощью 2668 электродов, которые были размещены непосредственно на мозге 29 пациентов, слушавших классический рок. Активность мозга на 347 электродах была специфически связана с музыкой и локализована в основном в трех областях мозга: верхней височной извилине (ВТВ), сенсорно-моторной коре (СМК) и нижней лобной извилине (НЛГ).

Анализ элементов песен выявил уникальную область в STG, которая представляет ритм, в данном случае гитарный ритм в рок-музыке. Чтобы выяснить, какие регионы и какие элементы песни наиболее важны, команда провела анализ реконструкции после удаления различных данных, а затем сравнила реконструкции с реальной песней. Анатомически было обнаружено, что на реконструкцию больше всего влияет удаление электродов из правой STG. Функционально удаление электродов, связанных с началом звука или ритмом, также приводило к снижению точности реконструкции, что указывает на их важность для восприятия музыки. Эти результаты могут иметь значение для интерфейсов «мозг-машина», таких как протезы, которые помогают улучшить восприятие просодии — ритма и мелодики речи.

Белье заключает:

Мы реконструировали классическую песню Pink Floyd Another Brick in the Wall по прямым записям с коры головного мозга человека, что позволяет понять нейронные основы восприятия музыки и создать будущие приложения для декодирования мозга.

15.08.2023