Мозговой оркестр впервые сыграл симфонию мыслей
Мы желали взглянуть, что может мозг без тела, — так обозначают авторы этого проекта собственную основную цель. Как мы знаем, может он очень многое, в случае если лишь его вооружить соответствующим образом. В этом случае несколько экспериментаторов сыграла композицию силой мысли.
И простая просьба дирижёра «сосредоточьтесь на музыке» тут звучала как запрещено к месту.
«Мультимодальный мозговой оркестр» (Multimodal Brain Orchestra — MBO) — это искусства и странная смесь науки, созданная группой музыкантов и учёных из университета Помпеу Фабра (Universitat Pompeu Fabra) в Барселоне. «Лишь сравнительно не так давно мы стали ценить более сильную связь между сознанием, телом и мозгом, — говорит Пол Верчур (Paul Verschure), начальник проекта. — Но мы ещё удивимся, заметив, на что мозг и ум окажутся способны, в случае если возьмут возможность конкретно взаимодействовать с миром, минуя тело».
Такую возможность, применительно к музыке, и предоставили своим мозгам исследователи. И это было закономерным продолжением опытов группы. Так как MBO — детище лаборатории синтетических, перцептивных, эмоциональных и когнитивных совокупностей (Synthetic Perceptive, Emotive and Cognitive Systems — SPECS), которую Пол и управляет.
А SPECS — мультидисциплинарная команда, включающая физиков, биологов, психологов, специалистов и инженеров по компьютерной технике.
MBO начинал со своей первой композицией Xmotion 23 апреля в Праге на европейской конференции Science Beyond Fiction 2009 (она же European Future Technologies) (иллюстрация SPECS).
Эта лаборатория изучает познания и процессы восприятия, рождения чувств, психотерапевтические и поведенческие механизмы у человека. Но применяет для этого «технический» подход — разных роботов, совокупности виртуальной реальности, компьютерные модели и интерактивные объекты, взаимодействующие с людьми.
Так одним выстрелом убиваются сходу два зайца: учёные определят что-то новое о том, что скрыто у нас под черепной коробкой, а заодно появляются и тестируются перспективные разработки, каковые смогут применяеться в широком спектре областей: от лечения и биомедицинских исследований нейрозаболеваний до развлечений.
В развлечениях же иногда также бывает скрыт глубочайший суть. Скажем, перевоплотить эмоции оркестрантов и визуальное восприятие в музыку — чем не познавательный опыт?
Как бы необычно это ни смотрелось, но перед вами два человека, выполняющие музыкальную композицию (кадр BBC).
Оркестр включал одного музыканта, что игрался классическим методом, четырёх так называемых мозговых музыкантов, каковые руководили воспроизведением собственных партий при помощи мысли (кое-какие из этих людей кроме этого эпизодически брали в нормальные инструменты и руки), простого дирижёра (его роль выполнил создатель композиции — Джонатас Манцолли (Jonatas Manzolli), и «эмоционального дирижёра», роль которого мы обрисуем позднее.
Четыре мозговых музыканта носили головные устройства со множеством датчиков электроэнцефалограммы (эти «мозговые шапки» и сопутствующую им электронику, снимающую показания мозговой активности, поставила оркестрантам австрийская компания Guger Technologies). Мозговые волны являлись сигналом для включения того либо иного звука (записанной ранее партии того либо иного инструмента), и для коррекции его модуляции и громкости.
Но так как необходимо было сделать так, дабы композиция не просто проигрывалась с записи, а игралась людьми вживую. Как этого достигли?
Дирижёр в этом оркестре был чуть ли не единственным «обычным» человеком. От остальных в сторону компьютеров тянулись таинственные провода (фото Stanislava Kyselova).
У первой пары музыкантов перед глазами были установлены экраны с хаотично изменяющимися столбцами и строками из букв. Исполнители должны были искать среди них заданные знаки (в соответствии с ходом партии).
В то время, когда взор фиксировал верный знак, прибор ловил на электроэнцефалограмме так называемый сигнал P300 — характерный зубец, появляющийся неизменно через 300 тысячных секунды по окончании узнавания объекта. Данный символ являлся сигналом к вступлению тех либо иных виртуальных инструментов, звучащих с компьютера.
По ходу произведения кое-какие мозговые музыканты выполняли кусочки партий и на простых инструментах (фотографии Stanislava Kyselova).
Вторая пара исполнителей держала перед глазами ящички с четырьмя мигающими на различных частотах лампочками. По символу дирижёра музыканты должны были сосредотачивать внимание на одном из огней. Сейчас компьютер искал в ЭЭГ характерную подпись от данного визуального стимула (так называемый потенциал SSVEP, зависящий от синхронизации мозговых вспышек и волн).
Наряду с этим параметры ЭЭГ, в которых программа вычленяла валентность и уровень возбуждения (двумерная шкала для описания эмоционального состояния), воздействовали соответственно на тембр воспроизведения и громкость музыки фрагментов.
Не считая «живых» музыкантов на сцене и игрового видео на экране зрители имели возможность смотреть за сигналами ЭЭГ четырёх мозговых исполнителей, выводимыми на второй громадный экран. Тем самым авторы необыкновенной работы дали зрителям возможность замечать сообщение мозговой деятельности и звуков, разносившихся по залу (кадр BBC, фото Stanislava Kyselova).
Но произведение Xmotion включало в себя не только музыкальную часть. В один момент на громадном экране демонстрировались видеокадры, собственного рода эмоциональная иллюстрация к музыке. В этот самый момент необходимо отметить, они не просто проигрывались с заблаговременно сделанной записи.
Вот для чего был нужен ещё один участник — эмоциональный дирижёр (это была дама). Она сидела в комфортном мягком кресле и через очки виртуальной реальности просматривала серию игровых видеосюжетов, отснятых живописцем Бехдадом Резазадехом (Behdad Rezazadeh) специально для данного проекта.
Эмоциональный дирижёр и «показываемые» им кадры (фотографии Stanislava Kyselova и SPECS).
На теле эмоционального дирижёра были закреплены датчики проводимости кожи, пульса и дыхания. При трансформации их сигналов компьютер вмешивался в воспроизводимые кадры (что и замечали зрители на экране). Так, визуальная часть представления выяснялась отражением эмоциональных откликов и зрительного опыта на него у «второго дирижёра» — той самой женщины в кресле.
Как данный видеоряд удачно дополнял музыку, возможно лишь догадываться. Но, увидим, музыку так как дама также слышала, и её физиологическая реакция частично зависела от нот.
Биолог Анна Мура (Anna Mura), один из участников проекта, сравнивает MBO с простым оркестром: «У нас имеется первая скрипка, вторая скрипка и без того потом, за исключением того, что вместо скрипок тут — мозги».
Кстати, MBO — не первый пример применения мозговых сигналов для музыки. Скажем, ещё в 1965 году американский композитор Элвин Люсьер (Alvin Lucier) представил композицию Music for Solo Performer, в которой в качестве основной составляющей (дополненной ударными) были использованы «озвученные» альфа-волны из мозга исполнителя (снятые через электроды на коже головы).
Но в MBO в первый раз в качестве управляющих музыкой элементов были применены «картинки» мозговой активности более большого уровня (такие как сигналы P300 и SSVEP).
Как видим, зрителей на премьере было много. Создатель этого снимка пишет, что оказалось всё у мозговых музыкантов «на удивление прекрасно» (фото Arenamontanus/flickr.com).
Для Верчура и его команды этот опыт — скромный шаг на встречу к заманчивой цели: раскрепостить мозг в творчестве, дать ему возможность скинуть оковы тела и начать проявлять себя через прямой интерфейс мозг-компьютер, чтобы преодолеть границы действительности и увеличить субъективный опыт. «Мы можем это делать, в то время, когда дремлем, – напоминает SPECS. — А с новыми разработками мы можем показать данный потенциал, создавая тем самым ноосферу».
Получается, что за курьёзным опытом стоит философия познания себя при помощи техники. И это лишь начало.
«Люди уверены в том, что познание того, как мы ощущаем, окажет помощь нам осмыслить, что такое фактически сознание. Отечественная разработка идёт в этом направлении. До тех пор пока мы не можем с её помощью растолковать сознание, но мы, по крайней мере, изучаем его поверхность», — поясняет Анна.
А как всё это смотрелось, возможно заметить в ролике, показывающем финальную репетицию оркестра перед дебютом на публике.
