Машина считала зрительный образ с мозга человека
Съёмка красочных снов в мозгу дремлющего может оказаться действительностью через пара лет. Начав с распознавания в картине активности нейронов несложных двигательных команд, учёные сейчас добрались до считывания зрительных образов. Пускай картины эти ещё примитивны – но отечественные мысли неспешно перестают быть территорией, куда нет доступа посторонним.
Не вводя в мозг какие-либо электроды, экспериментаторы обучились чётко определять — что видит испытуемый. Не смотря на то, что предъявляемые его взгляду изображения до тех пор пока ещё чёрно-белые и содержат всего сотню достаточно больших пикселей (использовалось изображение 10 х 10), — это огромное достижение в понимании «шаблонов» нейронной активности, связанных со столь сложными процессами, как восприятие зрительной информации.
Фантастический опыт японских учёных открывает дорогу к распознаванию в мозге тех изображений и человека, каковые он ни при каких обстоятельствах не видел наяву — снов либо мнимых миров. Лишь представьте работу живописца либо дизайнера, что в кресле и закрыв глаза придумывает образы, каковые тут же появляются на экране компьютера.
Врач Камитани говорит: «Эта разработка кроме этого может использоваться в других сферах, не только в распознавании (в голове) зрительных образов. В будущем она, быть может, сумеет выявлять эмоции и сложные эмоциональные состояния» (фото с сайта cns.atr.jp).
Такую потрясающую возможность рисуют Юкиясу Камитани (Yukiyasu Kamitani) и его команда из лаборатории вычислительной неврологии университета передовых телекоммуникационных изучений (ATR Computational Neuroscience Laboratories). Совместно с несколькими учёными из последовательности вторых университетов и японских институтов они осуществили первую в мире визуализацию того, что видят люди, основанную на снятии параметров мозговой активности.
Камитани, кстати, знаком постоянным читателям «Мембраны». Это он и его коллеги в 2006 году выстроили и испытали любопытную вариацию интерфейса мозг-машина (Brain Machine Interface — BMI): человек, лежащий в кольце томографа, показывал рукой разные жесты, а компьютер, опираясь лишь на картины мозговой активности, распознавал перемещения пальцев и выдавал соответствующие команды руке робота, которая повторяла жесты за человеком.
Новая работа есть глубоким развитием того опыта. Лишь в этом случае учёные сосредоточили внимание на распознавании в мозге зрительных образов. Для чего, как и раньше, применили функциональную магнитно-резонансную томографию (fMRI).
Опыт 2006 года был существенно проще нынешнего. Так как у человека был выбор всего из трёх «знаков» – «камень», «ножницы» либо «бумага».
Научив машину с хорошей точностью различать образцы активности нейронов, которые связаны с этими жестами, японцы пошли дальше (фотографии Honda).
Очевидно, никакой томограф не заметит в голове человека «лодки под парусами» либо «солнце над рекой». Всё что он может — это продемонстрировать изменение в кровотоке через определённые территории коры, которые связаны с активностью тех либо иных групп нейронов. Но, осознав закономерности в таких трансформациях, возможно обучиться делать обратное преобразование — от возбуждения нейронов к тому, что стало причиной эту реакцию — будь то голоса, мысли либо те же самые картины, стоящие перед глазами.
Данный подход, увидим, отличается от деятельно развивающегося параллельного направления чтения мыслей, в котором используются обручи либо шлемы с датчиками электроэнцефалограммы. Учёные уже показывали, как таким методом возможно руководить гуманоидным роботом, а кое-какие компании кроме того подготовили к выходу на рынок коммерческие предположения BMI для того чтобы типа.
С одной стороны, использование громоздкого сканера fMRI (в отличие от носимых на голове датчиков мозговых волн) ограничивает испытания по чтению мыслей стенками лабораторий (либо больниц), с другой, оно разрешает значительно детальнее рассмотреть мгновенные трансформации в различных территориях коры, вызываемые тем либо иным раздражителем.
Сравнительно не так давно, кстати, исследователи из Нидерландов обучились выявлять в картине мозговой активности следы отдельных звуков речи, услышанной человеком. От данной работы до «телепатического общения» (которое так жаждет заполучить Пентагон) — настоящая пропасть. Но и первые шаги на данной ниве — серьёзны.
Вот и японские экспериментаторы во главе с Юкиясу растолковывают, что кроме того получение на экране 100-пиксельных чёрно-белых картин, «вынутых» из мозга человека, — только начало. А ведь и данный опыт, в случае если разобраться, не так уж несложен.
Итог нескольких тестов разработки на двух испытуемых. Вверху – предъявленные картины. Ниже – сырые реконструированные изображения, каждое получено по окончании одного сканирования.
Самый нижний последовательность – усреднённые восстановленные картины (иллюстрация Yukiyasu Kamitani et.al.).
О «приблизительном угадывании» путём перебора всех их сравнения и вариантов картинок с «мозговым отпечатком» тут не могло быть и речи. Это через чур непродуктивно, поскольку кроме того картина, складывающаяся из 100 тёмных либо белых квадратов, в пределе даёт 2100 вероятных комбинаций. Это значит, что машина должна была выявлять в картине активности нейронов фактически любой пиксель замеченной человеком картины по отдельности.
Для этого компьютер сперва должен был распознать закономерности в отклике тех либо иных нейронов на предъявляемые картины. Дабы научить машину, экспериментаторы показывали испытуемым 440 «стопиксельных» изображений (сгенерированных случайным образом), в течение 6 секунд каждое (с 6-секундными паузами). Томограф исправно поставлял компьютеру картинки активности групп нейронов в зрительной коре (причём — в трёхмерном пространстве).
После этого последовала ещё серия изображений, но уже не со случайным шумом, а с несложными фигурамилибо отдельными буквами.
По окончании для того чтобы обучения программа отыскала корреляцию между пикселями на тестовом изображении и включающимися нейронами. А как составленные «правила» были верны — было легко проверить.
Во-первых, людям предъявляли разнообразные простые картинки (в пределах всё той же решётки 10 х 10 точек), каковые с хорошей достоверностью «проявлялись» на мониторе. А во-вторых, испытуемым показывали слово Neuron — и оно кроме этого исправно отражалось на компьютерном экране.
Подобный опыт с предъявлением изображений в течение всего 2 секунд. Как видим, восстановленные по «визуальным мыслям» картины размыты, но в полной мере опознаваемы (иллюстрация Yukiyasu Kamitani et.al.).
Ключом к успеху стало построение моделей отклика групп нейронов на различном масштабе для одной и той же картины. Другими словами, взяв сигнал с томографа, программа разбивала гипотетическое поле 10 х 10 пикселей (которое ей предстояло заполнить) на перекрывающиеся территории различного размера (1 х 1 пиксель, 1 х 2 пикселя, 2 х 1, 2 х 2 и без того потом). После этого, пользуясь собственными шаблонами, она определяла, какова возможность, что эта несколько пикселей белая, тёмная либо есть комбинацией двух этих цветов.
Множество таких оценок разрешало машине выставлять цвет уже для каждого пикселя по отдельности, и такое реконструированное изображение выяснялось весьма родным к тому, что видел человек в действительности, не смотря на то, что, само собой разумеется, не совпадало всецело.
(Подробности данной работы возможно отыскать в статье в издании Neuron.)
Неспециализированный принцип декодирования «зрительных мыслей» (иллюстрация Yukiyasu Kamitani et.al.).
Дабы значительно повысить разрешение таких распознаваемых образов, а заодно — обучиться считывать и данные о цвете пикселей, потребуется ещё пара лет опытов. Но на горизонте вырисовываются привлекательные картины.
О рисовании одной силой мысли фактически картин либо дизайнерских набросков мы уже упоминали (кстати, в компанию данной области применения новой разработке напрашивается мысленное произведение музыки, испытания по которому уже давно идут).
Но это не всё. Медики, скажем, с радостью взяли бы «доступ» в мир галлюцинаций психически больных людей. Как упростилась бы контроль и диагностика за лечением заболевания, если бы врачи имели возможность на экране компьютера замечать — что мерещится их подопечным!
Конечная цель японских экспериментаторов выглядит уже чистой фантастикой – получение качественных цветных образов «напрямую» из мыслей человека (иллюстрации с сайтов pinktentacle.com и chunichi.co.jp).
Врач Кан Чэн (Kang Cheng) из японского университета изучения мозга (RIKEN Brain Science Institute) предвещает, что предстоящее развитие данной технологии в течение 10 лет не только разрешит добавить к картинам цвет, но по большому счету – перейти к буквальному чтению мыслей «с некой степенью точности».
