Изобразите в виде схемы взаимодействие мозг компьютер

Обновлено: 07.07.2024

Нейроинтерфейсы — технологии, позволяющие связать мозг и компьютер, — постепенно становятся рутиной: мы уже видели, как с помощью мысленных приказов человек может управлять протезом или набирать текст на компьютере. Означает ли это, что уже скоро станут реальностью обещания фантастов, писавших о полноценном чтении мыслей с помощью компьютера или даже о переносе человеческого сознания в вычислительную машину? Этой же теме — «Дополненная личность» — в 2019 году посвящен конкурс научно-фантастических рассказов «Будущее время», организованный благотворительным фондом «Система». Вместе с организаторами конкурса редакция N + 1 разбиралась, на что способны современные нейроинтерфейсы и сможем ли мы действительно создать полноценную связь мозг-компьютер. А помогал нам в этом Александр Каплан, основатель первой в России лаборатории интерфейсов в МГУ имени Ломоносова.

«Взломать» тело

У Нила Харбиссона врожденная ахроматопсия, лишившая его цветного зрения. Британец, решив обмануть природу, вживил себе специальную камеру, преобразующую цвет в звуковую информацию и отправляющую ее во внутреннее ухо. Нил считает себя первым официально признанным государством киборгом.

В 2012 году в США Эндрю Шварц из Питсбургского университета продемонстрировал парализованную 53-летнюю пациентку, которая при помощи имплантированных в мозг электродов посылала сигналы роботу. Она научилась управлять роботом настолько, что смогла сама подать себе плитку шоколада.

Современные биотехнологии дают возможность людям «взломать» ограничения своего тела, создавая симбиоз между человеческим мозгом и компьютером. Похоже, все идет к тому, что биоинженерия скоро станет частью повседневной жизни.

Что будет дальше? Философ и футурист Макс Мор, последователь идеи трансгуманизма, с конца прошлого столетия развивал идею перехода человека на новую ступень эволюции при помощи, помимо прочего, компьютерных технологий. В литературе и кинематографе последних двух столетий проскальзывает похожая игра футуристического воображения.

В мире научно-фантастического романа Уильяма Гиббсона «Нейромант», опубликованного в 1984 году, разработаны имплантаты, позволяющие их носителю подключаться к интернету, расширять интеллектуальные возможности и заново переживать воспоминания. Масамуне Сиро, автор экранизированной недавно в США культовой японской сай-фай манги «Призрак в доспехах», описывает будущее, в котором любой орган можно заменить на бионику, вплоть до полного переноса сознания в тело робота.

Как далеко смогут зайти нейроинтерфейсы в мире, где, с одной стороны, незнание множит фантазии, а с другой, фантазии зачастую оказываются провидением?

Разность потенциалов

Центральная нервная система (ЦНС) — это сложнейшая коммуникативная сеть. В одном только мозге больше 80 миллиардов нейронов, а связей между ними — триллионы. Каждую миллисекунду внутри и снаружи любой нервной клетки меняются распределения положительно и отрицательно заряженных ионов, определяя то, как и когда она отреагирует на новый сигнал. В состоянии покоя нейрон имеет отрицательный потенциал относительно окружающей среды (в среднем -70 милливольт), или «потенциал покоя». Иными словами, он поляризован. Если нейрон получает электрический сигнал от другого нейрона, то, чтобы он был передан дальше, положительные ионы должны попасть внутрь нервной клетки. Происходит деполяризация. Когда деполяризация достигает порогового значения (примерно -55 милливольт, однако это значение может меняться), клетка возбуждается и впускает все больше положительно заряженных ионов, благодаря чему создается положительный потенциал, или «потенциал действия».

Может ли ум напрямую соединяться с искусственным интеллектом, роботами и другими умами через технологии интерфейса мозг-компьютер (BCI), чтобы преодолеть наши человеческие ограничения?

Для некоторых это необходимо для нашего выживания. Действительно, нам нужно стать киборгами, чтобы соответствовать эпохе искусственного интеллекта.

Интерфейс мозг-компьютер (BCI):устройства, которые позволяют пользователям взаимодействовать с компьютерами только с помощью мозговой активности, причем эта активность обычно измеряется с помощью электроэнцефалографии (ЭЭГ).
Электроэнцефалография (ЭЭГ):физиологический метод выбора для записи электрической активности, генерируемой мозгом с помощью электродов, размещенных на поверхности кожи головы.
Функциональная магнитно-резонансная томография (МРТ):измеряет активность мозга, обнаруживая изменения, связанные с кровотоком.
Функциональная ближняя инфракрасная спектроскопия(fNIRS): использование ближней инфракрасной спектроскопии (NIRS) с целью функционального нейровизуализации. Используя fNIRS, активность мозга измеряется гемодинамическими реакциями, связанными с поведением нейронов.
Сверточная нейронная сеть (CNN):тип искусственной нейронной сети, используемой в распознавании и обработке изображений, который специально разработан для обработки данных пикселей.
Визуальная кора:часть коры головного мозга, которая получает и обрабатывает сенсорные нервные импульсы от глаз

Сара Марш, репортер Guardian, сказала: «Интерфейсы мозг-компьютер (BCI) не новая идея. Различные формы BCI уже доступны, от тех, которые располагаются на макушке головы и измеряют сигналы мозга, до устройств, которые вживляются в ткани вашего мозга ». (источник)

Большинство ИМК были изначально разработаны для медицинского применения. По словам Зазы Зуилхоф, ведущего дизайнера компании Tellart, «около 220 000 людей с нарушениями слуха уже пользуются кохлеарными имплантатами, которые преобразуют аудиосигналы в электрические импульсы, посылаемые непосредственно в их мозг». (источник)

Статья называетсяКраткая история компьютерных интерфейсов мозга»дает нам много информации, связанной с историей BCI. Действительно, в статье говорится: «В 1970-хВ Калифорнийском университете началось исследование ИМК, которое привело к появлению интерфейса мозг-компьютер. В центре внимания исследований и разработок BCI по-прежнему находятся в основном нейропротезы, которые могут помочь восстановить поврежденное зрение, слух и движение.Середина 1990-хОтмечено появление первых нейропротезных устройств для человека. BCI не читает мысли точно, но обнаруживает наименьшие изменения в энергии, излучаемой мозгом, когда вы мыслите определенным образом. BCI распознает определенные энергетические / частотные паттерны в мозге.

Июнь 2004ознаменовался значительным развитием в этой области, когда Мэтью Нэгл стал первым человеком, которому имплантировали BCI, BrainGate ™ от Cyberkinetics.

В декабре 2004Джонатан Вулпо и исследователи из центра Уодсворта при Департаменте здравоохранения штата Нью-Йорк выступили с исследовательским отчетом, демонстрирующим способность управлять компьютером с помощью BCI. В ходе исследования пациентов просили надеть колпачок с электродами для захвата сигналов ЭЭГ от моторной коры - части движений головного мозга.

BCI имеет долгую историюуправляющие приложения: курсоры, парализованные части тела, роботизированные руки, телефонный набор и т. д.

Недавно Элон Маск вошел в индустрию, объявив об инвестициях в $ 27 млн. В Neuralink, предприятие, целью которого является разработка BCI, улучшающего человеческое общение в свете ИИ. И Регина Дуган представила планы Facebook по изменяющей игру технологии BCI, которая позволила бы повысить эффективность цифровой связи ».

Согласно сДжон Томас,Томаш Мащик,Нишант Синха,Тильманн Клюге, а такжеДжастин Дауелс«Система BCI состоит из четырех основных компонентов: получение сигнала, предварительная обработка сигнала, извлечение признаков и классификация». (источник)

По словам Давиде Валериани, постдокторского исследователя интерфейсов мозг-компьютер в университете Эссекса: «Сочетание людей и технологий может быть более мощным, чем искусственный интеллект. Например, когда мы принимаем решения, основанные на комбинации восприятия и мышления, нейротехнологии могут быть использованы для улучшения нашего восприятия. Это может помочь нам в таких ситуациях, когда вы видите очень размытое изображение с камеры видеонаблюдения и решаете, вмешиваться или нет ”(источник)

Для Zaza Zuilhof, это зависит от того, кого вы спрашиваете и хотите ли вы пройти операцию. «Для целей этого мысленного эксперимента давайте предположим, что здоровые люди будут использовать только неинвазивные ИМК, которые не требуют хирургического вмешательства. В этом случае в настоящее время существуют две основные технологии: МРТ и ЭЭГ. Первый требует массивной машины, но второй, с такими потребительскими наушниками, как Emotiv и Neurosky, фактически стал доступен для более широкой аудитории ». (источник)

Тем не менее, BCI также может быть многообещающим инструментом взаимодействия для здоровых людей с несколькими потенциальными приложениями в области мультимедиа, виртуальной реальности или видеоигр среди множества других потенциальных приложений.

Давиде Валериани сказал: «Аппаратное обеспечение ЭЭГ абсолютно безопасно для пользователя, но записывает очень шумные сигналы. Кроме того, исследовательские лаборатории были в основном сфокусированы на том, чтобы использовать его, чтобы понять мозг и предложить инновационные приложения без какого-либо последующего наблюдения за коммерческими продуктами, но пока это изменится. (источник)

Компания Маск является последней. Его технология «нейронного кружева» включает в себя введение электродов в мозг для измерения сигналов. Это позволило бы получить нейронные сигналы гораздо лучшего качества, чем ЭЭГ, но это требует хирургического вмешательства. Недавно он заявил, что компьютерные интерфейсы необходимы для подтверждения превосходства человека над искусственным интеллектом ». (источник)

Эта технология все еще опасна! Действительно, мы сделали компьютеры и знаем,в точкукак они работают и как их «модифицировать». Однако у нас не было мозгов, и мы до сих пор не очень хорошо знаем, как они работают. Тем более, как «безопасно» и успешно «вторгаться» в них. Мы добились большого прогресса, но пока недостаточно.

Проще говоря, ваш мозг состоит из двух основных разделов:

Лимбическая система отвечает за наши первичные побуждения, а также те, которые связаны с выживанием, такими как еда и размножение. Наш неокортекс является наиболее продвинутой областью, и он отвечает за логические функции, которые делают нас хорошими в языках, технологиях, бизнесе и философии.

Человеческий мозг содержит около 86 нервных клеток, называемых нейронами, каждый из которых индивидуально связан с другими нейронами посредством соединителей, называемых аксонами и дендритами. Каждый раз, когда мы думаем, двигаемся или чувствуем, нейроны работают. Действительно, мозг генерирует огромное количество нейронных активностей. В основном, небольшие электрические сигналы, которые перемещаются от нейрона к нейрону, делают работу.

Есть много сигналов, которые можно использовать для BCI. Эти сигналы можно разделить на две категории:
- шипы
- Полевые потенциалы

Мы можем обнаружить эти сигналы, интерпретировать их и использовать их для взаимодействия с устройством.

По словам Бориса Реудеринка, консультанта по машинному обучению в Cortext, «одна из самых больших проблем в интерфейсах мозг-компьютер заключается в том, что сигналы мозга слабые и очень изменчивые. Вот почему трудно обучить классификатор и использовать его на следующий день, не говоря уже о том, чтобы использовать его по другому предмету ». (источник)

Чтобы вставить Neural Lace, внутри черепа помещается крошечная игла со свернутой сеткой. Сетка затем вводится и раскрывается при инъекции, охватывая мозг.

Искусственному интеллекту или машинному обучению уделяется большое внимание при разработке приложений BCI для решения сложных задач в нескольких областях, в частности в области медицины и робототехники.С тех пор AI / ML стал наиболее эффективным инструментом для систем BCI. (источник)

Давайте попробуем подробнее остановиться на этих аспектах ниже. Каждый из этих аспектов имеет свою область исследований.

Производство сигналов
Есть два способа получения этих сигналов мозга:

Согласно сСьорд ЛагардИнженер-программист Quintiq,«Активное генерирование сигналов имеет то преимущество, что обнаружение сигналов легче, поскольку вы контролируете стимулы; Вы знаете, например, когда они представлены. Это сложнее в случае, когда вы просто читаете мозговые волны от субъекта ».

Обнаружение сигнала
Существуют разные способы обнаружения мозговых сигналов. Наиболее известными являются ЭЭГ и МРТ, но есть и другие. ЭЭГ измеряет электрическую активность мозга, МРТ - кровоток в мозге. Каждый из этих методов имеет свои недостатки. Некоторые из них имеют лучшее временное разрешение (они могут определять активность мозга, как это происходит), в то время как другие имеют лучшее пространственное разрешение (они могут точно определять местоположение активности).

Идея остается в значительной степени той же самой для других типов методов измерения.

Обработка сигнала
Одна из проблем, с которой мы столкнемся при работе с данными мозга, заключается в том, что эти данные содержат много шума. Например, при использовании ЭЭГ такие данные, как шлифовка зубов, будут отображаться в данных, а также движения глаз. Этот шум должен быть отфильтрован.

Данные теперь могут быть использованы для обнаружения реальных сигналов. Когда субъект активно генерирует сигналы, мы обычно осознаем, какие сигналы мы хотим обнаружить. Одним из примеров является волна P300, которая представляет собой так называемый связанный с событием потенциал, который будет проявляться при представлении нечастого, относящегося к задаче стимула. Эта волна будет отображаться как большой пик в ваших данных, и вы можете попробовать различные методы, от машинного обучения, для обнаружения таких пиков.

Передача сигнала
Когда вы обнаружили интересные сигналы в ваших данных, вы хотите использовать их каким-то образом, который будет полезен для кого-то. Субъект может, например, использовать BCI для управления мышью с помощью воображаемого движения. Одна из проблем, с которой вы здесь столкнетесь, заключается в том, что вам нужно максимально эффективно использовать данные, которые вы получаете от субъекта, и в то же время вы должны помнить, что BCI могут совершать ошибки. Текущие BCI относительно медленны и время от времени делают ошибки (например, компьютер думает, что вы представляли движение левой рукой, в то время как на самом деле вы представляли движение правой рукой) ». (источник)

В случае нейронного кружева он интегрируется с человеческим мозгом. Это создает идеальный симбиоз между человеком и машиной.

Эти два раздела работают симбиотически друг с другом. Слой ИИ или третий интерфейс может лежать поверх них, погружая нас в совершенно новый и продвинутый мир и давая нам возможность оставаться на одном уровне с нашими друзьями-роботами ИИ.

Это соединение может дать нам доступ к увеличенному объему памяти, удивительным возможностям машинного обучения и, да, к телепатическому общению с кем-то другим без необходимости говорить.

«У вас есть машинное расширение в виде телефона, компьютера и всех ваших приложений. , , безусловно, у вас больше власти, больше возможностей, чем у президента Соединенных Штатов 30 лет назад », - Элон Маск

По словам Амит Рэя, автора «Сострадательного искусственного интеллекта»: «Самые сложные ИМК - это« двунаправленные »ИМК (BBCI), которые могут как регистрировать нервную систему, так и стимулировать ее.
Компьютерные интерфейсы мозга можно разделить на три основных группы:

В инвазивных методах необходимо использовать специальные устройства для сбора данных (мозговые сигналы), эти устройства вводятся непосредственно в мозг человека с помощью критической операции. В полуинвазивных устройствах устройства вставляются в череп на вершине человеческого мозга. В целом, неинвазивные устройства считаются самыми безопасными и недорогими устройствами. Однако эти устройства могут захватывать только «более слабые» сигналы человеческого мозга из-за обструкции черепа. Обнаружение сигналов мозга достигается с помощью электродов, размещенных на коже головы.

Существует несколько способов разработки неинвазивного интерфейса мозг-компьютер, такого как ЭЭГ (электроэнцефалография), МЭГ (магнитоэнцефалография) или МРТ (магнитно-резонансная томография). Интерфейс мозг-компьютер на основе ЭЭГ является наиболее предпочтительным типом ИМК для обучения. Сигналы ЭЭГ обрабатываются и декодируются в управляющих сигналах, которые компьютер или роботизированное устройство легко воспринимает. Операция обработки и декодирования является одним из самых сложных этапов построения качественного ИМК. В частности, эта задача настолько сложна, что время от времени научные учреждения и различные компании-разработчики программного обеспечения организуют конкурсы для создания классификации сигналов ЭЭГ для BCI.

CNN - это тип нейронной сети искусственного интеллекта, основанный на зрительной коре. Он способен автоматически извлекать соответствующие функции из входных данных, оптимизируя весовые параметры каждого фильтра посредством прямого и обратного распространения, чтобы минимизировать ошибку классификации.

Слуховая кора человека устроена в иерархической организации, аналогичной зрительной коре. В иерархической системе ряд областей мозга выполняет различные типы вычислений для сенсорной информации при ее прохождении через систему. Более ранние области или «первичная зрительная кора» реагируют на простые функции, такие как цвет или направление. Последующие этапы позволяют выполнять более сложные задачи, такие как распознавание объектов.

Одним из преимуществ использования техники глубокого обучения является то, что она требует минимальной предварительной обработки, поскольку оптимальные настройки запоминаются автоматически. Что касается CNN, извлечение и классификация признаков объединены в единую структуру и оптимизируются автоматически. Кроме того, данные временных рядов fNIRS людей были введены в CNN. Поскольку свертка выполняется в режиме скользящего показа, процесс извлечения признаков CNN сохраняет временную информацию данных временных рядов, полученных fNIRS.

Тем не менее, одна из самых больших проблем в исследованиях BCI - нестационарность мозговых сигналов. Эта проблема мешает классификатору находить реальные сигналы в сигналах, что приводит к плохим характеристикам классификации ». (источник)

Осия СиуАспирантка по аэрокосмической технике сказала, что «Для прямого« мозгового »интерфейса вам нужен набор электродов ЭЭГ, а для периферической нервной системы вам нужны электроды ЭМГ.

После того, как вы сможете получить эти данные на свой компьютер, вам нужно будет выполнить некоторую обработку сигнала. Такие вещи, как фильтрация по частоте сигнала, который вы ищете, отфильтровывают шум окружающей среды (шум 60 Гц от электрических линий является обычным явлением в США…).

После этого вам нужно подумать о том, что вы на самом деле пытаетесь заставить систему делать. Вам нужно это, чтобы обнаружить определенное изменение в ваших образцах ЭЭГ, когда вы думаете о синем цвете? Или вам это нужно, чтобы обнаружить изменения в вашей ЭМГ, когда вы двигаете пальцем? Как насчет компьютера? Должен ли он запустить программу? Введите текст?

Подумайте, как вы собираетесь маркировать свои данные. Как компьютер узнает изначально, что конкретный сигнал имеет смысл?

Это контролируемое обучение. Выберите предпочитаемый метод классификации, получите много помеченных данных и обучите свою систему. Вы можете использовать такие методы, как перекрестная проверка, чтобы проверить, выполняют ли ваши обученные модели то, что, как вы думаете, они должны делать.

После всего этого у вас может появиться нечто, похожее на интерфейс мозг-компьютер ». (источник)

Вы можете найти несколько общедоступных наборов данных ЭЭГ на следующем веб-сайте:

Последние достижения в области искусственного интеллекта и обучения с помощью нейронных технологий и применение различных методологий обработки сигналов позволили нам лучше понять и затем использовать мозговую деятельность для взаимодействия с компьютерами и другими устройствами.

Технология интерфейса мозг-компьютер (ИМК) была впервые разработана как инструмент, обеспечивающий базовое взаимодействие, такое как общения, без движения. В последние несколько лет произошел сдвиг в сторону новых групп пациентов и приложений, таких как помощь пациентам с инсультом в восстановлении движения или помощь нейрохирургам в более точном картировании мозга для более быстрого и безопасного проведения операций.

Рассмотрим детальнее основные виды современных интерфейсов мозг-компьютер. Их можно разделить на четыре основных группы:

Речевые интерфейсы мозг-компьютер

Интерфейсы для управления киборгами (чипирование живых организмов)

Интерфейсы для реабилитации

Речевые интерфейсы

1) ИМК на основе ЭКоГ на основе слухового внимания к естественной речи

Люди, страдающие тяжелыми нейродегенеративными заболеваниями (например, поздней стадией бокового амиотрофического склероза (БАС)), в конечном итоге теряют мышечный контроль и больше не могут жестикулировать или говорить. Недавние исследования показывают, что электрокортикографические (ЭКоГ) сигналы в гамма-диапазоне (т.е. 70–170 Гц) могут использоваться для определения идентичности звуковых речевых стимулов.

В своей работе [1] авторы изучают эту возможность, реализуя систему реального времени на основе BCI2000, которая использует сигналы ЭКоГ для идентификации присутствующего говорящего.

Задача испытуемого заключалась в том, чтобы выборочно проявить внимание к одному из двух одновременно выступающих говорящих. Авторы смешали две (монофонические) речи в бинауральную презентацию, в которой поток, передаваемый каждому уху, содержал 20% ∶ 80% громкости одного говорящего и 80% ∶ 20% громкости другого, соответственно.

Созданный интерфейс получает звуковой сигнал через микрофон или предварительно загруженный файл. Затем фильтр корреляции сигналов вычисляет значения корреляции, то есть корреляцию между двумя (монофоническими) речами, чтобы определить, на какого говорящего пользователь направляет свое внимание. Наконец, фильтр увеличения обратной связи увеличивает громкость обслуживаемого докладчика и уменьшает громкость другого говорящего, чтобы обеспечить обратную связь с субъектом

2) Распознавание непрерывной речи с помощью интерфейса мозг-компьютер

В течение последних двух десятилетий исследования в области интерфейса мозг-компьютер (ИМК) работали над практическими и полезными приложениями для коммуникации и управления. Тем не менее, многие методы. использующие ИМК, страдают от неестественного взаимодействия или трудоемкого обучения пользователей. Поскольку непрерывная речь обеспечивает очень естественный подход к общению, долгое время стоял вопрос, можно ли разработать ИМК, которые распознают речь по активности коры головного мозга. Воображаемая речь как парадигма ИМК для ограниченных пациентов означала бы значительное улучшение скорости общения и удобства использования без необходимости громоздкого написания с использованием отдельных букв .

В исследовании с 7 участниками [2] авторы впервые показали, что непрерывная речь представлена в мозгу как последовательность фонем(звуков). Эти фонемы могут быть декодированы из записей электрокортикографии (ЭКоГ) и позволяют составить произнесенные слова. Все участники перенесли операцию в связи с трудноизлечимой эпилепсией и согласились участвовать в нашем эксперименте. Расположение электродов определялось исключительно исходя из клинических потребностей пациентов.

Распознавание отдельных фонем

В эксперименте авторы одновременно записывали ЭКоГ-активность и форму звуковой волны, в то время как участники читали вслух разные тексты, состоящие из детской литературы, фанфиков или политических выступлений. Авторы согласовали нейронные данные по времени с маркировкой фонем, полученных из звуковых данных, с помощью собственного инструментария распознавания речи BioKIT. Это позволило идентифицировать нейронную активность, соответствующую производству каждой фонемы.

Затем авторы объединили фонемное(звуковое) представление корковой активности с языковой информацией, используя технологию автоматического распознавания речи, чтобы реконструировать слова в мысленно произнесенных фразах. Информация о языке включается в процесс декодирования через языковую модель и словарь произношения. Словарь произношения содержит отображения фонемных последовательностей в слова. Языковая модель статистически моделирует синтаксическую и семантическую информацию, предсказывая следующие слова с учетом предшествующих слов.

Результаты показали, что с ограниченным набором слов в словаре интерфейс может восстанавливать полные предложения. На рисунке показаны различные этапы декодирования непрерывно произносимых фраз из нейронных данных.

Например, последовательность воображаемых фонем (звуков)

Интерфейс распознает и произнесёт как

Моторные интерфейсы

Интерфейс мозг-машина для управления движением пальцев

Одно из направлений исследования интерфейса мозг-машина (ИММ) - разработку усовершенствованных нейронно-контролируемых протезов для восстановления или замены двигательной функции у пациентов с параличом верхней конечности. Чтобы развить высокоэффективный моторный ИММ, необходимо понимать, как сигналы, полученные от нервных имплантатов, кодируют грубые и тонкие движения верхних конечностей.

Электрокортикография (ЭКоГ) широко изучалась для моторного декодирования и контроля сигналов. По сравнению с другими инвазивными и неинвазивными методами нейронной записи, ЭКоГ обеспечивает хороший компромисс между степенью охвата, качеством сигнала и стабильностью сигнала.

Хотя принципы представления движений рук и пальцев в моторной коре не до конца понятны, некоторая степень разделимости может быть обнаружена в сигналах ЭКоГ, записанных с сенсомоторной коры во время движений отдельных пальцев.

Сетка ЭКоГ с высокой плотностью 8 × 16 была имплантирована субдурально в сенсомоторные области 20-летнего мужчины, страдающего трудноизлечимой эпилепсией. Матрица высокой плотности охватывала центральную борозду предполагаемых сенсомоторных областей руки.

Предварительное картирование высокой гамма-активации на сетке hd-ECoG было выполнено с использованием задачи постукивания пальцем и пассивной вибротактильной стимуляции.

Иерархический классификатор использовался для предсказания того, какой палец двигался, на основе корреляторов гамма движений пальцев. Классификатор сначала произвел двоичную классификацию того, двигается ли палец или нет. Если движение пальца имело место, то выполнялась последующая 5-ступенчатая классификация того, какой палец двигался.

Исследование впервые показало, что сигналы ЭКоГ, записанные с сенсомоторной коры головного мозга человека, могут быть использованы для онлайн-контроля движений отдельных пальцев на подвижной протезной руке. Модель декодирования, использованная в этом исследовании, не требовала длительного периода обучения или изучения нового отображения для управления движениями пальцев. Вместо этого она извлекала информацию из нейронных сигналов, связанных с движениями пальцев, что позволяло естественным образом управлять пальцами протеза. Анализируя точность декодирования нейронных активаций, которые предшествуют временной шкале сенсорной обратной связи, авторы обнаружили, что, вероятно, ИМК может обеспечить индивидуальный контроль пальцев даже при отсутствии сенсорной афферентной информации, например, в случае пациентов с травмами спинного мозга.

Интерфейсы для управления киборгами (чипирование живых организмов)

Авторы работы [4] создали киборга путем хирургического соединения портативного микростимулятора с нервами антенн живого таракана. Применяя специальную микростимуляцию, киборгом можно дистанционно управлять поворотами влево и вправо. Намерение движения может быть получено из человеческого мозга через интерфейс мозг-компьютер. Электроэнцефалография (ЭЭГ) на основе установившегося визуального вызванного потенциала (SSVEP) использовалась для передачи намерений человека. Были разработаны и проведены эксперименты с различными вариантами испытаний для проверки производительности предложенной системы. Результаты экспериментов показали, что средние показатели успешности реакций человеческого ИМК и киборга в одном решении превышали 85%. Киборгом можно было успешно управлять через человеческий мозг, чтобы он мог пройти по заранее заданным дорожкам с 20% успешностью.

Структура разработанной системы показана на рис. 1. ИМК на основе SSVEP с тремя состояниями использовался для декодирования намерения контроллера. Три мигающих квадратных блока представляли источник стимуляции SSVEP , которые были расположены отдельно вверху в середине, внизу слева и внизу справа на экране ПК. Частота мерцания каждого блока была установлена равной 12,5, 8,33, 6,818 Гц, обозначая команды управления покоя, левого и правого поворота соответственно. Человек (контролер) сидел перед экраном ПК, чтобы управлять направлением, с портативным устройством захвата ЭЭГ.

Таракан-киборг был разработан после несложной хирургической операции. Авторы хирургическим путем установили микростимулятор на таракана, вставив три крошечные серебряные иглы (левый, правый, заземляющий электрод) в усики таракана и в грудную клетку. Схема электростимуляции для киборга представляла собой прямоугольный импульс с амплитудой 1,5 В, частотой 50 Гц, коэффициентом заполнения 50% и шириной 500 мс. Такая конфигурация могла вызвать умеренную и правильную реакцию киборгов и, следовательно, гарантировать хорошую производительность онлайн-контроля.

Были созданы три таракана-киборга. В каждом эксперименте таракана помещали на расстоянии около 1,5 м от главного компьютера. Для каждого испытуемого киборга было проведено десять контрольных онлайн-испытаний. Перед онлайн-контролем каждый таракан сначала прошел 120-секундный тренировочный прогон для оптимизации классификатора SSVEP. Между двумя последовательными испытаниями давали 120-секундный отдых, чтобы свести к минимуму эффекты от усталости как у людей, так и у насекомых. Кроме того, в этом исследовании были проведены эксперименты для контрольных групп. Для системы в экспериментах были спроектированы и испытаны два типа трасс: S-образная трасса и трасса для обхода препятствий.

Результаты экспериментов показали, что средний показатель успешности онлайн-экспериментов, достигнутых с этой системой, составил 20% для S-образной дорожки. При использовании трассы с препятствиями вероятность успешного онлайн-контроля может достигать 40%. Демонстрационное видео успешной навигации по S-образному треку:

Интерфейсы для реабилитации

Облегчение восстановления корковой активности на основе ИМК, связанной с началом походки после разовой многоуровневой хирургии при церебральном параличе.

Во многих случаях развитие вторичных костно-мышечной патологии при ДЦП способствует потере функции, ухудшению походки, усталости, ограничению активности и ограничению жизнедеятельности. Одна из основных методик - многоуровневая ортопедическая хирургия, направленная на исправление всех деформаций и улучшение походки. После этой процедуры часто требуется период до 2 лет, чтобы выйти на уровень функционального плато.

Большинство методов реабилитации после хирургического вмешательства основаны на периферической реорганизации моторного контроля, инициируемой периферической физиотерапией. Однако ЦП поражает в первую очередь структуры мозга. Это говорит о том, что и периферическая нервная система (ПНС), и центральная нервная система (ЦНС) должны быть интегрированы в физиотерапевтическую и когнитивную реабилитационную терапию. Именно такой подход предлагается в этом направлении создания интерфейсов мозг-компьютер.

Предлагается [5] система ИМК, состоящая из двух этапов: первая - как повторное обучение корковой активности, связанной с походкой (см. Рис. 3): была разработана виртуальная среда, в которой было предложено представить, что они начали ходить. Второй - активный контроль реабилитационной терапии на роботизированной платформе. Таким образом, первый месяц после операции, когда пациент обездвижен, является наиболее подходящим периодом для подготовки мозга к новым образцам походки, которые позже будут продвигаться в процессе физической реабилитации с помощью роботов. С таким подходом удаётся снизить период реабилитации до 2 месяцев.

Собственный интерфейс

Для разрабатываемой мною роботизированной руки

Было решено, в качестве одной из систем управления, попытаться реализовать некое подобие ИМК. Пока что это только двухэлектродный энцефалограф, но в дальнейшем планируется сборка полноценного медицинского энцефалографа.

Электрическая схема, схема электродов были взяты из работ других пользователей, и не представляют собой каких-либо новаторских решений. Данным устройством удалось считать реакцию на моргание

Источники

Интерфейс мозг-компьютер (англ. brain-computer interface (BCI); ИМК, нейрокомпьютерный интерфейс, прямой нейронный интерфейс) принимает сигналы мозга, анализирует их и преобразуют в команды, после чего они (команды) передаются на управляемые устройства (компьютер, протез и т.п.), которые выполняют желаемые действия. 1

На сегодняшний день интерфейс мозг-компьютер в основном применяют для реабилитации и восстановления людей с нервно-мышечными и нейродегенеративными расстройствами. Помимо этого технология нейроинтерфейсов активно развивается в сферах биопротезирования, когда на их основе создают “умные” протезы, а также в сфере нейрогейминга, где интерфейс мозг-компьютер позволяет взаимодействовать с виртуальной или дополненной реальностью. Некоторые люди с тяжелыми формами инвалидности уже используют нейроинтерфейсы для базового общения в своей повседневной жизни.

Благодаря более совершенному оборудованию для получения сигналов, повышению количества исследований и высокой надежности, интерфейс мозг-компьютер может стать важной технологией взаимодействия и коммуникации для людей с ограниченными возможностями, а, возможно, и для населения в целом.

Что такое интерфейс мозг-компьютер?

Инвазивные: Электроды отводят сигнал нейронов непосредственно от мозга, и для их подключения требуются опасная и дорогостоящая операция. Инвазивные интерфейсы обеспечивают наиболее эффективное управление, но на данный момент их широкое распространение невозможно. Неинвазивные: Электроды считывают электрические сигналы, возникающие при работе мозга, с кожи головы. Благодаря дешевизне и безопасности "подключения" могут быть использованы для широкого круга задач, однако их скорость и точность работы ограничены

Интерфейс мозг-компьютер – это система, которая обеспечивает связь между мозгом и внешним устройством. Интерфейс мозг-компьютер регистрирует биоэлектрическую активность головного мозга , анализирует ее и переводит в команды, которые передаются на управляемое устройство для выполнения желаемого действия.

Электроэнцефалограф сам по себе не является ИМК, поскольку он только записывает сигналы мозга и не генерирует выходной сигнал, который должен обеспечить взаимодействие пользователя с окружающей средой (например, управление курсором компьютерной мыши).

Система связи, активируемая голосом или мышечным усилием (полноценным движением), так же не является ИМК, поскольку нет прямой связи с мозгом.

Ошибочно полагать, что интерфейсы мозг-компьютер – это устройства для чтения мыслей. Интерфейс мозг-компьютер распознает ранее выявленные паттерны мозговой активности на электроэнцефалограмме, и работа с ИМК возможна только после специального обучения по взаимодействию пользователя с ИМК. Пользователь, после периода обучения, генерирует сигналы, кодирующие намерение, а ИМК в свою очередь распознает эти сигналы и делегирует выполнение необходимой команды (которая представляет собой намерение пользователя) подключенному к ИМК устройству.

Методы регистрации мозговой активности в ИМК

Рисунок 3. Схема формирования потенциала действия 10 Теоретически, для управления интерфейсом мозг-компьютер можно использовать любое проявление активности головного мозга, будь то изменение магнитного поля, ток оксигенированной крови или изменение полярности мембраны нейронов. Наиболее часто изучаемые сигналы – это биоэлектрическая активность нейрональных клеток, связаннная с изменениями полярности постсинаптической мембраны нейронов, что, в свою очередь, происходит из-за активации потенциалзависимых или ионно-управляемых каналов.

Неинвазивные методы регистрации мозговой активности

В ранних работах по нейрокомпьютерным интерфейсам использовались в основном неинвазивные методы регистрации электрической активности . Электроды для регистрации накладывались на волосистую часть головы, что позволяло легко и недорого, а главное абсолютно безопасно регистрировать биоэлектрическую активность мозга.

Основным недостатком записи неинвазивными методами исследования является то, что электрические сигналы значительно ослабляются в процессе прохождения через твердую мозговую оболочку, череп и кожу головы. Таким образом, большая часть информация может быть потеряна.

Развитие методов функциональной нейровизуализации с высоким пространственно-временным разрешением предоставляет новые потенциальные методы записи сигналов мозга для управления интерфейсом мозг-компьютер.

Магнитоэнцефалография (МЭГ) измеряет в основном магнитные поля, создаваемые электрическими токами, идущими по аксонам пирамидных клеток. Так, например, мю-ритм, обнаруженный с помощью МЭГ, использовался сенсомоторной системой ИМК для управления курсором компьютера. 2 Также считается, что модуляция заднего альфа-ритма, записанная с помощью МЭГ, обеспечивает удовлетворительный контроль над двумерной задачей (работа с ИМК в двумерном пространстве) ИМК. 3

Функциональная магнитно-резонансная томография (фМРТ, fMRI) и функциональная визуализация в ближнем инфракрасном диапазоне (fNIR) измеряют оксигенацию крови в капиллярах головного мозга и коррелируют с нейронной активностью. Так были продемонстрированы исследования, в которых осуществлялось управление роботизированной рукой только посредством мыслительных процессов человека с использованием системы ИМК на основе фМРТ в реальном времени. 4 5 Эти методы ИМК находятся на ранних этапах исследований и разработок. Обследование посредством МЭГ и фМРТ отличается высокой дороговизной, при этом необходимое оборудование крайне габаритное и может занимать целые комнаты, а функциональная визуализация в ближнем инфракрасном диапазоне имеет относительно низкое время отклика, т.е. обладает низким разрешением во времени.

Инвазивные методы регистрации мозговой активности

Инвазивные методы получения сигнала могут быть представлены электрокортикографией – метод регистрации биоэлектрической активности головного мозга с помощью имплантированных электродов.

Рисунок 4. Типы интерфейса мозг-компьютер

ЭЭГ - регистрируется на поверхности кожи головы. ЭКоГ - регистрируется на поверхности коры головного мозга. Сигнал от нейронов - регистрируется электродами, вживленными в ткани

А также инвазивные методы могут быть реализованы с помощью небольших микроэлектродных матриц, размещенных субдурально (под твердой мозговой оболочкой). Эти матричные системы могут регистрировать потенциалы действия отдельных нейронов и потенциалы локального поля . Недостатками таких имплантатов являются: инвазивность (необходимость трепанации черепа и нейрохирургическая имплантация), ограниченная область записи и все еще не решенный вопрос о долгосрочной функциональной стабильности записывающих электродов.

Помимо скальповой и интракортикальной, применяется электрокортикография с использованием сеточных (grid electrodes) или полосовых (strip electrodes) электродов или стереотаксические глубинные макроэлектроды, которые регистрируют активность клеток интрапаренхимально, либо из желудочков головного мозга. 6 Преимущество данных электродов заключается в том, что они могут записывать данные с больших участков мозга, чем внутрикортикальные микроматрицы. Однако эти электроды также нуждаются в нейрохирургической имплантации, и вопрос о долговременной стабильности записи электродного сигнала пока остается без ответа.

По мере того как интерфейсы мозг-компьютер начинают применяться в клинической практике, выбор метода регистрации, вероятно, будет в значительной мере зависеть от потребностей отдельного пользователя ИМК, а также от технологической поддержки и имеющихся ресурсов.

Принцип работы и устройство интерфейса мозг-компьютер

Задачей интерфейса мозг-компьютер является обнаружение и количественная оценка характеристик сигналов мозга , указывающих на намерения пользователя, и преобразование этих функций в режиме реального времени в команды для устройства, которое выполняет намерение пользователя.

Для реализации этой задачи система ИМК выполняет 4 последовательных функциональных этапа: 7

Обнаружение сигнала (англ. signal acquisition );
Выделение паттерна/признака (англ. feature extraction );
Трансляция паттернов/признаков в команды управления (англ. feature translation );
Передача команды на управляемое устройство (англ. device output ).

Эти 4 этапа контролируются операционным протоколом, который определяет начало и время работы, методы обработки сигналов, характер команд устройства и контроль за производительностью. Эффективный рабочий протокол позволяет нейроинтерфейсу быть гибкой системой и удовлетворять конкретные потребности каждого пользователя.

Выделение паттерна

Выделение паттерна или признака – это процесс анализа цифровых сигналов, позволяющий отличить характеристики сигнала, связанные с намерениями человека от постороннего фона. Признаки сигнала могут переводиться в более компактную форму, пригодную для перевода в выходные команды. Эти паттерны должны иметь сильную корреляцию (прямую зависимость) с намерениями пользователя. Поскольку значительная часть релевантной (т.е. наиболее сильно коррелированной) активности мозга является либо временной, либо колебательной, ее выделение, как правило, основывается на изменение амплитуды сигнала во времени, задержки отклика электроэнцефалограммы (P300), изменение мощности в определенных частотных диапазонах или скорости возбуждения отдельных нейронов коры головного мозга.

Трансляция паттернов

Полученные в ходе предыдущего этапа паттерны сигнала затем обрабатываются и преобразуются в команды для устройства вывода (т.е. команды, которые выполняют намерение пользователя). Например, уменьшение мощности в заданной полосе частот может быть преобразовано в перемещение курсора компьютера вверх, или потенциал P300 может быть преобразован в выбор буквы, которая его вызвала.

Алгоритм трансляции (преобразования паттернов) должен быть динамичным, чтобы приспосабливаться к спонтанным изменениям в характеристиках сигнала и адаптироваться к ним.

Передача команды на управляемое устройство

Команды для устройства вывода должны соответствовать протоколу взаимодействия с управляемым устройством (программное обеспечение ИМК и управляемых устройств должны быть совместимы). В зависимости от устройства, команды вывода могут производить выбор буквы, управление курсором, управление роботизированной рукой и т.д. Работа устройства обеспечивает обратную связь с пользователем, тем самым замыкая контур управления.

Рисунок 5. Устройства подключаемые к интерфейсу мозг-компьютер

Виртуальная клавиатура для инвалидов, тренажеры для нейрореабилитации, роботизированные протезы, экзоскелеты, роботизированные инвалидные кресла, управление бытовой техникой, умный дом, рисование для инвалидов, компьютер для игр, дополнительное тело

Будущее интерфейса мозг-компьютер: проблемы и перспективы

Исследования и разработка интерфейсов мозг-компьютер вызывают огромный интерес у ученых, инженеров и клиницистов. Повышенный интерес отражает обширные перспективы, которые может предоставить нейрокомпьютерный интерфейс как для науки, так и для практических целей. Со временем ИМК можно будет использовать в плановом порядке для протезирования или восстановления важных функций у людей с тяжелыми формами инвалидности из-за нервно-мышечных расстройств; они также могут улучшить реабилитацию людей с инсультами, травмами головы и другими заболеваниями.

В настоящее время перед исследователями и разработчиками интерфейсов стоит ряд проблем в трех критических областях:

оборудование для регистрации сигналов;
проблема выбора индивидуального ИМК;
эксплуатационная надежность системы и ее стабильность работы.

Оборудование для сбора сигналов

Все нейрокомпьютерные интерфейсы зависят от датчиков и связанного с ними оборудования, которое регистрирует сигналы мозга. Улучшение качества данного оборудования обуславливает повышение эффективности интерфейса мозг-компьютер. В идеале, интерфейс мозг-компьютер неинвазивного типа на основе ЭЭГ должен:

иметь электроды, не требующие нанесения проводящего геля (т.е. разработка сухих электродов);
должен быть портативным;
должен иметь удобные и косметически приемлемые крепления;
быть простым в настройке;
работать длительное время без необходимости технического обслуживания;
хорошо работать вне зависимости от окружающей среды;
работать с помощью телеметрии, а не требовать проводного подключения;
быть совместимым с различным программным обеспечением.

Интерфейс мозг-компьютер, в котором используются имплантированные электроды, сталкивается с рядом сложных проблем, связанных с безопасностью применения:

должен оставаться целым, функциональным и надежным в течение десятилетий;
записывать стабильные сигналы на протяжении многих лет;
передавать записанные сигналы телеметрически;
обладать возможностью заряжаться на месте (или иметь батареи, рассчитанные на годы или десятилетия);
иметь внешние элементы, которые прочны, удобны и стерильны;
быть совместимым с программным обеспечением.

Хотя в последние годы были достигнуты большие успехи, и в отдельных случаях имплантаты с микроэлектродами продолжали функционировать в течение многих лет, неясно, какие решения будут наиболее успешными. Нейрокомпьютерные интерфейсы, основанные на ЭКоГ или на потенциале локального поля, могут обеспечить более стабильную работу, чем ИМК, которые основаны на потенциалах действия отдельных нейронов. Тем не менее, вероятно, что для полной реализации своих возможностей инвазивным ИМК потребуются существенные, пока еще неопределенные инновации в сенсорной технологии. Большая часть необходимых исследований будет по-прежнему полагаться в первую очередь на исследования на животных, до начала массового тестирования на людях.

Проблема выбора индивидуального ИМК

По мере того, как работа продолжается, и нейроинтерфейсы начинают использоваться в реальной клинической практике, возникают 2 важных вопроса:

насколько эффективен и надежен данный ИМК;
какие ИМК лучше всего подходят, для каких целей.

Чтобы ответить на первый вопрос, необходимо длительное и широкомасштабное тестирование. Ответ на второй вопрос потребует консенсуса среди исследовательских групп относительно того, какие критерии следует использовать для сравнения различных интерфейсов мозг-компьютер и как нужно оценивать их производительность.

Наиболее очевидным примером является вопрос о том, достаточна ли эффективность ИМК, использующих интракортикальные сигналы, по сравнению с ИМК, которые используют сигналы ЭКоГ или даже сигналы ЭЭГ. Для многих потенциальных пользователей инвазивные интерфейсы мозг-компьютер должны будут обеспечивать гораздо лучшую производительность, чтобы быть предпочтительнее неинвазивных ИМК и оправдать риск и затраты операционного вмешательства. Данные на сегодняшний день не дают однозначного ответа на этот ключевой вопрос. 8

Наблюдается тенденция к тому, что неинвазивные ИМК на основе ЭЭГ или fNIR чаще используются в основном для базовой коммуникации, тогда как ИМК на основе ЭКоГ применяются для контроля сложных движений.

Разработка интерфейса мозг-компьютер для людей с ограниченными возможностями требует четкого подтверждения их реальной ценности с точки зрения эффективности, практичности (включая рентабельность) и влияния на качество жизни. 9 Например, валидация технологии ИМК для восстановления после инсульта или при других расстройствах также потребует тщательного сравнения с результатами традиционных методов реабилитации.

Современные нейрокомпьютерные интерфейсы с учетом их ограниченных возможностей и потенциальных рисков использования, могут быть полезными в основном для людей с очень тяжелыми формами инвалидности. Поскольку численность таких пациентов относительно невелика, ИМК являются невыгодным решением с точки зрения окупаемости технологии: на сегодняшний день нет стимула для массового внедрения капитала в данную технологию. Инвазивные ИМК требуют значительные затраты на первоначальную имплантацию, а также на последующую техническую поддержку. Будущая коммерческая успешность всех ИМК будет зависеть от уменьшения объема и сложности необходимой долгосрочной поддержки, от увеличения числа пользователей и от обеспечения возмещения расходов страховыми компаниями и государственными учреждениями.

В будущем, большое количество успешных клинических и лабораторных испытаний может значительно увеличить количество потенциальных пользователей. В любом случае, если дальнейшая работа улучшит функциональность ИМК и сделает их коммерчески привлекательными, для их распространения потребуются жизнеспособные бизнес-модели, которые дадут как финансовый стимул для коммерческой компании, так и адекватную компенсацию клиническому и техническому персоналу, который будет поддерживать работу ИМК. Оптимальным сценарием может быть сценарий, при котором ИМК для людей с тяжелыми формами инвалидности развиваются синергетически с ИМК для населения в целом.

Эксплуатационная надежность системы

Несмотря на увеличивающееся количество исследований ИМК, эксплуатационная надежность системы и ее стабильность на сегодняшний день остается ключевой проблемой ее использования. Эффективность использования и эксплуатационную надежность интерфейса мозг-компьютер можно повысить увеличив качество и область регистрации нейрональной активности.

Так контроль двигательных действий со стороны центральной нервной системы обычно распределяется по нескольким областям. Корковые области могут определять цель и общий ход действия; однако детали (особенно высокоскоростные сенсомоторные взаимодействия) часто обрабатываются на подкорковых уровнях.

Это говорит о том, что производительность ИМК может быть улучшена за счет использования сигналов из нескольких областей мозга и использования функций сигналов мозга, которые отражают отношения между областями, например, согласованность.

Интерфейсы мозг-компьютер, которые используют сигналы из нескольких областей, с большей вероятностью будут чувствительны к нейрональной активности и, таким образом, смогут лучше распознавать команды пользователя.

Заключение

Многие исследователи со всего мира разрабатывают системы ИМК, которые несколько лет назад относились к сфере научной фантастики. Эти системы используют различные сигналы мозга, методы записи и алгоритмы обработки сигналов. Они способны управлять множеством различных устройств, от курсоров на экранах компьютеров до инвалидных колясок и роботизированных рук. Некоторые люди с тяжелыми формами инвалидности уже используют ИМК для базового общения и контроля в своей повседневной жизни. Благодаря более совершенному оборудованию для сбора сигналов, четкой клинической проверке, жизнеспособным моделям распространения и, что, вероятно, наиболее важно, повышенной надежности, ИМК могут стать важной новой технологией связи и управления для людей с ограниченными возможностями, а, возможно, и для населения в целом.

Читайте также: