Управление робототехникой: технологии адаптивного считывания мозговой активности

Разработка интеллектуального интерфейса

В рамках проекта по разработке интеллектуального интерфейса человек-машина (IMMI) специалисты Немецкого научного центра по исследованиям искусственного интеллекта (DFKI) и ученые из Бременского университета в течение пяти лет работали над установкой, позволяющей осуществлять интуитивное управление робототехникой посредством считывания активности мозговых токов.

В космосе, на производстве, при реабилитации после инсульта: Центр инновационной робототехники при центре DFKI и рабочая группа из Бременского университета под руководством профессора Франка Кирхнера (Frank Kirchner) разработали в рамках проекта IMMI технологию для управления робототехникой, которая может найти применение во многих отраслях медицины, науки и производства.

В отличие от классического интерфейса между мозгом и компьютером разработанная система основана на пассивном мониторинге мозга оператора с помощью встроенного считывания мозговой активности (Embedded Brain Reading). Оператор надевает специальный шлем, оснащенный электродами, и данные электроэнцефалографии (ЭЭГ) позволяют измерить активность мозга и интерпретировать изменение мозговых токов.

Эти изменения позволяют, например, получить данные о состоянии переработки информации, о намерениях оператора или его когнитивной нагрузке. Интерфейс предоставляет важную информацию, благодаря которой человеку можно оказать поддержку в критической ситуации или отрегулировать уровень воздействия на него.

Например, если оператор пропускает сигнал от робота, то это свидетельствует о перегруженности когнитивной сферы мозга человека, и система автоматически снижает нагрузку.

Методы измерения и алгоритм самообучения

Для интерпретации намерений оператора и оценки его загруженности, помимо ЭЭГ, в систему встроен аппарат для проведения электромиографии (ЭМГ), который измеряет напряжение мышц, и технология Eye-Tracking, которая регистрирует движения глаз. На основе этих измерений система строит полную картину состояния когнитивной сферы оператора.

Интерфейс благодаря этим данным и последующим действиям учится понимать, какая последовательность мозговых токов предшествует определенному действию. Таким образом, система в режиме реального времени «подстраивается» под пользователя.

Многочисленные сложные математические методы, которые предназначены для считывания  мозговой активности в режиме реального времени, требуют наличия большой вычислительной мощности. В то же время оператор должен быть максимально мобилен и иметь возможность передвигаться, что исключает большие размеры вычислительного блока.

По этим причинам в рамках IMMI была разработана компактная система, центральный процессор которой вместе с программируемой интегральной схемой FPGA занимают всего 7 х 10 см на печатной плате. Программируемая интегральная схема обеспечивает возможность запуска одновременно нескольких процессов обработки данных, поэтому большие объемы данных обрабатываются за очень короткое время. Разработанная система может быть мобильной или стационарной в зависимости от выполняемых задач.

Среда программного обеспечения

Две среды программного обеспечения –  pySPACE и reSPACE – были разработаны специально для обработки больших объемов данных. ПО с открытым исходным кодом pySPACE позволяет создать простую конфигурацию и отвечает за параллельное выполнение сложных операций, а также оптимизацию и визуализацию. Всего в ПО заложено более 200 различных методов обработки и анализа информации.

Автоматическое соединение позволяет взаимодействовать программам pySPACE и reSPACE, благодаря чему наиболее важные этапы вычислений проводятся на внешнем носителе. Программа reSPACE обеспечивает ускорение обработки данных в режиме реального времени.

Наряду с использованием разработки в космической отрасли, новая технология может найти применение в медицине – например, при реабилитации после инсульта. В рамках нового проекта RECUPERA-Reha ученые работают над созданием инновационного экзоскелета для всего тела, который будет помогать пациентам двигаться на основе данных, получаемых от системы считывания мозговой активности.

Космическое агентство Германского авиационно-космического центра (DLR) ведет проект на средства Федерального министерства экономики и энергетики (BMWi). За пять лет работы над созданием системы было потрачено около 3,7 млн евро.

 

 

 

Возврат к списку

Хотите подписаться на статьи электронного журнала "Электрорешения"?