Распознавание субъективного фокуса интереса к эмоционально значимым зрительным стимулам в интерфейсе мозг-компьютер на волне Р300

Аннотация

Актуальность. Технология интерфейсов мозг-компьютер на волне P300 (ИМК-P300) позволяет пользователю выбирать команды, сознательно концентрируя внимание на определенном зрительном стимуле. Однако на базе технологии ИМК-P300 предположительно могут быть построены системы детекции непроизвольного фокуса интереса человека, в том числе к эмоциональным стимулам. Подобные комплексы могут найти широкое применение в системах мониторинга состояния человека в норме и при патологии.

Цель работы. Целью работы было изучение особенностей восприятия стимулов, обладающих различной субъективной эмоциональной значимостью для человека, а также возможности распознавания с помощью ИМК-P300 неявных эмоциональных фокусов внимания.

Методика. 14 здоровых испытуемых участвовали в ЭЭГ-исследовании с последовательным предъявлением зрительных стимулов на основе фотоизображений эмоциональных или нейтральных человеческих лиц. В первом блоке необходимо было просто смотреть на экран (пассивное внимание), при этом в каждой попытке один из шести стимулов был эмоциогенным. В двух других блоках необходимо было мысленно считать число появлений целевого стимула среди нецелевых (активное внимание), при этом целевой стимул являлся эмоциогенным либо нейтральным в зависимости от блока. Анализировались потенциалы, связанные с событиями (ПСС) в ответ на стимулы различных классов, а также рассчитывалась точность классификации целевого (либо эмоциогенного) стимула таким же образом, как это осуществляется в классическом ИМК-P300.

Результаты. В исследовании показано, что точность детектирования эмоциогенных стимулов в условиях парадигмы пассивного внимания превышала случайный уровень более чем вдвое. Также выявлены особенности потенциалов в ответ на стимулы различной эмоциональной значимости.

Выводы. Полученные результаты создают предпосылки к созданию на основе ИМК-P300 систем детекции неявных фокусов внимания, которые могут найти широкое применение в клинической сфере.

Введение

Технология интерфейсов мозг-компьютер (ИМК, в англоязычной литературе BCI — brain-computer interface) позволяет пользователю отдавать команды компьютеру и управлять внешними техническими устройствами без использования периферических нервов и мышц, только за счет расшифровки намерений человека по электрической активности мозга — ЭЭГ (Wolpaw, 2007).

Наиболее востребованная в настоящее время область применения ИМК — это замещение речевой функции у постинсультных пациентов посредством ввода текста в компьютер или управления инвалидными колясками, экзоскелетами и протезами (Каплан, 2016; Wolpaw, 2007). Отдельно стоит отметить применение технологии ИМК в компьютерных видеоиграх (Kaplan et al., 2013): компонент нейроуправления, вносимый ИМК, важен для погружения человека в процесс игры; такие «нейроигры» требуют осознанных направленных действий и определенного внутреннего состояния, поэтому они могут быть полезны для тренировки концентрации внимания, например при синдроме дефицита внимания и гиперактивности у детей.

Существует несколько принципов построения ИМК в зависимости от лежащих в его основе управляющих признаков в ЭЭГ и типа выполняемой задачи. В одном из наиболее распространенных вариантов ИМК для появления специфических откликов в ЭЭГ применяется методика предъявления пользователю внешних (чаще зрительных) стимулов. При этом дается инструкция обращать внимание лишь на стимулы определенного класса — целевые, а все остальные (нецелевые) — игнорировать. Управление в таком интерфейсе основано на сравнении вызванных реакций ЭЭГ — потенциалов, связанных с событиями (ПСС), — в ответ на разные классы стимулов. В ответах на значимые для пользователя целевые стимулы амплитуда так называемой волны P300 и некоторых других компонентов ПСС увеличивается по сравнению с реакциями на нецелевые стимулы. Таким образом, интерфейс ИМК-P300 (Farwell, Donchin, 1988) позволяет человеку произвольно выбирать из некоторого набора стимулы, заранее ассоциированые для него с той или иной командой, просто фокусируя свое внимание на нужном стимуле.

Принцип ИМК-P300 успешно применяется для надежной детекции фокуса внимания к конкретному внешнему стимулу. В связи с этим фундаментальный и практический интерес представляет вопрос о том, может ли тот же принцип лежать в основе систем диагностики внимания к стимулам, внимание к которым явным образом не привлечено, но которые значимы для человека в личностном или эмоциональном аспекте. Выявление особенностей эмоционального восприятия зрительных стимулов является, пожалуй, одним из наиболее перспективных вариантов применения принципов ИМК-P300 в таких системах детекции неявных фокусов внимания. С одной стороны, системы автоматического распознавания эмоций могут быть весьма полезны для коррекции операторской деятельности, сопряженной с высокими эмоциональными нагрузками (Singh et al., 2015). С другой стороны, подобные системы могут использоваться в комплексах инструментальной диагностики паталогических состояний, связанных с нарушением эмоционального восприятия, которое, например, может наблюдаться при различных проявлениях аутистичных признаков поведения (Hobson et al., 1988).

Сам факт выявления особенных ЭЭГ-реакций в ответ на предъявление зрительных стимулов, обладающих для человека субъективной значимостью, но не находящихся в фокусе активного внимания, широко известен. Например, показано различие детектируемого в ЭЭГ уровня внимания к предъявлению изображений определенных предметов между людьми, имеющими те или иные предпочтения или зависимость в отношении данных предметов (Asmaro et al., 2014). Такие различия отражают работу механизмов пассивного (автоматического) внимания, позволяющих биологически значимым стимулам (обычно эмоционально окрашенным) привлекать внимание, не задействуя процессы сознательного восприятия (Ohman et al., 2001). Стимулы, вызывающие эмоциональную реакцию, являются для индивида значимыми вне зависимости от фактора, обусловливающего эмоциональность стимула. При этом значимость таких стимулов может не быть явной для человека, поскольку они вызывают ответы на автоматическом уровне, без сознательной обработки (Schupp et al., 2003).

В упомянутых выше системах детекции неявных фокусов внимания может использоваться так называемая «парадигма пассивного внимания» (Carretie et al., 2004), когда внимание испытуемых явным образом не привлекается к тестируемым стимулам. Причем эмоционально окрашенные стимулы при пассивном предъявлении могут вызывать специфические ЭЭГ-ответы как при отсутствии инструкций в отношении стимулов (Keil et al., 2002), так и на фоне выполняемой задачи по дискриминации определенных классов стимулов (Delplanque et al., 2005). Представляется вероятным, что при пассивном предъявлении алгоритмы ИМК-P300 после некоторых модификаций могут позволить различать неявные реакции внимания к различным субъективно значимым стимулам, подобно тому, как происходит различение осознанных реакций на целевые и нецелевые стимулы в ИМК.

Для выявления потенциала применения технологии ИМК-P300 с целью выделения субъективных эмоциональных фокусов внимания в первую очередь важно изучение ПСС в задаче, где используемые стимулы обладают явной эмоциональной выраженностью. Для этого в данной работе использовались стандартизированные базы фотоизображений человеческих лиц различной валентности — с нейтральным и эмоциогенным выражением. С одной стороны, использование лиц в качестве стимулов в ИМК-исследованиях может влиять на компонентный состав ПСС, с другой стороны, эмоциональная коннотация стимула-лица также может усиливать ряд компонентов ПСС (Jin et al., 2012).

Таким образом, цель данной работы состояла в выявлении особенностей реакций ЭЭГ у человека на предъявление ему нейтральных и эмоционально окрашенных зрительных стимулов с привлечением и без привлечения активного внимания к последним, а также в выяснении потенциала использования принципов технологии ИМК-P300 для детекции неявных эмоциональных фокусов внимания.

Методика

В исследовании принимали участие 14 здоровых испытуемых в возрасте от 19 до 21 года (медиана 20): 5 мужчин и 9 женщин. После знакомства с информацией об исследовании все испытуемые подписывали информированное согласие. Проведение исследования было одобрено Комиссией по биоэтике МГУ имени М.В. Ломоносова.

Стимулы предъявлялись последовательно в режиме одбол-парадигмы в центре 24-дюймового жидкокристаллического монитора с угловыми размерами 36×23°. В качестве стимулов использовались фотографии эмоциогенных или нейтральных человеческих лиц из базы данных “Park Aging Mind Lab database” (Minear, Park, 2004). Исходные изображения из базы данных обрабатывались в графическом редакторе: на всех фотографиях задавался однородный серый фон (RGB-коды 127.127.127). Изображения размером 7.4×5.5° предъявлялись на сером экране (RGB-коды 222.222.222). Длительность экспозиции стимула — 200 мс, интервал между двумя соседними стимулами — 400 мс (в течение этого времени экран оставался пустым). Запись ЭЭГ и предъявление стимулов производили в программной среде BCI2000 (www.bci2000.org). Всего в исследовании было три блока, каждый из которых был разбит на 10 записей ЭЭГ с предъявлением стимулов:

1. «Пассивное внимание». Испытуемые получали инструкцию смотреть в центр экрана, чтобы четко видеть предъявляемые изображения.

2. «Активное внимание. Эмоциональные». В начале каждой записи одно из изображений указывалось как целевое. Испытуемые должны были мысленно считать моменты появления обозначенного целевого стимула.

3. «Активное внимание. Нейтральные». Задание было таким же, как и в блоке 2.

Совокупность стимулов для каждого блока разбивалась на наборы по 6 изображений в каждом; в одной записи предъявлялся один такой набор. Порядок следования наборов внутри каждого блока был псевдослучайным у всех испытуемых. В блоке 1 одно из 6 изображений набора в каждой записи являлось эмоциогенным, остальные 5 — нейтральными, при этом ни один из стимулов не указывался в инструкции как целевой. В блоке 2 указываемое в качестве целевого стимула изображение являлось эмоциогенным, остальные 5 — нейтральными. В блоке 3 все 6 изображений были нейтральными, а в качестве целевого стимула случайным образом выбиралось одно из них. Нейтральность и эмоциогенность представленных на фотографиях лиц определялась исходным делением стимулов на группы в использованной базе данных; в качестве эмоциогенных стимулов использовалась группа со счастливым выражением лиц. Таким образом, в блоке 1 можно было анализировать ПСС в ответ на эмоциогенные стимулы в условиях парадигмы пассивного внимания, а в других двух блоках — ПСС в ответ на стимулы, внимание к которым было привлечено инструкцией; в зависимости от блока стимулы могли быть либо эмоциогенными, либо нейтральными.

Стимуляция осуществлялась в виде стимульных последовательностей, каждая из которых включала предъявление всех 6 стимулов набора по одному разу в случайном порядке. Одна запись состояла из 10 стимульных последовательностей, что соответствовало предъявлению каждого из 6 изображений по 10 раз в случайном порядке. Таким образом, в 10 записях одного блока предъявлялось суммарно по 600 стимулов. Блок 1 (пассивное внимание) всегда давался первым, тогда как порядок следования блоков 2 и 3 носил псевдослучайный характер для каждого испытуемого.

ЭЭГ регистрировалась в 24 каналах: F3, Fz, F4, FC5, FC1, FC2, FC6, C3, Cz, C4, CP5, CP1, CP2, CP6, P7, P3, Pz, P4, P8, PO7, POz, PO8, O1, O2. Объединенные референтные электроды располагались на мастоидах. При последующей обработке сигнал ЭЭГ фильтровался в частотном диапазоне 0.5—20 Гц (фильтр Баттерворта), затем разбивался на эпохи относительно моментов подачи каждого стимула. Эпохи, содержащие глазодвигательные или мышечные артефакты, исключались из анализа. Отдельно усреднялись эпохи класса целевых/эмоциогенных стимулов и класса нецелевых стимулов, при этом в каждом блоке перед усреднением число эпох в каждом классе выравнивалось путем случайного исключения части нецелевых эпох. Амплитуды компонентов ПСС рассчитывались в разностных кривых (эмоциогенные/целевые минус нецелевые) как максимальное (P200, P300) или минимальное (N170) значение сигнала в индивидуально заданном окне. Латентности всех пиков варьировались между испытуемыми: в среднем латентность компонента N170 составляла 160—180 мс, P200 — 200—300 мс, P300 — 300—500 мс. При трудностях в идентификации определенных компонентов соответствующие испытуемые исключались из анализа данного компонента. Компоненты анализировались в отведениях, где они имеют наибольшую выраженность: P300 и P200 — в Cz и Pz, а компонент N170 — в усреднении по затылочным отведениям PO7, PO8, O1, O2.

Оценка эффективности использования алгоритмов ИМК-P300 для классификации ПСС в ответ на эмоциогенные или целевые стимулы производилась с помощью классификатора на основе линейного дискриминанта Фишера. Тестирование и обучение классификатора осуществлялось методом кросс-валидации: на каждой итерации оценки классификатор обучался на всей совокупности данных с 9 записей одного блока (90 целевых и 450 нецелевых эпох), после чего применялся к данным одной записи (10 целевых и 50 нецелевых эпох), не участвовавшей в обучении. Процесс повторялся в каждом блоке 10 раз, пока не завершал тестирование каждой из 10 записей. Обучение проводилось по двум классам — целевые (эмоциогенные) и нецелевые (нейтральные) стимулы. При тестировании классификатора в каждой записи определялся один из 6 стимулов, наиболее сильно отличавшийся от остальных в соответствии с весами классификатора. Такой принцип аналогичен выбору целевого стимула при «классическом» подходе в ИМК-P300. Если выбранный при тестировании стимул действительно был целевым согласно инструкции (блоки 2 и 3) или эмоциогенным на фоне нейтральных (блок 1), то классификация считалась успешной. На основе этого теста для каждого испытуемого в каждом блоке рассчитывался показатель точности классификации.

Анализ результатов осуществлялся в среде MATLAB R2013b (8.2) (MathWorks) с помощью специально написанных скриптов, а также в пакете STATISTICA 7.0 (StatSoft).

Результаты

Для сравнения ПСС в ответ на предъявление эмоциогенных стимулов в условиях пассивного и активного внимания к ним в блоках 1 и 2 были проанализированы усредненные по группе амплитуды компонентов N170, P200 и P300 (рис. 1). Амплитуда N170 в блоке 2 в ответ на целевой эмоциогенный стимул составила 1.89±0.33 мкВ (среднее ± стандартная ошибка среднего), а в блоке 1 в ответ на эмоциогенный стимул в условиях пассивного внимания — 1.28±0.12 мкВ, имелась тенденция к различиям: t(11)=1.92, p=0.08 (парный критерий Стьюдента). Амплитуда P300 в блоке 2 с активным вниманием в отведении Cz составила 5.47±0.58, в отведении Pz — 6.30±0.55 мкВ, и была выше, чем в блоке 1 с пассивным вниманием (1.81±0.23, t(13)= ‒5.86, p<0.01 и 1.68±0.26 мкВ, t(13)= ‒9.14, p<0.01, соответственно). Несмотря на то что амплитуда P200 в блоке 2 как в отведении Cz (2.46±0.34 мкВ), так и в отведении Pz (1.9±0.43 мкВ) была несколько выше, чем в блоке 1 (1.75±0.46 мкВ в Cz и 1.32±0.26 мкВ в Pz), различия были незначимы (p>0.05 для обоих отведений).

Рис. 1. Средняя амплитуда компонентов N170 (n=12), P200 (n=11) и P300 (n=14) в блоке с пассивным вниманием (эмоциогенные стимулы) и в блоках с активным вниманием (целевые эмоциогенные и нейтральные стимулы). Показаны среднее и стандартная ошибка среднего

В блоках с активным вниманием анализировались компоненты ПСС в ответ на целевые стимулы, которые были либо эмоциогенными (блок 2), либо нейтральными (блок 3). Амплитуда N170 в блоке 2 была выше, чем в блоке 3, в котором составила 0.86±0.20 мкВ (t(11)= ‒2.29, p=0.04). Амплитуда P200 в блоке 2 также была выше, чем в блоке 3: 1.08±0.35 мкВ в Cz, t(10)=2.97, p=0.01 и 0.88±0.32 мкВ в Pz, t(10)=2.32, p=0.04 соответственно. Значимых различий в амплитуде компонента P300 между блоками 2 и 3 не наблюдалось (p>0.05 в Cz и Pz).

В блоке 1 в условиях инструкции пассивного внимания к стимулам имелась тенденция к более высокой амплитуде N170 в ответ на эмоциогенные стимулы, чем в ответ на целевые нейтральные стимулы в блоке 3: t(11)= ‒2.09, p=0.06. Хотя для компонента P200 наблюдалась схожая картина: 1.75±0.46 против 1.08±0.35 мкВ в Cz и 1.32±0.26 против 0.88±0.32 мкВ в Pz, различия в обоих отведениях были незначимы. Для P300, однако, наблюдался противоположный эффект: его амплитуда в Cz и Pz в блоке 3 была выше, чем в блоке 1: t(13)= ‒4.85, p<0.01 и t(13)= ‒7.87, p<0.01 соответственно.

На рис. 2 представлены усредненные результаты точности классификации эмоциогенного стимула в блоке 1 и целевого стимула в блоках 2 и 3. В блоке 1 с пассивным вниманием средняя точность классификации эмоциогенных стимулов составила 36.4±4.3% при случайном уровне распознавания 16.7% (выбор одного стимула из 6). Наибольшая точность была характерна при распознавании целевого эмоциогенного стимула в блоке 2: 97.1±1.6%; в блоке 3 при классификации целевого нейтрального стимула точность составила 89.3±5.8%. В обоих блоках с активным вниманием точность была значимо выше, чем в блоке 1 с пассивным вниманием: p<0.01 (парный критерий Вилкоксона).

Рис. 2. Точность классификации эмоциогенных (в блоке с пассивным вниманием), а также целевых эмоциогенных и нейтральных (в блоках с активным вниманием) изображений для всех испытуемых (n=14). Серым пунктиром обозначен случайный уровень распознавания. Показаны среднее и стандартная ошибка среднего

Обсуждение результатов

Целью данной работы было изучение особенностей ПСС в ответ на предъявление человеку изображений нейтральных и эмоциональных лиц в задачах с активным или пассивным вниманием к стимулам, а также выявление потенциала применения технологии ИМК-P300 для детекции эмоционально значимых зрительных стимулов в отсутствие задания по их активной дискриминации. Основным результатом стало то, что даже при отсутствии инструкции по активной дискриминации предъявляемых стимулов ЭЭГ-реакции в ответ на эмоциогенные стимулы выделялись среди реакций на нейтральные стимулы, что позволило на основе стандартной алгоритмики ИМК-P300 классифицировать эмоциогенные стимулы со средней точностью, превышавшей случайный уровень распознавания более чем вдвое.

Основным фактором, определяющим в ИМК-P300 различие между реакциями на целевые и нецелевые стимулы, является субъективная значимость целевого стимула в контексте выполняемой человеком задачи. Обычно при работе в ИМК эта задача сводится к активной дискриминации целевого стимула-команды, предъявляемого на фоне более частых незначимых на данный момент стимулов. Эта так называемая «одбол-парадигма» и лежит в основе управления в ИМК-P300: наличие активного внимания к стимулу, обусловленное намерением пользователя выбрать ассоциированную с этим стимулом команду, вызывает увеличение амплитуды компонентов ПСС (в первую очередь P300) в ответ на этот значимый стимул. В блоке 1 была смоделирована ситуация, когда у испытуемого отсутствовала какая-либо инструкция по дискриминации предъявляемых стимулов (парадигма пассивного внимания), однако один из стимулов в каждом наборе был эмоциогенным. Значительный интерес, диктуемый также и целью работы, представлял вопрос о том, будут ли и в какой степени отличаться реакции на эмоциогенные стимулы от реакций на нейтральные стимулы в отсутствии активного внимания к стимулам. Средние амплитуды анализируемых компонентов разностных ПСС (см. рис. 1), полученных уже после вычитания реакций на нейтральные стимулы, составили от 1.28 до 1.81 мкВ, что говорит об особенностях восприятия изображений эмоциональных человеческих лиц даже в условиях пассивного внимания к стимулам. Относительно небольшие значения амплитуд компонентов ПСС по сравнению с задачей по активной дискриминации подобных стимулов в других работах (напр.: Jin et al., 2012) обусловлены более низким уровнем селективного внимания в условиях парадигмы пассивного предъявления стимулов (Mitsudo et al., 2011). Однако даже такие небольшие различия между нейтральными и эмоциогенным стимулами способствовали распознаванию последних с помощью алгоритмов ИМК-P300 с точностью, превышающей случайный уровень более чем в два раза.

Компоненты N170, P200 и P300, являющиеся типичными в обычном ИМК-P300 (Jin et al., 2012), наблюдались в нашей работе не только в блоках с активным вниманием, но и в задаче с пассивным предъявлением стимулов. Это согласуется с тем, что компонент N170 обладает специфичностью в отношении обработки стимулов на основе изображений человеческих лиц (Cauquil et al., 2000) и может возникать даже при подпороговом предъявлении таких стимулов (Mitsudo et al., 2011), т.е. в условиях отсутствия активного внимания к ним. Несмотря на то что компонент P200, являясь функционально схожим с P300, чувствителен к наличию целевых признаков у стимула (Luck, 2005), он также связан с процессами восприятия эмоционально окрашенных стимулов (Carretie et al., 2004), что было подтверждено в недавней работе авторского коллектива, но не для изображений лиц, а для фотографий различной тематики (Ганин и др., 2017).

Амплитуды почти всех компонентов ПСС в ответ на эмоциогенные стимулы при активном внимании к ним (блок 2) были выше, чем в ответ на эмоциогенные стимулы в задаче с пассивным вниманием (блок 1). Хотя для компонентов N170 и P200 различия были небольшими (для P200 ввиду большого разброса значимость отсутствовала), для P300 разница составляла в 3 и более раза (см. рис. 1). Именно отсутствие активного задания в блоке 1, по-видимому, было наиболее существенным фактором для более высокой амплитуды компонентов ПСС в блоке 2: например, для стимулов-лиц показана зависимость между степенью осознанности стимула и амплитудами ПСС (Genetti et al., 2009). Значительно более высокая амплитуда компонента P300 в блоке 2 подчеркивает значение подлежащих ему процессов активного внимания в осознаваемой реакции на стимул (Picton, 1992), а также согласуется с известными эффектами ПСС для эмоциогенных стимулов по сравнению с нейтральными стимулами, которые обычно наиболее выражены в затылочной коре (напр.: Sabatinelli et al., 2007). Полученные результаты также отчасти согласуются с другой работой, где различия амплитуды P300 между субъективно значимыми и стандартными стимулами были выше при увеличении затрат ресурсов внимания на обработку такого значимого стимула (Kubo, Nittono, 2009). Однако профиль различий в цитируемой работе был ниже ввиду наличия во всех блоках целевого стимула, тогда как в нашем исследовании в блоке с активным вниманием субъективно значимый (эмоциогенный) стимул был фактически объединен с целевым стимулом в единую категорию.

Несмотря на относительно небольшие амплитуды компонентов ПСС на эмоциогенные стимулы в условиях отсутствия проявления активного внимания к ним, наличие этих компонентов является отражением процессов неосознаваемого эмоционального внимания, что подтверждается тем фактом, что компоненты N170 и P200 в ответ на эмоциогенные стимулы в блоке 1 были несколько выше, чем в ответ на нейтральные стимулы в блоке 3, внимание к которым было привлечено явным образом согласно инструкции (различия, однако, не достигли уровня значимости). Амплитуда N170 обычно выше для эмоциогенных лиц (Sprengelmeyer, Jentzsch, 2006), а при использовании таких стимулов в ИМК-P300 показано даже увеличение точности распознавания целевых команд (Kaufmann et al., 2013). Эти особенности в возникновении компонентов N170 и P200, однако, не привели к высокой точности классификации: в блоке 1 эмоциогенный стимул распознавался алгоритмами ИМК в среднем в 36.4% случаев (при случайном уровне в 16.7 %). Вероятно, основной вклад в классификацию в нашей работе вносил компонент P300, амплитуда которого вместе с точностью классификации была значительно выше в блоках с активным вниманием. Высокая точность классификации при активном внимании испытуемых к стимулу, очевидно, обусловлена прямой зависимостью амплитуды компонента Р300 от значимости стимула, определяемой выполняемой пользователем инструкцией (Picton, 1992). Однако из полученных результатов можно сделать вывод, что чувствительность технологии ИМК-P300, по-видимому, сохраняется в отсутствие осознанного проявления активного внимания к стимулу, если присутствует даже неосознаваемая субъективная значимость стимула (Polich, 1989), в нашем случае обусловленная эмоциогенностью предъявляемого изображения. Известно, что эмоциогенные стимулы могут приводить к увеличению амплитуды или возникновению определенных компонентов ПСС, что обусловливается повышением уровня внимания к таким стимулам (Schupp et al., 2003).

Точность распознавания целевого стимула в блоках 2 и 3, где испытуемые осознанно считали моменты его появления, приближалась к 90—100%. Такая точность обычно характерна для ИМК-P300, где пользователь выполняет аналогичную инструкцию для выбора требуемой команды. Однако интересно отметить, что в блоке 2, когда целевой стимул являлся эмоциогенным, средняя точность классификации составила 97.1±1.6%, а в блоке 3, где все стимулы являлись нейтральными, — 89.3±5.8%. Это подтверждает эффективность использования изображений эмоциональных человеческих лиц в качестве стимулов в ИМК (Jin et al., 2012; Kaufmann et al., 2013).

Таким образом, несмотря на относительно невысокие показатели точности классификации эмоциогенных стимулов, достигнутые в данной работе при предъявлении стимулов в парадигме пассивного внимания, полученные данные подтверждают возможность создания систем на основе ИМК для детекции эмоциональных фокусов внимания. Это также согласуется с рядом других работ, где изучалась возможность классификации зрительных стимулов по их эмоциогенному признаку (Singh et al., 2015). Однако в нашей работе данная возможность показана при существенно меньших (в 2—3 раза и более) межстимульных интервалах, что является более эффективным для использования в подобных системах ввиду меньших затрат времени на накопление тестовых данных и меньшего утомления пользователя. Также в данной работе не применялась индивидуальная субъективная оценка эмоциогенности изображений при выделении стимула для классификации в задании с пассивным вниманием ввиду однородности стимулов на основе изображений человеческих лиц. При использовании более разнородного стимульного материала, например не только на основе лиц, целесообразно применение подобной индивидуальной методики выделения целевых/эмоциогенных стимулов, как в недавней работе авторского коллектива (Ганин и др., 2017).

Заключение

Полученные в наших и других работах результаты об особенностях ПСС в ответ на эмоционально окрашенные зрительные стимулы позволят спланировать исследования по более детальному изучению ЭЭГ-коррелятов эмоционального восприятия. Это создаст предпосылки для разработки систем детектирования неявных эмоциональных фокусов внимания, которые могут быть широко востребованы в клинической области, операторской деятельности, а также в образовательной сфере. Можно предположить, что в создании таких систем перспективной может стать разработка оптимального способа подбора стимульного материала и методов классификации сигналов ЭЭГ в совокупности с применением принципов «гибридных» систем ИМК, основанных не только на анализе ПСС, но и, например, на анализе волновой ритмической активности ЭЭГ.

Список литературы

Ганин И.П., Косиченко Е.А., Каплан А.Я. Особенности электроэнцефалографических реакций на эмоционально значимые стимулы в технологии интерфейса мозг-компьютер на волне P300 // Журнал высшей нервной деятельности.  2017. Т. 67. № 4. С. 453—463.

Каплан А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в неврологической реабилитации // Физиология человека. 2016. Т. 42. № 1. С. 118—127.

Asmaro D., Carolan P.L., Liotti M. Electrophysiological evidence of early attentional bias to drug-related pictures in chronic cannabis users // Addictive Behaviors. 2014. Vol. 39. N 1. P. 114—121. doi.org/10.1016/j.addbeh.2013.09.012

Carretie L., Hinojosa J.A., Martin-Loeches M. et al. Automatic attention to emotional stimuli: Neural correlates // Human Brain Mapping. 2004. Vol. 22. N 4. P. 290—299. doi.org/10.1002/hbm.20037

Cauquil A.S., Edmonds G.E., Taylor M.J. Is the face-sensitive N170 the only ERP not affected by selective attention? // NeuroReport. 2000. Vol. 11. P. 2167—2171. doi.org/10.1097/00001756-200007140-00021

Delplanque S., Silvert L., Hot P., Sequeira H. Event-related P3a and P3b in response to unpredictable emotional stimuli // Biological Psychology. 2005. Vol. 68. P. 107—120. doi.org/10.1016/j.biopsycho.2004.04.006

Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalography and Clinical Neurophysiology. 1988. Vol. 70. P. 510—523. doi.org/10.1016/0013-4694(88)90149-6

Genetti M., Khateb A., Heinzer S. et al. Temporal dynamics of awareness for facial identity revealed with ERP // Brain and Cognition. 2009. Vol. 69. N 2. P. 296—305. doi.org/10.1016/j.bandc.2008.08.008

Hobson R.P., Ouston J., Lee A. Emotion recognition in autism: Coordinating faces and voices // Psychological medicine. 1988. Vol. 18. N 4. P. 911—923. doi.org/10.1017/S0033291700009843

Jin J., Allison B.Z., Kaufmann T. et al. The changing face of P300 BCIs: a comparison of stimulus changes in a P300 BCI involving faces, emotion, and movement // PLoS One. 2012. Vol. 7. N 11. P: e49688. doi.org/10.1371/journal.pone.0049688

Kaplan A.Y., Shishkin S.L., Ganin I.P. et al. Adapting the P300-based brain-computer interface for gaming: a review // IEEE transactions on computational intelligence and AI in games (Special Issue on Brain/Neuronal-Computer Games Interfaces and Interaction). 2013. Vol. 5. N 2. P. 141—149. doi.org/10.1109/TCIAIG.2012.2237517

Kaufmann T., Schulz S.M., Köblitz A. et al. Face stimuli effectively prevent brain-computer interface inefficiency in patients with neurodegenerative disease // Clinical Neurophysiology. 2013. Vol. 124. P. 893—900. doi.org/10.1016/j.clinph.2012.11.006

Keil A., Bradley M.M., Hauk O. et al. Large-scale neural correlates of affective picture processing // Psychophysiology. 2002. Vol. 39. P. 641—649. doi.org/10.1111/1469-8986.3950641

Kubo K., Nittono H. The role of intention to conceal in the P300-based concealed information test // Applied Psychophysiology and Biofeedback. 2009. Vol. 34. N 3. P. 227—235. doi.org/10.1007/s10484-009-9089-y

Luck S.J. An Introduction to the Event-Related Potential Technique. Cambridge, MA: The MIT Press, 2005.

Minear M., Park D.C. A lifespan database of adult facial stimuli // Behavior research methods, instruments, & computers. 2004. Vol. 36. N 4. P. 630—633. doi.org/10.3758/BF03206543

Mitsudo T., Kamio Y., Goto Y. et al. Neural responses in the occipital cortex to unrecognizable faces // Clinical Neurophysiology. 2011. Vol. 122. N 4. P. 708—718. doi.org/10.1016/j.clinph.2010.10.004

Ohman A., Flykt A., Esteves F. Emotion drives attention: detecting the snake in the grass // Journal of Experimental Psychology: General. 2001. Vol. 130. N 3. P. 466—478. doi.org/10.1037/0096-3445.130.3.466

Picton T.W. The P300 wave of the human event-related potential // Journal of Clinical Neurophysiology. 1992. Vol. 9. P. 456—479. doi.org/10.1097/00004691-199210000-00002

Polich J. P300 from a passive auditory paradigm // Electroencephalography and Clinical Neurophysiology. 1989. Vol. 74. P. 312—320. doi.org/10.1016/0168-5597(89)90061-0

Sabatinelli D., Lang P.J., Keil A., Bradley M.M. Emotional perception: Correlation of functional MRI and event-related potentials // Cerebral Cortex. 2007. Vol. 17. P. 1085—1091. doi.org/10.1093/cercor/bhl017

Schupp H.T., Junghöfer M., Weike A.I., Hamm A.O. Attention and emotion: an ERP analysis of facilitated emotional stimulus processing // NeuroReport. 2003. Vol. 14. N 8. P. 1107—1110. doi.org/10.1097/00001756-200306110-00002

Singh M., Singh M., Goyal M. Selection of attribute combinations of ERP’s for classification of emotions along arousal axis // International Journal of Information Technology & Knowledge Management. 2015. Vol. 8. N 2. P. 142—149.

Sprengelmeyer R., Jentzsch I. Event related potentials and the perception of intensity in facial expressions // Neuropsychologia. 2006. Vol. 44. P. 2899—2906. doi.org/10.1016/j.neuropsychologia.2006.06.020

Wolpaw J.R. Brain-computer interfaces as new brain output pathways // The Journal of Physiology. 2007. Vol. 579. N 3. P. 613—619. doi.org/10.1113/jphysiol.2006.125948