Введение

В основе технологии интерфейсов мозг-компьютер (ИМК) лежит предположение о том, что электрическая активность мозга может быть использована для получения управляющих команд для внешних устройств без задействования обычных нейромоторных путей. В медицине ИМК рассматриваются в первую очередь как компоненты ассистивных реабилитационных устройств, нацеленных на замещение каналов естественной коммуникации у пациентов, страдающих нейродегенеративными заболеваниями, перенесших инсульт или нейротравму (Каплан, 2016; Lazarouetal., 2018). Многие подобные ИМК построены на основе регистрации методом электроэнцефалографии (ЭЭГ) компонента П300 зрительных вызванных потенциалов, не связанного с физическими характеристиками стимула, но зависимого от степени заинтересованности человека в этом стимуле. Предполагается, что компонент П300 — одно из объективных проявлений когнитивных процессов, ассоциированных с вниманием и процессами сравнения объектов в рабочей памяти (Polich, 2007). На этой основе были созданы системы ИМК, позволяющие по наличию компонента П300 в ответ на быстро предъявляемые стимулы определять тот из них, к которому привлечено внимание человека. В частности, ИМК на основе волны П300 позволяют быстро обучиться набирать тексты буква-за-буквой при их поочередной подсветке на экране компьютера. 

Стимульная визуальная среда в таких интерфейсах обычно организована в виде матрицы, строки и столбцы которой во время работы системы подсвечиваются в псевдослучайном порядке (Farwell, Donchin, 1988). Визуальная среда является одним из ключевых элементов ИМК и именно той частью системы, с которой взаимодействует оператор. Тщательное исследование визуальных сред и их компонентов могло бы не только сделать коммуникационные ИМК (в англоязычной литературе — spellers, спеллеры) более эффективными и удобными для конечных пользователей, но и повысить точность их работы за счет подбора оптимальных значений параметров. В ряде исследований последних лет были осуществлены попытки тем или иным способом выявить основные компоненты визуальной среды классического П300 ИМК, влияющие на производительность системы (Rezeikaetal., 2018). Так, исследование Э. Селлерса и коллег (Sellersetal., 2006) посвящено изучению влияния размера матрицы на точность и скорость набора текста. Авторы приходили к выводу об увеличении точности набора текста при переходе от матрицы 6×6 к матрице 3×3, однако скорость набора была выше для матрицы 6×6. В более раннем исследовании (Allison, Pineda, 2003) также сообщалось об увеличении амплитуды P300 при изменении размера матрицы от 4×4 до 12×12. В других работах (Григорян и др., 2018; Garciaetal., 2015; Salvaris, Sepulveda, 2009) исследовалось влияние различных параметров визуальной среды, а именно размера стимулов в матрице, цвета стимулов, цвета фона, расстояния между стимулами в матрице и линейного размера матрицы на производительность интерфейса. В этих исследованиях отмечался возможный эффект цвета стимулов и фона, а также размера стимулов и линейного размера матрицы как на точность классификации, так и на показатели когнитивной нагрузки и усталость оператора. Предпринимались попытки замены классической подсветки столбцов и строк «шахматным» паттерном или смены парадигмы подсветки (Obeidatetal., 2015; Townsendetal., 2010), что, согласно выводам исследователей, позволяло повысить точность и скорость набора текста, а также попытки изменить положение стимулов в матрице для снижения краудинг-эффекта (Obeidat etal., 2013), что позволяло улучшить точность классификации и снизить сообщаемый уровень усталости оператора спеллера.

Можно предположить, что основные параметры визуальной среды ИМК способны оказывать влияние на окуломоторную активность пользователя и, таким образом, на характер и успешность работы с ИМК в целом. Ранее было показано, что точность классификации при использовании П300 ИМК зависит от направления взгляда (Brunneretal., 2010). Также было исследовано влияние особенностей интенсивности подсветки и наличия контура стимулов в матрице П300 ИМК на длительность и дисперсию фиксаций пользователя (Басюл, 2017) и выявлены значимые отличия в значениях этих показателей при работе с различными матрицами. Дальнейшее подробное изучение влияния особенностей визуальной среды на окуломоторную активность кажется перспективным с точки зрения повышения эффективности работы П300 ИМК и обеспечения комфорта пользователя.

Таким образом, цельюнастоящей работы было выяснение влияния основных параметров визуальной среды, а именно размера стимулов и интервала между стимулами в матрице П300 ИМК на движения глаз при наборе текста в интерфейсе мозг-компьютер, а также на основные показатели эффективности работы интерфейса: точность набора текста, амплитуду и латентность П300.

Методы

В исследовании приняло участие 16 здоровых добровольцев: 6 мужчин и 10 женщин в возрасте от 20 до 42 лет (средний возраст 27.81 года). Исследование было одобрено комиссией по биоэтике МГУ имени М.В. Ломоносова.

Протокол исследования включал 5 экспериментальных сессий, выполняемых в случайном порядке. В каждой из сессий участнику эксперимента были представлены матрицы ИМК, состоящие из 6 строк и 6 столбцов, отличающиеся размером стимулов и расстоянием между ними: «SS» («small-small») — 1.22, 0.73; «SL» («small-large») — 1.22, 1.45; «M» («medium») — 1.82, 1.09; «LS» («large-small») — 2.43, 0.73; «LL» («large-large») — 2.43, 1.45 (размеры указаны в градусах зрительного угла, соответствующих расположению на расстоянии 640 мм от экрана). Все матрицы предъявлялись на экране компьютера с частотой обновления 60 Гц, разрешением 1680×1050.

В каждой сессии участнику эксперимента было необходимо при помощи команд ИМК набрать на экране определенный текст («NEUROSCIENCE_158»). В период выбора команды стимулы подсвечивались группами — строками или столбцами, причем выбор следующей подсветки происходил псевдослучайным образом так, чтобы одна и та же группа не могла быть активирована несколько раз подряд. Во время работы стимулы активировались на 134 мс и находились в неактивном состоянии 66 мс; полный цикл подсветки составлял 200 мс. На каждый целевой стимул приходилось ровно 20 циклов подсветок. Для выбора команды участник был проинструктирован мысленно подсчитывать, сколько раз целевой стимул был подсвечен в составе столбца или строки. Это позволяло обеспечить активное внимание к целевому стимулу в период выбора команды. Участнику эксперимента не давалось в явной форме указаний смотреть на целевой стимул, чтобы обеспечить более естественное поведение взгляда во время эксперимента. Перед началом периода выбора команды целевой стимул на короткое время дополнительно выделялся на 2 секунды для привлечения внимания участника эксперимента. Перед началом каждой сессии проводились калибровка айтрекера и обучение классификатора ИМК (размер стимула и расстояние между ними в матрице во время обучения соответствовали тем, что использовались затем в экспериментальной сессии).

Во время обучения классификатора и в каждой экспериментальной сессии сигнал ЭЭГ регистрировался при помощи 9 электродов, расположенных в соответствии с международной системой 10/20 в позициях Oz, O1, O2, Pz, P3, P4, Cp1, Cp2, Cz. В качестве референта использовался усредненный сигнал ушных электродов с заземлением в позиции AFz. Получение и запись сигнала ЭЭГ осуществлялись при помощи усилителя NVX52 (MedicalComputerSystemsLtd). Система ИМК, включая презентацию зрительных стимулов, обработку сигнала и онлайн-классификацию, была реализована с помощью программы на python2.7, написанной для этого исследования. Отслеживание движений глаз (видеоокулография) и запись данных проводились с помощью айтрекера SMI RED500, частота дискретизации 500 Гц (SensoMotoricInstrumentsGmbH).

Для обработки данных о движениях глаз использовался дисперсионный алгоритм определения фиксаций из пакета PyGaze(Dalmaijeretal., 2014), минимальная длительность фиксаций была установлена в 50 мс. В качестве основных характеристик движений глаз участника во время эксперимента были выбраны среднее время фиксации в зоне интереса(ЗИ), среднее время взгляда в ЗИ, общее время взгляда в ЗИ, доля фиксаций в ЗИ, рассчитанная на единицу площади ЗИ. Под взглядами (в англоязычной литературе dwells) подразумевался ряд последовательных фиксаций внутри ЗИ. Размер ЗИ складывался из размера целевого стимула и маржина (отступа) размером 0.5 градуса зрительного угла для коррекции возможных неточностей, обусловленных особенностями оборудования.

В качестве основных показателей эффективности работы П300 ИМК анализировались точность набора текста, рассчитанная как доля безошибочно набранных символов, а также амплитуда и латентность компонента П300 в отведениях Cz и Pz, поскольку именно в них этот компонент наиболее выражен. Для этого сигнал ЭЭГ был отфильтрован фильтром Баттерворта четвертого порядка в частотном диапазоне 1—35 Гц, разделен на эпохи относительно времени начала стимуляции (начала цикла подсветки) и усреднен отдельно для целевых и нецелевых эпох. Амплитуда компонента П300 рассчитывалась при помощи разностных кривых как максимальное значение сигнала в заданном временнОм окне (250—600 мс).

В статистическом анализе изучалось влияние двух факторов (размера стимула и расстояния между стимулами) и взаимодействия между ними на выходные переменные (среднее время фиксации в ЗИ, среднее время взгляда в ЗИ, общее время взгляда в ЗИ, доля фиксаций в ЗИ, а также точность набора текста, амплитуда и латентность П300). Для построения регрессионной модели взаимодействия факторов и выходных переменных использовался полный рандомизированный двухфакторный план эксперимента с двумя уровнями факторов и одной центральной точкой. План предусматривал блочную структуру с включением данных по каждому испытуемому в отдельный блок для изоляции одного из основных источников вариабельности в данных. Выходные переменные анализировались как среднее по значениям, полученным во время набора каждой буквы. Статистический анализ был выполнен с помощью Minitab17 Statisticalsoftware(MinitabLtd). 

Результаты

Движения глаз

Былвыявленстатистически значимый эффект изменения размера стимула на исследуемые характеристики движений глаз (рис. 1). Так, для условий «small» и «large», соответствующих размерам стимулов 1.22 и 2.43 градуса, доля фиксаций на единицу площади ЗИ составила 0.13±0.03 и 0.07±0.01 (среднее ± среднеквадратичное отклонение) соответственно (эффект ‒0.06, F=199.05, p<0.001, 1‒β =1.00); общее время взгляда в ЗИ: 13.83±3.17 с и 20.73±2.72 с соответственно (эффект 6.90 c, F=118.40, p<0.001, 1‒β=1.00); среднее время взгляда в ЗИ: 1.72±1.17 с и 3.20±1.57 c соответственно (эффект 1.47 c, F=24.86, p<0.001, 1‒β=0.96); среднее время фиксации в ЗИ: 1.00±0.57 с и 0.77±0.25 c соответственно (эффект ‒0.23 с, F=6.98, p=0.04, 1‒β<0.80). Величина эффекта рассчитывалась как разность средних значений для условий «small» и «large»; все значения p были скорректированы по Бонферрони относительно числа характеристик (i=4).

Изменение расстояния между стимулами к значимому эффекту не приводило, эффект взаимодействия двух изучаемых факторов также не был статистически значимым (p>0.10, 1‒β<0.80 во всех случаях).

Рис. 1. Влияние размера стимула в матрице на характеристики движений глаз пользователя. Условиям «small» и «large» соответствуют размеры стимулов 1.22 и 2.43 градуса зрительного угла.

Таким образом, только размер стимулов в матрице оказывает влияние на некоторые особенности движений глаз пользователя. Это влияние может быть описано следующим образом: для меньших по размеру стимулов характерны более долгие и компактные фиксации, но более короткие взгляды; для больших стимулов, наоборот, характерны короткие и рассеянные в пространстве фиксации, но долгие взгляды.

Точность набора текста

Статистический анализ не выявил значимого влияния размера стимула и расстояния между стимулами в матрице на точность набора текста (p>0.10, 1‒β=1.00  в обоих случаях). Влияние взаимодействия этих факторов на точность набора текста также было несущественным (p>0.10, 1‒β=1.00). 

Компонент П300

Влияние размера стимула и расстояния между стимулами в матрице на амплитуду и латентность компонента П300 было проанализировано в отведениях Cz и Pz. На рис. 2 представлены разностные кривые зрительных вызванных потенциалов в данных отведениях для 5 экспериментальных условий, усредненные по всем испытуемым. Для обоих изучаемых факторов, как и для их взаимодействия, значимого влияния на амплитуду и латентность компонента П300 обнаружено не было (p>0.10, 1‒β<0.80  во всех случаях). 

Рис. 2. Разностные к­­­­ривые зрительных вызванных потенциалов в отведениях Cz и Pz для 5 экспериментальных условий (SS, SL, M, LS, LL), усредненные по всем участникам эксперимента

Обсуждение

Целью настоящей работы было выяснение влияния основных параметров стимульной визуальной среды, а именно размера стимулов и интервала между стимулами в матрице П300 ИМК, на характеристики движения глаз при наборе текста в интерфейсе мозг-компьютер, а также на точность набора текста, амплитуду и латентность компонента П300. В качестве основных характеристик движений рассматривались среднее время фиксации, среднее время взгляда, общее время взгляда, а также доля фиксаций в зоне интереса.

Основной результат работы — обнаружение значимого влияния на окуломоторную активность оператора по крайне мере одного из параметров стимульной визуальной среды П300 ИМК, а именно размера стимулов в матрице. Так, стимулы меньшего размера провоцируют продолжительные и компактные фиксации с коротким временем рассматривания объекта, тогда как для больших стимулов характерны более короткие и более распределенные по пространству фиксации, с более продолжительным рассматриванием соответствующего объекта. Такое различие может объясняться общими закономерностями восприятия, которое при больших размерах объекта требует больше времени и более распределенных фиксаций при его «рассматривании». В случае же маленьких стимулов взгляд часто покидает пределы площади стимула, переходя на соседние стимулы. Однако интерпретация влияния размера стимула на движения глаз с учетом более подробных деталей этого процесса достаточно затруднительна. 

Представленные паттерны характеристик могут быть обусловлены как непосредственно особенностями организации визуальной среды, так и более комплексными причинами, такими как психоэмоциональное состояние или когнитивная нагрузка на пользователя П300 ИМК. Так, ряд исследований связывает увеличение длительности фиксаций в ЗИ при выполнении задач, требующих повышенного внимания, с возрастающей когнитивной нагрузкой (DeGreef, 2009; Marchittoetal., 2016). Представляется вероятным, что для участников настоящего исследования набор текста при помощи спеллера с небольшими по размеру стимулами был более сложным и провоцировал увеличение когнитивной нагрузки. Поскольку подобная ситуация не может быть исключена из рассмотрения, необходимы более подробные дальнейшие исследования взаимосвязи когнитивной нагрузки и движений глаз с учетом специфики задачи набора текста в П300 ИМК. Обнаруженное отсутствие значимого эффекта интервала между стимулами в матрице на изучаемые характеристики движений глаз может говорить о том, что при использовании П300 ИМК краудинг-эффект (Whitney, Levi, 2011), вероятно, не оказывает значительного влияния на окуломоторную активность оператора. 

Полученные данные о взаимосвязи характеристик визуальной среды П300 ИМК и движений глаз могут быть в дальнейшем использованы в разработке гибридных интерфейсов мозг-компьютер, совмещающих в себе данные ЭЭГ и видеоокулографии. Существующий интерес к подобным гибридным системам (Kalika etal., 2017; Kimetal., 2013; Shishkinetal., 2017) обусловлен возможностью одновременно улучшить производительность ИМК и приблизиться к решению характерной для видеоокулографических интерфейсов проблемы «Мидаса» — непреднамеренной активации команды при случайной фиксации взгляда на ней (Jacob, 1991). Исследование особенностей окуломоторной активности, характерной для различных визуальных сред, и в частности выявление факторов, влияющих на длительность фиксаций и взглядов на различных элементах пользовательского интерфейса, поможет оптимизировать разработку гибридных ИМК.

Еще одним значимым результатом настоящей работы было показанное экспериментально отсутствие влияния размера стимула и интервала между стимулами на точность набора текста в П300 ИМК, как и на амплитуду и латентность компонента П300. Данное исследование дополняет более ранние работы (Allison, Pineda, 2003; Garciaetal., 2015; Salvaris, Sepulveda, 2009), в которых ставились сходные задачи: установить, влияют ли характеристики визуальной среды на производительность коммуникационных ИМК. Важно отметить, что в упомянутых работах исследования проводились на малых выборках (5, 8 и 3 испытуемых соответственно) и, кроме того, в них не был проведен факторный анализ, а только сравнение экспериментальных условий, что могло послужить источником погрешностей при интерпретации результатов. В связи с этим утверждения о явной или возможной взаимосвязи размера стимула и интервала между стимулами на производительность могли быть неточными. В другом исследовании (Pfabiganetal., 2015) отмечается значимый эффект влияния размера стимула на амплитуду компонента П300, однако описанные экспериментальные условия значительно отличаются от набора текста в интерфейсе мозг-компьютер, и выводы не могут распространяться на данную ситуацию без возможных неточностей. По результатам настоящей работы влияние размера стимула и интервала между стимулами в матрице на амплитуду и латентность компонента П300 и точность набора текста может считаться статистически не значимым. Однако стоит отметить, что в работе исследовался ограниченный интервал возможных значений характеристик визуальной среды, и достоверность возможных выводов ограничена только значениями, находящимися внутри данного интервала. Кроме того, стоит учитывать низкие показатели статистической мощности для некоторых приведенных результатов, обусловленные небольшими в сравнении с дисперсией размерами эффектов и небольшим количеством испытуемых. Таким образом, при утверждении отсутствия статистической значимости не может быть полностью исключена возможность совершения ошибки второго рода, что снижает надежность полученных результатов.

В целом отсутствие непосредственного значимого влияния размера стимула и интервала между стимулами на точность набора текста делает возможным создание более гибких визуальных сред для коммуникационных интерфейсов на основе компонента П300. Так, можно предположить, что адаптация системы для небольшого экрана мобильного устройства не приведет к нежелательному изменению производительности ИМК, как и настройка параметров визуальной среды в соответствии с пожеланиями конкретного пользователя.

Заключение

Основным результатом выполненного исследования является экспериментально зафиксированное влияние характеристик стимульной визуальной среды П300 ИМК на характеристики движения глаз. Дальнейшее изучение этого влияния может способствовать разработке более эффективных визуальных сред для разнообразных приложений П300 ИМК.

Список литературы

Басюл И.А. Характеристики окуломоторной активности оператора интерфейса мозг—компьютер на волне P300 в различных стимульных ситуациях // Экспериментальная психология. 2017. Т. 10. № 1. C. 129—138.

Григорян Р.К., Крысанова Е.Ю., Кирьянов Д.А., Каплан А.Я. Зрительные стимулы для интерфейса мозг—компьютер на основе зрительных вызванных потенциалов: цвет, форма, подвижность // Вестник Московского университета. Сер. 16. Биология. 2018. Т. 73. № 2. C. 111—117.

Каплан А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в неврологической реабилитации // Физиология человека. 2016. Т. 42. № 1. C. 118—127.

Allison B.Z., Pineda J.A. ERPs evoked by different matrix sizes: Implications for a brain computer interface (BCI) system // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2003. Vol. 11. N 2. P. 110–113. DOI: 10.1109/TNSRE.2003.814448

Brunner P., Joshi S., Briskin S. et al. Does the “P300” Speller Depend on Eye Gaze? // Journal of Neural Engineering. 2010. Vol. 7. N 5. 056013.

Dalmaijer E.S., Mathôt S., Van der Stigchel S. PyGaze: an open-source, cross-platform toolbox for minimal-effort programming of eyetracking experiments // Behavior Research Methods. 2014. Vol. 46. N 4. P. 913—921. DOI: 10.3758/s13428-013-0422-2

De Greef T. Eye movement as indicators of mental workload to trigger adaptive automation // Proceedings of the 5th International Conference on Foundations of Augmented Cognition. Neuroergonomics and Operational Neuroscience: Held as Part of HCI International (July 19-24, 2009, San Diego, CA). P. 219—228.

Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalography and Clinical Neurophysiology. 1988. Vol. 70. N 6. P. 510—523. DOI: 10.1016/0013-4694(88)90149-6

Garcia L., Lespinet-najib V., Saioud S. et al. Brain-computer interface: Usability evaluation of different P300 speller configurations: A preliminary study // Advances in Computational Intelligence Pt I / Ed. by I. Rojas, G. Joya, A. Catala. In Lecture Notes in Computer Science. Vol. 9094. Berlin: Springer-Verlag, 2015. P. 98—109.

Jacob R.J.K. The use of eye movements in human-computer interaction techniques: what you look at is what you get // ACM Transactions on Information Systems. 1991. Vol. 9. P. 152—169. DOI: 10.1145/123078.128728

Kalika D., Collins L., Caves K., Throckmorton C. Fusion of P300 and eye-tracker data for spelling using BCI2000 // Journal of Neural Engineering. 2017. Vol. 14. N 5. 056010. DOI: 10.1088/1741-2552/aa776b

Kim M., Chae Y., Jo S. Hybrid EEG and eye movement interface to multi-directional target selection // Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. EMBS 2013. P. 763—766.

Lazarou I., Nikolopoulos S., Petrantonakis P.C. et al. EEG-based brain-computer interfaces for communication and rehabilitation of people with motor impairment: A novel approach of the 21st Century // Frontiers in Human Neuroscience. 2018. Vol. 12. N 1. P. 1—18.

Marchitto M., Benedetto S., Baccino T., Canas J.J. Air traffic control: Ocular metrics reflect cognitive complexity // International Journal of Industrial Ergonomics. 2016. Vol. 54. P. 120—130. DOI: doi.org/10.1016/j.ergon.2016.05.010

Obeidat Q., Campbell T., Kong J. The Zigzag Paradigm : A new P300-based brain-computer interface // Proceedings of 15th ACM International Conference on Multimodal Interaction (December 09-13, 2013, Sydney, Australia). P. 205—212.

Obeidat Q.T., Campbell T.A., Kong J. Introducing the Edges Paradigm : A P300 brain-computer interface for spelling written words // IEEE Transactions on Human-machine Systems. 2015. Vol. 45. N 6. P. 727—738. DOI: 10.1109/THMS.2015.2456017

Pfabigan D.M., Sailer U., Lamm C. Size does matter! Perceptual stimulus properties affect event-related potentials during feedback processing // Psychophysiology. 2015. Vol. 52. N 9. P. 1238—1247. DOI: 10.1111/psyp.12458

Polich J. Updating P300 : An integrative theory of P3a and P3b // Clinical Neurophysiology. 2007. Vol. 118. N 10. P. 2128—2148. DOI: 10.1016/j.clinph.2007.04.019

Rezeika A., Benda M., Stawicki P. et al. Brain-computer interface spellers: A review // Brain Sciences. 2018. Vol. 8. N 4. Art. 57. DOI: 10.3390/brainsci8040057

Salvaris M., Sepulveda F. Visual modifications on the P300 speller BCI paradigm // Journal of Neural Engineering. 2009. Vol. 6. N 4. 046011.

Sellers E.W., Krusienski D.J., Mcfarland D.J. et al. A P300 event-related potential brain-computer interface (BCI): The effects of matrix size and inter stimulus interval on performance // Biological Psychology. 2006. Vol. 73. N 3. P. 242—252. DOI: 10.1016/j.biopsycho.2006.04.007

Shishkin S.L., Zhao D.G., Isachenko A.V., Velichkovsky B.M. Gaze-and-brain-controlled interfaces for human-computer and human-robot interaction // Psychology in Russia: State of the Art. 2017. Vol. 10. N 3. P. 120—137.

Townsend G., LaPallo B.K., Boulay C.B. et al. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns // Clinical Neurophysiology. 2010. Vol. 121. N 7. P. 1109—1120. DOI: 10.1016/j.clinph.2010.01.030

Whitney D., Levi D.M. Visual crowding: A fundamental limit on conscious perception and object recognition // Trends in Cognitive Sciences. 2011. Vol. 15. N 4. P. 160—168. DOI: 10.1016/j.tics.2011.02.005