Введение

Этой статьей мы продолжаем цикл публикаций, посвященных различным современным методам контроля учебных достижений студентов. При этом учебные достижения студентов выступают для нас как частный случай профессиональных знаний и умений. Студенты — это, конечно, еще не опытные, но все-таки начинающие профессионалы. А современные методы — это на сегодняшний день компьютеризированные методы, среди которых метод тестов является самым известным, но не единственным. Сравнительно недавний пример нетестовой методики дает так называемый «Метод контекстной вставки» (Шмелев и др., 2012).

С самого начала 1980-х гг. (Шмелев, 1984) и по сегодняшний день автор активно применяет и апробирует разнообразные компьютеризированные методы в ходе зачетных и экзаменационных мероприятий на факультете психологии МГУ имени М.В. Ломоносова. Журналом, в котором публикуются первые научные отчеты об этих новых методах, регулярно выступает именно «Вестник Московского университета. Серия 14. Психология». Эти методы апробируются и внедряются не только в рамках поточного курса «Общая психодиагностика» и близких по тематике специальных курсов (Шмелев, 2003; Шмелев и др., 2007), но и в рамках выпускных государственных экзаменов (Зинченко и др., 2011).

Настоящая статья посвящена так называемым «матричным методикам», или «матричным тестам». Данный термин введен нами еще в 1980-х гг. (Столин, Шмелев, 1984). Он представляется более универсальным, чем такой более популярный термин, как «техника репертуарных решеток» (Франселла, Баннистер, 1987). Первым и самым известным автором, применившим этот метод еще в 1950-е гг., стал Джордж Келли, поэтому очень часто этот метод называют по имени ключевого автора «метод Келли» (Келли, 2000) [1]. Следует сразу же подчеркнуть, что метод Келли нашел применение вовсе не только в психологии, но в сопоставимых и даже бОльших масштабах в области, которую специалисты по искусственному интеллекту, называют «извлечение экспертных знаний» (Ларичев, Моргоев, 1991; Hart, 1989). В данном случае в роли респондента, выполняющего методику, выступает эксперт — носитель глубокого знания в какой-то профессиональной области.

Опишем, что такое «матричный тест» в общем виде. Его главная черта — это матричная структура данных, которая появляется в результате проведения теста на одном субъекте (респонденте). По столбцам располагаются объекты шкалирования, по строкам — шкалы, в ячейках — баллы, с помощью которых респондент оценивает объекты по шкалам. В «ролевом тесте Келли» на месте объектов выступают роли, а на месте шкал — извлеченные (или выявленные) личностные конструкты (elicited constructs). В случае готовых шкал (supplied constructs) процедура, которая приводит к заполнению ячеек матрицы, часто называется «шкалированием». Частным случаем шкалирования является широко известный метод «семантического дифференциала» Ч. Осгуда. Но в общем случае шкалирование может иметь вырожденный характер и сводиться к заполнению респондентом для каждого объекта некоторого контрольного списка (check list), т.е. к номинальной шкале качественных признаков (свойств), так что в ячейках появляются бинарные значения «1» (объект обладает признаком) или «0» (объект не обладает признаком). В наших ранних публикациях матричная структура данных получила название «субъектная парадигма анализа данных» (Шмелев, 1982, 1990). Совокупность индивидуальных матриц порождает в общем случае так называемый «куб данных», стороны которого образованы шкалами, объектами и субъектами (респондентами). В отличие от плоской двумерной матрицы «объект×признак», характерной для принятой в естественных науках «объектной парадигмы», куб данных создает возможность для применения особых методов анализа, позволяющих производить реконструкцию так называемых «субъективных семантических пространств», т.е. применять метод многомерного шкалирования в его различных модификациях (Терехина, 1986). Впрочем, нередко вместо пространственных моделей создаются семантические графы. За рубежом в последнее время этот подход известен под названием «концептуальное картирование» (conceptual mapping). Читателям на эту тему пока, увы, можно порекомендовать лишь обзорные работы на английском языке (напр.: Anderson et al., 1990).

В отечественной литературе метод психосемантического шкалирования известен прежде всего по трудам группы исследователей из МГУ имени М.В. Ломоносова — основателей так называемой «экспериментальной психосемантики» (сознательно сошлемся здесь на наиболее ранние крупные публикации этих авторов ( см.: Артемьева, 1980; Петренко, 1983; Шмелев, 1983). Но хотелось бы сделать важную оговорку: в те времена эти авторы еще не ставили задачу адаптации этих инструментов для целей оценки профессиональных знаний и учебных достижений студентов. По крайней мере, как самостоятельная задача она не была в те годы сформулирована.

Матричную технологию мы сами неоднократно применяли в работе с экспертными знаниями для выработки согласованных экспертных оценок в различных областях — от оценки пользовательского интерфейса портальных проектов (Шмелев, 2004) до оценки путей решения политических конфликтов (Шмелев, 2006) и психосемантического шкалирования мужских и женских имен (Шмелев, 2016). В этих наших прикладных работах уже использовался функционал интернет-системы сбора и анализа данных под названием HT-LINE, т.е. той же самой платформы, которая применялась и в данном прикладном исследовании. Ее возможности достаточно подробно освещены нами в монографическом руководстве «Практическая тестология» (Шмелев, 2013).

Цели и задачи прикладного исследования

В нашем прикладном эмпирическом исследовании ставилась цель выявить методический потенциал матричной методики для автоматизированной количественной оценки (измерения) знаний студентов.

При этом решались отдельные взаимосвязанные и сопутствующие задачи:

• апробировать программно-техническое решение для автоматизации матричных методик (методик шкалирования) на платформе обучающей системы HT-LINE;
• исследовать обучающий потенциал «матричной методики» как некоего упражнения, которое может служить инструментом не только оценки, но и обучения системе понятий; точнее, инструментом концептуального научения (conceptual learning), ибо главное здесь — активность не преподавателя, а самого учащегося;
• реконструировать (извлечь) концептуальную карту (структуру знания) по проблематике, значимой для специального курса «Психология конкуренции», а именно субъективную классификацию видов спорта на основании семантических шкал-конструктов, касающихся типов социального взаимодействия спортсменов друг с другом (не только соперников, но и партнеров в рамках одной команды и т.п.).

Контингент участников и методика

Эмпирическое прикладное исследование проводилось в течение 8 лет (2011—2018 гг.) на студентах пятого курса факультета психологии МГУ — слушателях авторского спецкурса «Психология конкуренции» [2]. Всего за указанный период методику выполнили 150 человек. Задача студента при выполнении методики сводилась к тому, чтобы оценить в интерактивном режиме за компьютером 20 популярных видов спорта по 15 шкалам-критериям, указывающим на тип взаимодействия спортсменов и способы достижения победы в этих видах спорта. Оценка производилась по 5-балльной вербальной шкале, которую можно увидеть на рис. 1.

Рис. 1. Пользовательский интерфейс при выполнении методики шкалирования видов спорта по шкалам-критериям

Рис. 1. Пользовательский интерфейс при выполнении методики шкалирования видов спорта по шкалам-критериям

Методы обработки результатов

В системе HT-LINE кроме процедуры сбора данных по методике шкалирования реализованы встроенные процедуры обработки результатов. Разумеется, все эти встроенные процедуры были использованы автором для обработки собранных результатов, представлявших собой трехмерный массив («куб данных») со следующими сторонами: «150 респондентов×20 видов спорта×15 шкал». Вот перечень использованных методов обработки:

1) Расчет близости индивидуальной матрицы студента к «эталонной матрице». «Эталонная матрица» получалась из оценок самого преподавателя (автора статьи, который, конечно, первым выполнил данную методику), скорректированных позднее на основании усредненных баллов, полученных от студентов (ведь сам преподаватель может в каких-то случаях дать необоснованную оценку связей, а усредненные баллы студентов позволят ему это увидеть и скорректировать, так как в системе есть режим, показывающий все значимые отклонения индивидуальных оценок от усредненных оценок по всей выборке респондентов). В качестве меры близости матрицы i-го респондента к матрице j-го эталонного респондента в данном случае применялся средний коэффициент сходства «Косинус Пи» (или же «коэффициент конгруэнтности» с фиксированным средним), подсчитанный по всем N шкалам (для каждого k-го объекта шкалирования из числа M объектов) по следующей формуле:

где X_ikl — оценка респондентом i по 5-балльной шкале объекта k по шкале l, 3 — середина 5-балльной шкалы от 1 до 5, n – число шкал (в данном случае n=15).  

Интегральная мера  близости R_ij двух матриц респондента i и респондента j рассчитывается как среднее арифметическое показателей R_ijk по всем объектам k (в данном случае число объектов m=20):

2) Ранжирование (сортировка) всех респондентов (студентов) по мере близости их результатов к «эталону».

3) Ранжирование (сортировка) всех объектов шкалирования по каждому отдельному критерию (шкале), а также по «суммарному рейтингу» — сумме всех шкал-критериев.

4) Кластерный анализ матрицы сходства объектов шкалирования.

5) Кластерный анализ матрицы сходства шкал.

6) Кластерный анализ матрицы сходства респондентов (студентов, экспертов).

Результаты

Среднее значение коэффициента сходства R_ij с «эталоном» для всех 150 студентов оказалось весьма высоким и равным 0.74. Размах значений R_ij — от 0.35 до 0.85. Надо сказать, что это высокие показатели. Для многих других наших исследований с использованием метода многокритериальных экспертных оценок показатели были, как правило, значительно ниже [3]. Обычно согласованность индивидуальных оценок с эталоном можно считать удовлетворительной, если коэффициент оказывается не ниже 0.6. Такие значения наблюдались в данном случае у подавляющего большинства студентов — у 142 из 150 студентов (это почти 95% выборки). Таким образом, все студенты получили по этому заданию не менее 4 или 5 очков как вклад в общую сумму баллов по спецкурсу (подробности про показатель СНБ — сумму набранных баллов см.: Шмелев, 2013).

Такая высокая «экспертная точность» в данном задании привела к тому, что корреляция между оценками студентов за данное задание и общим показателем СНБ по спецкурсу оказалась заниженной — всего лишь 0.1, что не достигает значимого уровня и оказывается значительно ниже большинства других промежуточных контрольных оценочных процедур, принятых в данном спецкурсе, — тестов с выбором ответа, контекстной вставки и процедуры взаимной оценки качества докладов (модификация методики «360 градусов»). По большинству остальных процедур линейная корреляция Пирсона оказалась значимой и принимала значения от 0.2 до 0.45 (выборка свыше 150 человек).

Но зато данная высокая согласованность дала возможность уверенно построить с помощью кластерного анализа «карту знаний» и интерпретировать ее в качестве наглядного учебного пособия для данного спецкурса.

Рис. 2. Профили оценок двух контрастирующих видов спорта — футбола (черные столбцы) и одиночного фигурного катания (серые столбцы).

На рис. 2 представлены профили усредненных балльных оценок двух контрастирующих видов спорта. По этим профилям видно, что футбол оценивался студентами как командный вид спорта, предполагающий более жесткую (контактную) борьбу с соперником и одновременно кооперативное взаимодействие игроков (сотрудничество) внутри одной команды. В то же время такой более зрелищно-эстетический вид спорта, как «одиночное фигурное катание» на самом деле несет в себе не меньшей силы заряд конкурентных эмоций (отношений), хотя не предполагает прямого физического противоборства с соперниками.

На рис. 3 и 4 представлены результаты автоматического кластерного анализа объектов шкалирования. Использовался самый традиционный алгоритм кластеризации — иерархическая классификация с пересчетом сходства с новыми кластерами по методу среднего сходства (расстояния). Диаграмма результатов кластерного анализа публикуется на рис. 3 и 4 в том самом формате, какой автоматически строит система HT-LINE, т.е. алгоритм кластеризации объектов и шкал встроен в сервис-модуль «Шкалирование» в рамках этой программной системы. На каждой «террасе», на которой термины объединяются в определенный кластер, указывается уровень сходства, на котором произошло объединение (в процентах от максимально возможного сходства). Высокое попарное сходство профилей видов спорта, которое можно визуально заметить еще на рис. 2, приводит к тому, что и кластеры оказались сформированными на очень высоких уровнях сходства. Тем не менее интерпретация этих кластеров возможна и дает вполне содержательные результаты.

Рис. 3. Результаты кластерного анализа объектов шкалирования — видов спорта.

Рис. 4. Результаты кластерного анализа шкал-критериев — конструктов, описывающих типы взаимодействия спортсменов и внутренних мотиваторов-регуляторов спортивной деятельности.

Видно, что объекты сгруппированы весьма закономерным образом. Хотя среди оценивающих шкал-конструктов не были использованы фактически профессиональные спортивные конструкты, все же весьма неожиданный факт состоит в том, что получилась классификация, очень близкая к той, которая известна из специальной спортивной литературы как «классическая олимпийская классификация» (Холодов, Кузнецов, 2000). По порядку сверху вниз мы видим на разных этажах (террасах) классификационной сетки такие кластеры:

1. «спортивные игры» (футбол, волейбол, хоккей, регби),

2. «единоборства» (бокс, борьба, бои без правил),

3. «циклические виды» (бег, плавание, конькобежный спорт),

4. «сложно-координационные виды» (прыжки в высоту, художественная гимнастика, фигурное катание, фристайл).

Пожалуй, не охваченными оказались лишь «многоборья» (это недостаток списка видов спорта).  А «скоростно-силовые виды» попали в разные кластеры: «спринтерский бег» оказался ближе к циклическим видам, а «тяжелая атлетика» (штанга) выделилась в самостоятельный одиночный кластер. Зато сформировался такой вполне осмысленный кластер, в котором объединились «шоссейные велосипедные гонки» и «автогонки». Это тоже традиционные мужские виды спорта с высокой степенью риска физических столкновений между соперниками, с высоким уровнем травматизма, требующие смелости, ловкости и выносливости одновременно. Заслуживает внимание тот факт, что волейбол оказался среди командных спортивных игр, а одиночные игры через сетку (теннис и бадминтон) выделились в самостоятельных кластер.

Но главной целью данного упражнения в рамках спецкурса «Психология конкуренции» был вовсе не анализ видов спорта, а приобретение студентами навыков точного использования конструктов, значимых с точки зрения тематики данного спецкурса. На рис. 4 мы видим, как оказались сгруппированы эти шкалы-конструкты. Можно выделить 4 достаточно отчетливых кластера:

1. «спортивная конкуренция» (соревнование, состязание, соперничество,  борьба за результат);

2. «контактное противоборство» (силовая борьба, конфронтация, конфликт, столкновение, противоборство);

3. внутренняя саморегуляция (индивидуальное самоутверждение, борьба с собой, творческое самовыражение);

4. кооперация со «своими»  (сотрудничество в команде, взаимопомощь в команде).

Обсуждение результатов

Как мы видим, наиболее содержательно интересными в нашем исследовании оказались результаты структурирования семантических связей и группировки ключевых терминов (профессиональных конструктов), связанных с тематикой учебного курса.

В наших прежних публикациях, посвященных проблематике конкуренции, мы уже обсуждали одну из возможных эмпирических классификаций терминов, описывающих семантическое поле, состоящее из синонимов и близкородственых терминов к ключевому понятию «Конкуренция», а именно одномерную классификацию по уровню «жесткости/мягкости» взаимодействия (Шмелев, 2014). Совершенно очевидно, что при шкалировании видов спорта такая же классификация и конструктов, и самих видов спорта (по уровню мягкости/жесткости спортивной борьбы) тоже проявилась. Одиночные и эстетические, а также циклические (где идет «раздельный старт», или бег по непересекающимся соседним дорожкам) виды спорта могут быть заряжены не меньшим азартом спортивной состязательности (ради победы прикладываются экстремальные физические и морально-психологические усилия), но прямое столкновение (с возможностью нанесения травмы сопернику) возникает лишь в контактных видах, поэтому они выделяются отдельно — в кластер, где возможным становится прямое нанесение ущерба сопернику, где этот ущерб может даже становиться одной из целей борьбы. Например, в некоторых современных видах единоборств свободного и смешанного стилей (mixed fighting) допускаются болевые приемы и т.п.

Сам по себе анализ спортивной деятельности в рамках различных видов спорта содействует более глубокому усвоению студентами концептуального аппарата, необходимого для анализа различных ситуаций конкуренции в различных областях человеческой деятельности — не только в сфере материального производства и торговли (признанные классические области экономической конкуренции), но и в сфере искусства (в шоу-бизнесе, где происходит конкуренция за зрителей), в политике (конкуренция за голоса избирателей), в судопроизводстве (конкуренция прокурора, адвоката, свидетелей за голоса присяжных и позицию судей) и т.п. Но именно в спорте наличие явно сформулированных правил спортивной борьбы делает такой анализ более ярким, наглядным и структурированным. Недаром за годы существования данного спецкурса от четверти до трети учебных докладов студентов были посвящены именно анализу структурных и функциональных компонентов конкурентной среды, а также стратегий поведения на материале различных видов спорта.

Выводы

Проведенное нами исследование дает возможность сделать следующие выводы и наметить определенные перспективы.

1. Высокое сходство оценок студентов на материале видов спорта, увы, не позволило выявить в данном случае статистически достоверный вклад данной технологии оценки учебных достижений в итоговый суммарный балл студента. В направлении валидизации методики как оценочной технологии еще требуются дополнительные исследования.

2. Но то же самое высокое сходство оценок позволило в данном случае получить хорошо интерпретируемые семантические связи между понятиями, что содействует концептуальному научению (conceptual learning) студентов — их самостоятельной работе по овладению системой понятий в данной предметной области; тем самым открывается возможность использования матричной методики как особого «обучающего упражнения».

3. Побочным результатом данного исследования явилась классификация видов спорта по психологическим основаниям — типам взаимодействия между участниками  спортивных соревнований и содержанию внешней и внутренней мотивации спортивной борьбы. Последний результат важен для такой прикладной психологической дисциплины, как спортивная психология, смежной с педагогической и организационной психологией. Полученную классификацию следует признать лишь в первом приближении. Для более серьезного результата следует расширить список видов спорта и перечень шкал-конструктов.

Благодарности

Автор благодарит Д.М. Ильиных и Н.Н. Страхова за огромный многолетний  труд по разработке сервиса «Шкалирование» в рамках интернет-системы HT-LINE, на платформе которой выполнено настоящее исследование.

Примечания

1. В контексте этой статьи сразу следует оставить в стороне еще одно название для «Метода Келли», а именно «Тест личностных конструктов», ибо это название сужает область применения метода до сферы психологии личности.

2. Спецкурс посещали студенты следующих трех специализаций: «психология личности», «организационная психология», «психология переговоров».

3. В рамках так называемого интернет-сообщества ЭСПП (Экспертного Сообщества Прикладных Психологов) автором было проведено немало подпроектов в статусе добровольных экспертных конкурсов: шкалирование имен (Шмелев, 2016), шкалирование афоризмов и другие. См. форум в Интернете по адресу: http://forum.ht-line.ru.