Точность экспертной технологии обнаружения мошенничества на удаленных тестовых экзаменах (прокторинг)

Аннотация

Актуальность и цель работы. В данном эмпирическом исследовании предпринята попытка измерения точности обнаружения мошенничества («читинга») на основе экспертных оценок с использованием видеозаписей хода выполнения тестовых экзаменов в режиме онлайн. 

Выборка. 35 испытуемых выполняли в режиме онлайн тест на эрудицию из 30 заданий с выбором из 4-х вариантов ответа. Половина испытуемых (18 человек) были «подставными читерами» – использовали шпаргалки с правильными ответами. 

Ход и методы. Видеозапись процесса тестирования включала «захват экрана», на котором наблюдатель-эксперт («проктор») мог наблюдать все перемещения курсора, видеть запись мимики и зрительный фокус внимания испытуемого в отдельном окне (запись с фронтальной камеры), слышать речевое проговаривание испытуемым условий задания и ответов («устное решение»). В оценивании видеозаписей приняло участие 14 экспертов, из которых 8 показали удовлетворительные результаты по уровню точности в обнаружении читинга (точность-accuracy, измеренная с помощью коэффициента Kappa, у них была выше 0,5). 

Выводы. Выявлена высокая асимметричная прогностичность экспертных оценок: более точные эксперты допускают пренебрежимо малое (около 5 процентов) число ошибок типа «ложная тревога», но сравнительно много ошибок типа «пропуск». Сделаны рекомендации по практическому использованию методики экспертной оценки в сочетании с автоматическим хронометрическим анализом степени атипичности протоколов и последующим контрольным очным тестированием всех заподозренных испытуемых (экзаменуемых).

Литература

Аптон Г. Анализ таблиц сопряженности – М: Финансы и статистика, 1972. 143 с.

Лурия А.Р. Диагностика следов аффекта. Сопряженная моторная методика и её применение в исследовании аффективных реакций. – В кн: Проблемы современной психологии, т. 3. М., 1928, с. 46.

Орлов А.И. Экспертные оценки. Учебное пособие. М: МЗ-Пресс, 2002. 31 с.

Шмелев А.Г. Многокритериальная оценка пользовательских интерфейсов портальных проектов. – В сборнике «Интернет-порталы: содержание и технологии», Москва: Просвещение, 2002, том 2, с. 346–361.

Шмелев А.Г. Согласование экспертных оценок с помощью Интернет-технологии шкалирования. – В сборнике «Экспертиза в современном мире: от знания к деятельности». М: Смысл, 2006, с. 175–185.

Шмелев А.Г. Практическая тестология. Тестирование в образовании, прикладной психологии и управлении персоналом. М. : Маска, 2013. 688 с.

Ядов В.А. Стратегия социологического исследования. М.: Академкнига, Добросвет, 2003. 596 с.

 

Chia-Yuan Chuang. Improving Proctoring by Using Non-Verbal Cues During Remotely Administrated Exams. A Dissertation Presented for the Degree Doctor of Philosophy. Arizona state university, 2015. 79 p.

Cohen J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 1960, 20 (1), 37–46.

Macmanus I.C., Lissauer T.J., Williams S. Detecting cheating in written medical examinations by statistical analysis of similarity of answers: Pilot study. British Medical Journal (online), 2005, 1064-6.

van der Linden W.J. A lognormal model for response times on test items. Journal of Educational and Behavioral Statistics, 2006, 3 1 (2), 181–204. 

Cross-validaion (2020). Ссылка: https://en.wikipedia.org/wiki/Cross-validation_(statistics)#k-fold_cross-validation

Inter-rater reliability (2020). Ссылка: https://en.wikipedia.org/wiki/Inter-rater_reliability

ProctorU. (2008). Pupilcity ProctorU. Ссылка: http://www.proctoru.com/

ProctorEDu(2015). Тесты в бизнесе и прокторинг. Ссылка: https://proctoredu.ru/interview

VProctor. (2014). VProctor. Ссылка: http://vproctor.com/

Что такое прокторинг и чем он полезен на экзаменах, тестировании и в обучении (2020). Ссылка: https://finacademy.net/materials/article/proktoring