Шмелев Александр Георгиевич

Актуальность и цель работы. В данном эмпирическом исследовании предпринята попытка измерения точности обнаружения мошенничества («читинга») на основе экспертных оценок с использованием видеозаписей хода выполнения тестовых экзаменов в режиме онлайн. 

Выборка. 35 испытуемых выполняли в режиме онлайн тест на эрудицию из 30 заданий с выбором из 4-х вариантов ответа. Половина испытуемых (18 человек) были «подставными читерами» – использовали шпаргалки с правильными ответами. 

Ход и методы. Видеозапись процесса тестирования включала «захват экрана», на котором наблюдатель-эксперт («проктор») мог наблюдать все перемещения курсора, видеть запись мимики и зрительный фокус внимания испытуемого в отдельном окне (запись с фронтальной камеры), слышать речевое проговаривание испытуемым условий задания и ответов («устное решение»). В оценивании видеозаписей приняло участие 14 экспертов, из которых 8 показали удовлетворительные результаты по уровню точности в обнаружении читинга (точность-accuracy, измеренная с помощью коэффициента Kappa, у них была выше 0,5). 

Выводы. Выявлена высокая асимметричная прогностичность экспертных оценок: более точные эксперты допускают пренебрежимо малое (около 5 процентов) число ошибок типа «ложная тревога», но сравнительно много ошибок типа «пропуск». Сделаны рекомендации по практическому использованию методики экспертной оценки в сочетании с автоматическим хронометрическим анализом степени атипичности протоколов и последующим контрольным очным тестированием всех заподозренных испытуемых (экзаменуемых).

Актуальность. В статье обсуждаются возможности новой методики диагностики профессиональных знаний. Это методика «матричного тестирования» (или семантического шкалирования). Автор вводит различительную систему понятий, позволяющую локализовать новую методику в контексте целого ряда традиционных (метод тестов) и нетрадиционных методов оценки учебных достижений и  профессиональных знаний.

Цель. Выявление возможности применения методики «семантического шкалирования» для количественной оценки (измерения) степени компетентности студентов.

Методика. Методика семантического шкалирования была применена автором для шкалирования видов спорта с помощью особых шкал-критериев, которые обозначают различные типы взаимодействия спортсменов и мотивационной регуляции их деятельности и тем самым превращают методику в «психосемантическое шкалирование». Исследование проведено на 150 студентах старших курсов факультета психологии МГУ, прослушивавших специальный курс автора по теме «Психология конкуренции». 

Результаты. Основной полученный результат (низкий коэффициент корреляции между успешностью выполнения этой методики и суммарной эффективностью студентов в ходе спецкурса) не позволяет сделать вывод, что основная цель достигнута. Более интересными оказались побочные результаты от применения данной методики, а именно: полученные с помощью кластерного анализа группировки видов спорта позволяют говорить о «психологической классификации» этих видов или по крайней мере о «психосемантической классификации». Эта классификация во многом сближается с классической «олимпийской классификацией», но имеет ряд содержательных особенностей.

Выводы. Основным положительнымрезультатом проведенного исследования можно считать высокое сходство полученных матриц с эталонной матрицей, из чего можно сделать вывод, что методика «психосемантического шкалирования» содействует концептуальному научению (conceptuallearning) студентов-психологов — их самостоятельной работе по овладению системой понятий в данной предметной области

В статье рассматриваются инновации в области обучения и оценки персонала, связанные с внедрением процессов геймификации компьютерных средств обучения и оценивания (психодиагностики). В теоретико- методологической части статьи дается операциональное определение термина «геймификация», а также обсуждаются факторы, препятствующие успешной геймификации, — снижающие валидность компьютерных психодиагностических методов, построенных на использовании игровых элементов. В экспериментально-методической части статьи приводится описание новой компьютерной методики «Ложки», предназначенной для оценки функционального состояния. Эта краткая (трехминутная) методика представляет собой игровую модификацию таких классических тестов внимания, как «корректурная проба Бурдона» и «устный счет по Крепелину». Авторы публикуют данные о достаточно высокой надежности и валидности новой методики, подтверждающие возможность ее применения в качестве инструмента для мониторинга (оперативного отслеживания) функционального состояния.

В статье освещаются и обсуждаются результаты экспертной оценки 16 определений понятия «компетенции». Оценки выносили 45 психологов высшей квалификации (кандидаты и доктора наук) — члены Экспертного интернет-сообщества психологов на сайте www.ht.ru. В ходе оценок эксперты использовали 7 различных оценочных шкал. Полученный куб данных 45×16×7 подвергался факторному и кластерному анализу. Было выявлено 2 устойчивых фактора, отражающих уровень популярности определения (первый фактор), а также близость-удаленность от терминологической отечественной традиции (второй фактор), связанной в основном с понятиями ПВК («профессионально важные качества») и ЗУНы («знания-умения-навыки»). Оценки определений со стороны академических специалистов оказались ближе к отечественной традиции, а оценки психологов-практиков — ближе к западной традиции. С помощью кластерного анализа было выявлено 4 устойчивых кластера: 1) компетенция как область полномочий и ответственности, 2) компетенции — это те же самые ПВК, 3) компетенция как мобилизация знаний и навыков для решения конкретной производственной задачи, 4) компетенции — это описательные единицы (элементы) эффективной профессиональной деятельности. Наиболее перспективным и эвристичным подходом авторы считают третий кластер определений, в котором осуществляется попытка творческого синтеза отечественной (деятельностной) и западной (бихевиористской) концептуально-терминологических традиций.

В статье представлена проблематика компьютеризированных процедур аттестационного контроля: их разработки, применения, достоинств и недостатков. Описан опыт работы с «методом контекстной вставки» как технологическим решением, позволяющим преодолеть ограничения классического тестирования и обеспечивающим комплексный подход к диагностике знаний учащихся. Приведены результаты содержательной и психометрической апробации метода на студентах факультета психологии МГУ имени М.В. Ломоносова в рамках курса «Основы психодиагностики», а также на материале проверки грамотности. Обоснована перспективность подобного метода при проведении текущего и итогового контроля, очерчены границы его применения и возможные трудности организационного характера.

В статье освещаются результаты многолетнего опыта внедрения компьютеризированных тестов на выпускных курсах дневного, вечернего и спецотделения факультета психологии МГУ им. М.В. Ломоносова. Дается описание методики тестового испытания, характеристика созданного банка тестовых заданий, рассматриваются технологические и организационные вопросы (регламент для студентов-экзаменуемых, регламент учета результатов для преподавателей-экзаменаторов). Основное внимание уделяется статистическому анализу полученных взаимозависимостей (статистических корреляций) между результатами тестовых испытаний, оценками на традиционном устном госэкзамене (по билетам) и суммарным баллом диплома, полученным студентом за все годы обучения (сумма оценок за все экзамены). В связи с систематической работой над качеством тестовых материалов корреляция между тестовыми баллами и суммарным баллом диплома (выбранным в качестве главного критерия валидности) год от года росла и достигла значений 0.72 (коэффициент Пирсона) и 0.86 (коэффициент Гилфорда для крайних групп). В то же время аналогичная корреляция для оценок на устном экзамене осталась на прежнем уровне (0.55—0.59 — коэффициент Пирсона в разные годы).

В статье представлены данные, свидетельствующие о преемственности отечественных профориентационных методик ДДО и «Профориентатор». Описан научный и организационный вклад профессора Е.А. Климова в развитие современных профориентационных диагностических методов. Кратко приведена история появления компьютеризированной методики «Профориентатор» и логика ее преобразования. Особое внимание уделено блоку «Интересы» и вторичным шкалам современного теста по направлениям профильного обучения. Анализ эмпирического материала, полученного с применением методов экспертной оценки и математической статистики, позволил аргументированно доказать прогностичность результатов тестирования школьников с помощью теста «Профориентатор» при реальном выборе профессии с точностью до шести направлений профильного обучения. Описанные материалы убедительно свидетельствуют о ценности заложенных Е.А. Климовым теоретических оснований отечественного профориентационного подхода