Как тогда убедиться, что учебный контент работает, а студенты достигают учебных целей? Что надо улучшить в образовательной части продукта, чтобы добиться бизнес-результатов? Эти вопросы регулярно встают перед каждым EdTech-проектом. Ответы на них дает психометрика — наука об измерениях в образовании. Узнаем о ней больше из новинки Дмитрия Аббакумова «Психометрика в EdTech: первые шаги», которую мы выпустили совместно с Яндекс Практикумом.
Бумажная книга Электронная книга
Психометрика в EdTech: первые шаги
Образование: что измерять?
Удобно, когда работаешь с чем-то осязаемым. Всегда можно оценить результаты своей работы: взвесить урожай яблок, подсчитать количество перевезенных пассажиров или позиций в товарном чеке. Сравнивая полученные значения, можно оценить, в каком году урожай был выше, в какое время суток люди чаще пользуются такси и какие товарные позиции лучше всего продаются, а на основании этих сравнений принимать взвешенные решения: выбрать более эффективное удобрение, спрогнозировать необходимое количество такси на линии, чтобы удовлетворить спрос и не спровоцировать простой, заранее в нужном количестве заказать хорошо продающийся товар.
Образованию в этом смысле повезло меньше: его основной продукт скрыт от непосредственного наблюдения. Невозможно, посмотрев на двух студентов, сказать, кто из них лучше знает предмет. Нет инструментов, которые, подобно весам или рулетке, покажут, каков запас знаний у человека. И даже если поместить его в дорогостоящий современный сканер, мы не узнаем, сколько информации в его голове.
Появление психометрики
Ученые и практики издавна предпринимают попытки измерить невидимое. В литературе можно проследить, что еще за 500 лет до нашей эры Конфуций делал первые «педагогические измерения»: наблюдал за учениками, их активностью и мотивацией — и сопоставлял полученные данные с их результатами. Однако системно такими измерениями стали заниматься только во второй половине XIX века.
Ясно, что память, знания или способности по своей сути являются ненаблюдаемыми (неосязаемыми) характеристиками. И чтобы их измерить, нужно обеспечить им возможность как-то проявиться. Именно для этого российский профессор Александр Нечаев давал учащимся слова и через какое-то время просил их воспроизвести. Воспроизведение слов (а в исследованиях американца Луиса Тёрстоуна — решение вычислительных задач) уже можно было пронаблюдать и подсчитать.
Лабораторное измерение скорости решения заданий студентами. — Иллюстрация из книги
Это и есть главный принцип психометрики: чтобы измерить невидимое, нужно дать ему проявиться через наблюдаемое поведение, а затем воспользоваться специальной статистической формулой для обработки результатов этих наблюдений и вычисления соответствующей метрики.
Что за метрики?
В качестве ключевых метрик автор книги предлагает ориентироваться на «супербалл», посильность, успеваемость и дельту. Поскольку эти показатели являются новыми для онлайн-образования, он обосновывает их с помощью научного метода, проверяет на практическую полезность и связывает с бизнесовыми метриками. Получилась не просто теория, а руководство к действию для всех, кто хочет усовершенствовать образовательные платформы.
Автор книги Дмитрий Аббакумов — научный консультант, а в 2021-2023-м — главный психометрик Яндекс Практикума, платформы образовательных онлайн-курсов. Сегодня сервис проводит множество статистических исследований и экспериментов, которые позволяют лучше понять паттерны поведения студентов и то, какие образовательные методы им ближе. Для повышения эффективности курсов Практикум разрабатывает адаптивный подход к обучению, технологии доучивания и достижения нужного уровня навыков. Задача, которую решает книга, — поделиться накопленным опытом Дмитрия с теми, кому такие знания будут полезны в работе: с методистами, аналитиками и продакт-менеджерами в сфере онлайн-образования, преподавателями в EdTech, создателями образовательных онлайн-продуктов, специалистами HR Tech, желающими внедрить доказательные подходы в корпоративное образование.
Узнайте больше из книги «Психометрика в EdTech: первые шаги»
Обложка поста — freepik.com
