Используются материалы Financial Times Financial Times
Поддержите VTimes, чтобы мы могли работать для вас.

Мнение

Время чтения: 3 мин
Обновлено:

Мнение. Образование набирает доказательную базу

Данные обучающих онлайн-платформ могут принести пользу и студентам, и преподавателям

Перевод образования в цифру, с одной стороны, дал новые возможности, а с другой — поставил несколько критически важных вопросов, без которых доказательное образование невозможно. Пандемия эти вопросы только заострила.

«Рентгеновский снимок» курса

Описать особенности доказательного образования проще всего через аналогию с доказательной медициной — парадигмы, в которой решения о применении лечения принимаются, исходя из имеющихся доказательств его эффективности и безопасности. Соответственно, доказательное образование — это парадигма, в которой обучение идет с помощью средств и практик, эффективность которых доказана.

Сегодня появилась возможность автоматически собирать большие наборы данных о поведении пользователей в образовательных средах, которые могут служить ценнейшим источником для доказательного образования. Онлайн-платформы записывают любую активность студента, буквально каждый клик мышкой, и сохраняют эти данные в базу, которую можно выгрузить с платформы.

Сами по себе данные несут мало пользы. Добавленная стоимость приходит от их анализа. Так, например, из набора ноликов и единичек — записанных платформой правильных и неправильных ответов студента на практические задания — при статистическом (психометрическом) анализе можно получить параметры подготовленности и учебного прогресса.

Данные об активности студентов в течение просмотра видеолекций могут указать на узкие места в видеолекции. Паттерн, когда студент нажимает на паузу и переходит на несколько секунд назад, эмпирически свидетельствует, что этот момент видеолекции не был понятен. Если этот паттерн встречается у единичных студентов — переживать не стоит, нормальная ситуация. Но если существенная группа студентов имеет такую форму активности — это доказательно указывает на необходимость доработки видеолекции.

Все больше экзаменов проводится в цифровой форме. Студенты делают ошибки. Мы научились объединять эти ошибки в единую сеть, чтобы увидеть закономерности: понять, откуда пошла та или иная учебная трудность, является ли она системной, требующей решения на уровне курса (например, через дополнительные учебные материалы).

Примеры показывают, что данные и их анализ становятся «рентгеновским снимком» курса. Профессора узнают, что улучшать, а студенты получают лучший контент.

Высокие ставки доверия

Неизбежно появляются вопросы доверия к данным. Можем ли мы быть уверены, что верный ответ на онлайн-задачку свидетельствует о том, что пользователь действительно освоил тему, а не списал или подобрал правильный ответ? Чтобы решить эту задачу, как минимум, все диагностические процедуры в образовании должны строиться от образовательных целей, а не от контента. Как это происходит зачастую? Для составления экзамена преподаватель открывает свою лекцию и по ней придумывает вопросы: вот про эту дату надо спросить, наверное; ну и про этот факт тоже можно спросить.

Такой подход в корне неверен. Нужно сначала посмотреть (или сформулировать, если этого не было сделано) на цели темы — что студент по итогам этой темы должен запомнить, что понять, как применить изученное. И далее задания необходимо строить именно для проверки этого понимания и применения.

Второй вопрос заключается в доверии к используемым моделям машинного обучения в образовании. В мире в целом накапливается настороженное отношение к использованию моделей типа black boxes в сопровождении и принятии решений с высокими ставками. Но в образовании это еще слабо осознается, и дебаты о необходимости использования интерпретируемых моделей только впереди.

В образовании, в отличие от многих других областей науки и практики, нам критически важно понимать причины происходящего. Например, при прогнозировании пробок на дороге первичен прогноз — нам важно точно знать, где и когда будет пробка. Как работает модель, точно спрогнозировавшая пробку, нам важно в гораздо меньшей степени. В образовании же нам важно разобраться, почему именно студент сделал ошибку, какая именно у него возникла учебная трудность. Поэтому прогноз (ошибок и трудностей) пусть и важен, но первично именно объяснение их причин. Именно поэтому в образовании нам так важно понимать, как работает модель машинного обучения, почему она выдала такой прогноз, как этот прогноз связан с предыдущим опытом студента и другим контекстом — важно, чтобы модель была интерпретируемой изначально.

Человеческий дизайн машинных решений

Для того, чтобы процедуры и практики доказательного образования получили большее распространение и перестали восприниматься с недоверием, во-первых, нужны специалисты. Но проблема заключается в том, что в России специалистов по педагогическим измерениям крайне мало (до сих пор сказывается постановление 1936 года, уничтожившее отечественные наработки в области психометрики и эмпирической педагогики), а специалистов мирового уровня, публикующихся в международных научных журналах — единицы.

Во-вторых, нужны ответственные и аккуратные с точки зрения педагогических исследований EdTech компании — сейчас, я часто вижу, что педагогическими A/B тестами (где задача найти оптимальную форму и содержание контента для лучших учебных результатов студентов) занимаются в логике маркетингового исследования. Но проблема в том, что в маркетинге целевой показатель видим (прирост покупок, прирост выручки), а в образовании — скрыт (прирост знаний) от непосредственного наблюдения. И почему-то ошибочно считается, что спасут продвинутые нейросетки и другие хитрые модели машинного обучения, но в реальности задача заключается в том, чтобы выстроить грамотную и аккуратную работу с педагогическими измерениями. Что для этого нужно? Для этого нужно, чтобы в EdTech компаниях наряду с маркетологами и аналитиками появились специалисты (или хотя бы консультанты) по вычислительным наукам об образовании, педагогическим измерениям и психометрике.

С точки зрения образовательного продукта, конкуренцию выиграют те, кто сможет наладить бизнес-процесс непрерывных изменений и улучшений, основанных на доказательных педагогических исследованиях. Именно такой подход позволит сфокусированно инвестировать именно в те улучшения, которые важны, нужны и гарантированно дадут результат.

Мнение автора может не совпадать с позицией редакции VTimes.

Хотите сообщить об ошибке? Выделите текст и нажмите Ctrl+Enter




Спасибо, что читаете эту статью!

Поддержите VTimes, чтобы мы могли продолжать работать для вас.