Матрица эффективности тестов в AcademyOcean

Два ученика могут получить одинаковый результат в викторине, затратив на это разное количество попыток.

Первый правильно ответил на вопрос с первого раза. Второму понадобилось несколько повторных прохождений, чтобы набрать такой же балл.

Если смотреть только на результат, этой разницы не видно. Однако количество попыток помогает лучше понять ситуацию: кто уверенно выполняет задания, кто настойчиво работает над ошибками, а кому может понадобиться дополнительная помощь.

В AcademyOcean уже доступна матрица эффективности тестов. Она сопоставляет средний результат учащихся со средним количеством попыток и отображает данные в виде тепловой карты.

На одной странице администратор видит общую картину, открывает нужную категорию и переходит к списку конкретных учеников.

Почему одного среднего результата недостаточно

Средний балл показывает, насколько успешно ученик выполнил задание. Количество попыток отражает, сколько раз он возвращался к тесту, прежде чем получить этот результат.

Высокий балл после первой или второй попытки и такой же балл после нескольких повторных прохождений — это разные сценарии обучения.

В первом случае ученик быстро справился с заданием. Во втором — достиг нужного результата, но затратил на это больше усилий.

Низкий результат также следует рассматривать с учётом количества попыток. Если ученик прошел тест один раз и больше к нему не возвращался, стоит проверить его вовлечённость. Если он повторяет попытки, но результат не улучшается, причиной может быть сложность материала, непонятные формулировки вопросов или недостаток поддержки.

Матрица демонстрирует эти различия, избавляя от необходимости вручную сопоставлять данные из нескольких отчетов.

Где найти матрицу эффективности

Страница «Эффективность» находится в разделе «Статистика и отчеты».

На ней представлены блок «Insights», тепловая карта «Avg Score vs Avg Attempts», фильтры и инструменты для экспорта данных.

Результаты можно фильтровать:

1. по дате;
2. по дате завершения теста;
3. по дате регистрации учащегося;
4. по команде, курсу или тесту;
5. по системным и пользовательским переменным.

Фильтры помогают перейти от общего отчета академии к конкретному вопросу. Например, проверить результаты отдельной команды, проанализировать определенный курс или выявить трудности в конкретном тесте.

Страницу можно экспортировать в формате PDF с учетом выбранного периода. Такой отчет можно сохранить или передать коллегам, которые не работают непосредственно в академии.

Как читать тепловую карту

Тепловая карта «Средний балл» против «Среднее количество попыток» сопоставляет два показателя.

Вертикальная ось «Avg Score» показывает средний результат учащегося по всем завершённым тестам. Шкала охватывает значения от 0% до 100% с шагом 10%.

Горизонтальная ось «Avg Attempts» показывает среднее количество попыток в завершенных тестах. На шкале отображаются значения от одной до шести попыток, а также отдельная группа «6+».

Каждая ячейка диаграммы содержит количество учащихся с соответствующим сочетанием результата и количества попыток. При нажатии на ячейку открывается таблица этих учащихся.

Таким образом, команда видит не один усредненный показатель, а различные сценарии прохождения тестов.

Пять категорий учащихся

Матрица делит учащихся на пять категорий. Каждая категория учитывает средний результат и среднее количество попыток.

Stars

Stars — учащиеся со средним результатом от 71 % до 100 %, которым в среднем потребовалась одна или две попытки.

Они достигают высоких результатов без многократных повторных прохождений. На матрице эта категория расположена в верхней левой зеленой зоне.

Эта категория помогает выявить учащихся, которые демонстрируют высокие результаты и при этом уверенно выполняют задания.

Driven

Driven — учащиеся со средним результатом от 71 % до 100 %, которым в среднем потребовалось от трёх до шести попыток.

Они также достигают высоких результатов, но чаще возвращаются к викторинам. На тепловой карте эта категория расположена в верхней правой синей зоне.

Такой сегмент помогает выявить целеустремленных учеников и проверить, какие темы или вопросы требуют нескольких повторных прохождений.

Not Engaged

Not Engaged — учащиеся со средним результатом от 0% до 70%, которым в среднем потребовалась одна или две попытки.

Низкий результат в сочетании с небольшим количеством попыток может свидетельствовать о недостаточной вовлеченности. Например, ученик не вернулся к тесту после первой неудачной попытки.

Эта категория расположена в нижней левой желтой зоне.

В то же время статус не объясняет причину автоматически. Прежде чем делать вывод, необходимо учесть контекст учебной программы и обстоятельства конкретного ученика.

Need Help

Need Help — учащиеся со средним результатом от 0% до 70%, которым в среднем потребовалось от трёх до шести попыток.

Они повторно проходят тесты, но пока не достигают высоких результатов. Это может свидетельствовать о том, что материал требует дополнительных разъяснений или ученику нужна помощь инструктора.

На матрице категория расположена в нижней правой красной зоне.

Outliers

Outliers — учащиеся со средним количеством попыток 6+ независимо от полученного результата.

Это отдельная крайняя правая зона тепловой карты. Она помогает выявить нетипичные случаи, требующие более подробного анализа.

Большое количество попыток само по себе не объясняет причину. Она может быть связана со сложностью материала, формулировкой вопросов или индивидуальными обстоятельствами ученика.

Под тепловой картой приведено объяснение правил, по которым определяются все категории.

Insights: общая картина в шести карточках

Над тепловой картой расположен блок Insights с шестью кликабельными карточками: 

1. Stars;
2. Driven;
3. Not Engaged;
4. Need Help;
5. Outliers.

Каждая карточка показывает количество учащихся в соответствующей категории и изменение в процентах по сравнению с предыдущим выбранным периодом.

Это помогает отслеживать не только текущее распределение учащихся, но и то, как оно меняется со временем.

Например, если количество учеников в категории «Need Help» увеличилось, команда сразу видит, какой сегмент требует внимания. 

Именно с него можно начать более подробный анализ.Изменение показателя не объясняет причину, но указывает, какие данные стоит проверить.

После нажатия на карточку открывается модальное окно с таблицей учеников соответствующей категории.

От общей картины к конкретным ученикам

Открыть таблицу учащихся можно двумя способами: через карточку в блоке Insights или через отдельную ячейку тепловой карты.

Карточка отображает всех учащихся определенной категории. Ячейка дает более точный срез по конкретному сочетанию среднего результата и количества попыток.

В модальном окне также доступна кнопка «Рекомендации». Для каждой категории предусмотрена отдельная подсказка относительно дальнейшей работы с учащимися.

Например, учащимся из категории «Звезды» можно предложить более сложные задания или следующий уровень программы. 

Для учащихся из категории «Нужна помощь» стоит проверить учебные материалы, вопросы викторины и необходимость в дополнительных разъяснениях.

Рекомендации не заменяют решения L&D-специалиста или инструктора. 

Они подсказывают возможный следующий шаг, который необходимо соотнести с целями учебной программы и ситуацией конкретной команды.

Таблицу учащихся можно экспортировать в форматах CSV и Excel.

Как использовать матрицу в работе

Матрица эффективности помогает перейти от общих показателей к конкретным действиям.

Команда L&D может отфильтровать определенный тест и проверить, в каких вопросах учащимся потребовалось больше всего попыток. 

Преподаватель может открыть категорию «Need Help», просмотреть список учащихся и определить, кому требуется дополнительное объяснение.

Аналитик может сравнить распределение учащихся по разным периодам, командам или курсам. Однако разницу в показателях не стоит сразу объяснять одной причиной. Матрица показывает сигнал, который нужно проверить вместе с другими данными.

Например, большое количество учащихся в категории «Need Help» может свидетельствовать не только о сложности темы, но и о неудачных формулировках в самом тесте. 

А увеличение категории «Not Engaged» не всегда означает потерю мотивации — у учащихся могло не хватить времени для повторного прохождения.

Матрица эффективности уже доступна в AcademyOcean

Теперь команда видит не только средний результат тестов, но и количество попыток, которое потребовалось учащимся.

Матрица объединяет эти показатели в одном наглядном отчете. Администратор переходит от общей категории к конкретным учащимся, получает рекомендации и экспортирует нужные данные.

L&D- и HR-команды получают больше контекста для дальнейшей работы: кому предложить более сложные задания, кому помочь с материалом и где проверить возможные проблемы в учебной программе.