Матриця ефективності квізів в AcademyOcean
Матриця ефективності квізів в AcademyOcean
Два учні можуть отримати однаковий результат у квізі, витративши на це різну кількість спроб.
Перший правильно відповів на запитання одразу. Другому знадобилося кілька повторних проходжень, щоб набрати такий самий бал.
Якщо дивитися лише на результат, цієї різниці не видно. Проте кількість спроб допомагає краще зрозуміти ситуацію: хто впевнено виконує завдання, хто наполегливо працює над помилками, а кому може знадобитися додаткова допомога.
В AcademyOcean уже доступна матриця ефективності квізів. Вона зіставляє середній результат учнів із середньою кількістю спроб і відображає дані у вигляді теплової карти.
На одній сторінці адміністратор бачить загальну картину, відкриває потрібну категорію та переходить до списку конкретних учнів.
Чому одного середнього результату недостатньо
Середній бал показує, наскільки успішно учень виконав завдання. Кількість спроб пояснює, скільки разів він повертався до квізу, перш ніж отримати цей результат.
Високий бал після першої або другої спроби й такий самий бал після кількох повторних проходжень — це різні навчальні сценарії.
У першому випадку учень швидко впорався із завданням. У другому — досягнув потрібного результату, але витратив на це більше зусиль.
Низький результат також потрібно розглядати разом із кількістю спроб. Якщо учень пройшов квіз один раз і більше до нього не повертався, варто перевірити його залученість. Якщо він повторює спроби, але результат не покращується, причиною може бути складність матеріалу, незрозуміле формулювання запитань або нестача підтримки.
Матриця показує ці відмінності без потреби вручну зіставляти дані з кількох звітів.
Де знайти матрицю ефективності
Сторінка Effectiveness розташована в розділі Statistics & Reports.
На ній зібрані блок Insights, теплова карта Avg Score vs Avg Attempts, фільтри та інструменти для експорту даних.
Результати можна фільтрувати:
- за датою;
- за датою завершення квізу;
- за датою реєстрації учня;
- за командою, курсом або квізом;
- за системними та кастомними змінними.
Фільтри допомагають перейти від загального звіту академії до конкретного запитання. Наприклад, перевірити результати окремої команди, проаналізувати певний курс або знайти труднощі в конкретному квізі.
Сторінку можна експортувати у форматі PDF з урахуванням вибраного періоду. Такий звіт можна зберегти або передати колегам, які не працюють безпосередньо в академії.
Як читати теплову карту
Теплова карта Avg Score vs Avg Attempts зіставляє два показники.
Вертикальна вісь Avg Score показує середній результат учня за всі завершені квізи. Шкала охоплює значення від 0% до 100% із кроком 10%.
Горизонтальна вісь Avg Attempts показує середню кількість спроб у завершених квізах. На шкалі відображаються значення від однієї до шести спроб, а також окрема група 6+.
Кожна клітинка карти містить кількість учнів із відповідним поєднанням результату та кількості спроб. Після натискання на клітинку відкривається таблиця цих учнів.
Так команда бачить не один усереднений показник, а різні сценарії проходження квізів.
П’ять категорій учнів
Матриця розподіляє учнів на п’ять категорій. Кожна категорія враховує середній результат і середню кількість спроб.
Stars
Stars — учні із середнім результатом від 71% до 100%, яким у середньому знадобилася одна або дві спроби.
Вони отримують високі результати без численних повторних проходжень. На матриці ця категорія розташована у верхній лівій зеленій зоні.
Категорія допомагає знайти учнів, які показують високий результат і водночас упевнено виконують завдання.
Driven
Driven — учні із середнім результатом від 71% до 100%, яким у середньому знадобилося від трьох до шести спроб.
Вони також досягають високих результатів, але частіше повертаються до квізів. На тепловій карті ця категорія розташована у верхній правій синій зоні.
Такий сегмент допомагає побачити наполегливих учнів і перевірити, які теми чи запитання потребують кількох повторних проходжень.
Not Engaged
Not Engaged — учні із середнім результатом від 0% до 70%, яким у середньому знадобилася одна або дві спроби.
Низький результат у поєднанні з малою кількістю спроб може свідчити про недостатню залученість. Наприклад, учень не повернувся до квізу після першої невдалої спроби.
Ця категорія розташована в нижній лівій жовтій зоні.
Водночас статус не пояснює причину автоматично. Перш ніж робити висновок, потрібно врахувати контекст навчальної програми та обставини конкретного учня.
Need Help
Need Help — учні із середнім результатом від 0% до 70%, яким у середньому знадобилося від трьох до шести спроб.
Вони повторно проходять квізи, але поки не досягають високого результату. Це може свідчити про те, що матеріал потребує додаткового пояснення або учню потрібна допомога інструктора.
На матриці категорія розташована в нижній правій червоній зоні.
Outliers
Outliers — учні із середньою кількістю спроб 6+ незалежно від отриманого результату.
Це окрема крайня права зона теплової карти. Вона допомагає знайти нетипові випадки, які потребують детальнішого аналізу.
Велика кількість спроб не пояснює причину сама по собі. Вона може бути пов’язана зі складністю матеріалу, формулюванням запитань або індивідуальними обставинами учня.
Під тепловою картою наведено пояснення правил, за якими визначаються всі категорії.
Insights: загальна картина в шести картках
Над тепловою картою розташований блок Insights із шістьма клікабельними картками:
- Total — загальна кількість учнів;
- Stars;
- Driven;
- Not Engaged;
- Need Help;
- Outliers.
Кожна картка показує кількість учнів у відповідній категорії та зміну у відсотках порівняно з попереднім вибраним періодом.
Це допомагає відстежувати не лише поточний розподіл учнів, а й те, як він змінюється з часом.
Наприклад, якщо кількість учнів у категорії Need Help зросла, команда одразу бачить, який сегмент потребує уваги. Саме з нього можна почати детальніший аналіз.
Зміна показника не пояснює причину, але вказує, які дані варто перевірити.
Після натискання на картку відкривається модальне вікно з таблицею учнів відповідної категорії.
Від загальної картини до конкретних учнів
Відкрити таблицю учнів можна двома способами: через картку в блоці Insights або через окрему клітинку теплової карти.
Картка показує всіх учнів певної категорії. Клітинка дає точніший зріз за конкретним поєднанням середнього результату та кількості спроб.
У модальному вікні також доступна кнопка Recommendations. Для кожної категорії передбачена окрема підказка щодо подальшої роботи з учнями.
Наприклад, учням із категорії Stars можна запропонувати складніші завдання або наступний рівень програми. Для учнів із категорії Need Help варто перевірити навчальні матеріали, запитання квізу та потребу в додатковому поясненні.
Рекомендації не замінюють рішення L&D-фахівця або інструктора. Вони підказують можливий наступний крок, який потрібно співвіднести з цілями навчальної програми та ситуацією конкретної команди.
Таблицю учнів можна експортувати у форматах CSV та Excel.
Як використовувати матрицю в роботі
Матриця ефективності допомагає перейти від загальних показників до конкретних дій.
L&D-команда може відфільтрувати певний квіз і перевірити, де учням знадобилося найбільше спроб. Інструктор може відкрити категорію Need Help, переглянути список учнів і визначити, кому потрібне додаткове пояснення.
Аналітик може порівняти розподіл учнів за різні періоди, команди або курси. Проте різницю в показниках не варто одразу пояснювати однією причиною. Матриця показує сигнал, який потрібно перевірити разом з іншими даними.
Наприклад, велика кількість учнів у категорії Need Help може свідчити не лише про складність теми, а й про невдалі формулювання в самому квізі. А збільшення категорії Not Engaged не завжди означає втрату мотивації — учні могли не мати достатньо часу для повторного проходження.
Матриця ефективності вже доступна в AcademyOcean
Тепер команда бачить не лише середній результат квізів, а й кількість спроб, яка знадобилася учням.
Матриця об’єднує ці показники в одному візуальному звіті. Адміністратор переходить від загальної категорії до конкретних учнів, отримує рекомендації та експортує потрібні дані.
L&D- і HR-команди отримують більше контексту для подальшої роботи: кому запропонувати складніші завдання, кому допомогти з матеріалом і де перевірити можливі проблеми в навчальній програмі.