Ваши KPI обучения видит бизнес — или только отдел обучения?

После каждого курса российские компании собирают обратную связь: 71% опрашивают учащихся и их руководителей. Но такая оценка показывает прежде всего реакцию участников на обучение. Чтобы проследить изменения от впечатления после курса до результата для бизнеса, используют модель Киркпатрика. До всех четырех ее уровней доходят лишь 12% компаний.

Для руководителя отдела обучения здесь возникает ключевой вопрос: какие метрики действительно важны бизнесу? Высокий балл удовлетворенности, полный охват и рост оценки вебинаров помогают отделу обучения оценивать качество и ход программы. Но для финансового директора этих данных недостаточно: его интересует, изменились ли продажи, число ошибок и текучесть. Поэтому один набор KPI не подходит для всех адресатов. На дашборд бизнеса стоит выносить показатели, связанные с результатом, а метрики процесса оставлять внутренней статистикой отдела.

Почему KPI обучения не убеждают бизнес

Проблема начинается с языка отчетности, а не с плохих курсов. Отдел обучения считает активность: сколько человек прошло программу, как оценили тренера, какой процент завершил курс. Руководство считает деньги: выросли ли продажи, сократились ли ошибки, дешевле ли стало удерживать людей. Эти два набора показателей существуют в отрыве друг от друга. Связь между ними приходится обосновывать каждый раз заново.

Свежие данные показывают два барьера. 23% испытывают сложности с обоснованием пользы обучения для бизнеса, еще 28% беспокоит разрозненность обучения из-за отсутствия единой платформы или стратегии. Для системы KPI здесь важна первая цифра: обучение идет, но команда не может перевести его результат на язык бизнес-показателей.

Если единственный KPI обучения — процент прохождения курса или средний балл анкеты, таких данных недостаточно для разговора с бизнесом. Причина в том, что эти показатели описывают процесс внутри отдела, а руководителю важно понимать, что изменилось в работе после обучения.

Метрики реакции: почему высокий балл ничего не гарантирует

После курса компании оценивают реакцию участников: собирают обратную связь о формате, содержании и работе спикера. Такой подход используют 71% компаний. В модели Киркпатрика реакция относится к первому уровню оценки обучения. В анкете участники отмечают, понравился ли формат, был ли полезен спикер, комфортно ли шел процесс. Такую обратную связь собрать просто, а динамику легко отслеживать: балл растет, негатива меньше.

Реакция полезна отделу обучения: она показывает, как участники воспринимают курс сразу после завершения. Но эта метрика не говорит, изменилось ли поведение сотрудника в работе после обучения. Без этой связи высокая оценка вебинара не показывает, повлиял ли курс на бизнес-показатели — выросли ли продажи, сократилось ли число ошибок. Поэтому для дашборда бизнеса одной метрики реакции недостаточно.

Опыт страховой компании «Согласие» показывает, как реакция выглядит в цифрах.

«Оценка вебинаров, по опросам учащихся, выросла до 9,1 из 10. Негативные отзывы свелись к нулю».

Ксения Петрова, начальник отдела дистанционного обучения СК «Согласие»

Для методистов такой показатель ценен: он подтверждает, что формат отлажен и не вызывает негативной реакции у участников. Но оценка 9,1 из 10 отражает только реакцию на обучение и не показывает, изменилось ли поведение сотрудников после курса. Этот вопрос относится к следующему уровню оценки. Перед ним стоит разобрать промежуточный класс — операционные метрики.

Операционные метрики: охват и выполнение плана

Между реакцией и поведением стоит еще один класс — операционные метрики. Они считают охват и дисциплину процесса:

• сколько сотрудников прошло обязательные программы;
• какой процент завершил курс;
• укладывается ли отдел в план обучения.

Выполнение плана обучения оценивают 42% компаний. Это второй по частоте способ смотреть на эффективность после обратной связи.

Операционные показатели нужны для планирования, но у них то же ограничение, что у реакции: они описывают активность отдела, но не отражают бизнес-результат. Полный охват и стопроцентное прохождение показывают, что сотрудники прошли обучение, но не позволяют понять, применяют ли они новые знания и навыки в работе. Например, держать охват на дашборде топ-менеджмента как главный KPI обучения — значит отчитываться за процесс, когда бизнес спрашивает про результат.

Метрики усвоения: выросли ли знания после курса

Между операционными показателями и поведением стоит второй уровень модели Киркпатрика — усвоение. Он отвечает на вопрос, выросли ли у сотрудников знания и навыки по итогам курса. Для оценки используют тестирование до старта программы и после финала с замером прироста между двумя точками. Одно итоговое тестирование с зачетом усвоение еще не доказывает — участник мог знать материал заранее или угадать верные варианты. Значение имеет дельта: насколько вырос уровень знаний и навыков относительно исходного значения, зафиксированного на входе.

Тесты усвоения дают отделу обучения аналитику по каждому специалисту и по группе:

• где провалы в знаниях;
• какие модули стоит переработать;
• кому нужен второй заход.

Эти данные помогают точечно скорректировать программу вместо переделки всего курса и связать прирост знаний и навыков с конкретными компетенциями. Тестирование показывает, усвоен ли материал, но не дает данных о его применении в работе.

Поэтому L&D-команды не ограничиваются фактом сдачи теста. Методисты дополнительно смотрят на активность участника в процессе обучения.

«Мы смотрим, сколько человек реально участвует в обучении, сколько времени они находятся на сессии, как выполняют задания».

Михаил Сартаков, архитектор образовательных систем корпоративного университета Х5

Показатели усвоения ближе к работе, чем реакция, но остаются инструментом методистов и L&D. Они помогают корректировать программу, но не переводят прирост знаний и навыков в деньги. Применение знаний в работе требует отдельной оценки.

Поведенческие метрики: что показывает реальную включенность

Метрики вовлеченности показывают, как сотрудники взаимодействуют с курсом в процессе обучения, а не только дошли ли они до финала. Сотрудник может открыть курс, пролистать до финального теста, закрыть его с зачетом и формально попасть в статистику завершивших. Поэтому L&D-команды смотрят на активность вместо отметки «пройдено»:

• насколько активно идет работа в материале;
• доходит ли участник до практических заданий;
• возвращается ли к курсу.

Уровень вовлеченности персонала уже измеряют 38% компаний.

Показателен разбор длительной программы для 200 руководителей, которую в 2020 году вела компания Training Space. Помимо анкет там замерили реальную активность участников через платформу. Вовлеченность составила 60% при удовлетворенности 8,8 из 10. Данные об активности показали и другую проблему: трое из десяти тренеров не соответствовали стандартам, хотя по одним отзывам этого видно не было. Такие показатели выявляют проблемы, которые оценки реакции не показывают.

Опережающие и запаздывающие показатели: зачем мерить до финала

Запаздывающие показатели фиксируют результат, когда программа уже завершена: сдал ли участник финальный тест, изменились ли продажи по итогам квартала. Они показывают итог, но приходят поздно. Опережающие показатели собирают сигналы на входе и в процессе:

• активность на первых модулях;
• выполнение промежуточных заданий;
• отсев после первой недели.

По ним программу еще можно скорректировать до того, как провал станет фактом.

Разница особенно заметна на электронных курсах, где деньги и время тратятся еще до первого замера результата.

«Но в ситуации с электронными курсами это уже поздно — потрачено много сил, довольно много денег, много людей в этом участвовало».

Ульяна Раведовская, директор по обучению Цифровой академии ВТБ

Если отдел смотрит только на итоговый KPI обучения, проблему он увидит после завершения программы, когда корректировать ее уже поздно. Опережающие показатели позволяют заметить слабую активность на старте и скорректировать курс до полного расходования бюджета. На дашборде стоит держать оба типа — прогнозные сигналы для управления процессом и итоговые для отчета перед бизнесом.

Бизнес-метрики: связать обучение с продажами, ошибками и текучестью

Бизнес-метрики применяют заметно реже простой обратной связи. Анализ бизнес-показателей используют 34% компаний, NPS — 30%, модель Киркпатрика целиком — 12%, CSAT — 6%. Источник прямо отмечает, что формальные модели и бизнес-метрики применяются заметно реже простой обратной связи. Разница показывает, что реакцию измеряют значительно чаще, чем связь обучения с бизнес-результатом.

Модель Киркпатрика описывает четыре уровня оценки:

• Реакция — понравилось ли обучение участникам.
• Усвоение — выросли ли знания и навыки по итогам курса.
• Поведение — изменилась ли реальная работа на местах.
• Результат — сдвинулись ли бизнес-показатели компании.

Для бизнес-оценки следующий шаг — четвертый уровень, который связывает обучение с конкретным бизнес-показателем: ростом продаж, сокращением брака, снижением текучести в обученных командах. Сложность в том, что вклад обучения в общий результат трудно выделить.

Для оценки вклада используют контрольную группу или замеряют показатель до и после программы в одном подразделении. Так компания получает данные для сравнения результата обучения с базовым значением. Без такого замера на входе четвертый уровень остается декларацией: связь с бизнесом заявлена, а проверить ее нечем. Поэтому бизнес-метрику выбирают до старта программы и фиксируют исходное значение показателя, который компания хочет изменить.

Для финансовой оценки этого уровня используют ROI. Расчет строится так: из финансового эффекта программы вычитают ее стоимость, делят на эти инвестиции и переводят в проценты. Сложность расчета — определить, какую часть роста продаж или экономии на браке корректно отнести к обучению. Показатель работает только тогда, когда компания заранее решила, какой бизнес-показатель считает результатом, и замерила его до старта программы. Без базового замера расчет ROI становится условным: стоимость программы известна точно, а финансовый эффект нельзя сопоставить с исходным значением.

Как собрать рабочую систему KPI обучения

Систему KPI стоит собирать из нескольких групп показателей. Реакция показывает отношение участников к формату, поведение — применение знаний в работе, бизнес-результат — изменения в продажах, ошибках или текучести. Для каждой группы свой потребитель:

• Реакция — не отторгает ли команда формат обучения; потребитель метрики — методисты отдела.
• Поведение — применяют ли участники знания и навыки в работе; потребитель — руководитель L&D.
• Бизнес-результат — сдвинулись ли продажи, ошибки, текучесть; потребитель — топ-менеджмент и финансовый директор.

Одних показателей недостаточно. 49% компаний назвали нехватку ресурсов HR и низкую вовлеченность руководителей главным барьером для выстраивания эффективной системы корпоративного обучения. Без этих ресурсов сложно регулярно собирать, систематизировать и использовать данные для управления обучением. Без времени на систематизацию и интереса линейных руководителей дашборд остается набором разрозненных цифр. Чтобы превратить эти данные в рабочий инструмент, нужно решить обе проблемы: единая платформа собирает показатели трех групп в одном месте, а руководители используют их для решений о людях и программах.

Количество метрик стоит ограничить: под каждую задачу достаточно одного-двух KPI, за которыми закреплен владелец. Так понятно, кто отвечает за показатель и следит за его динамикой. Без этого дашборд из двадцати цифр работает не лучше единственного балла удовлетворенности.

Каждая цифра на дашборде должна вести к решению

Начинать стоит с вопроса к каждой существующей метрике: какое решение руководитель примет на основании этой цифры. Если ответа нет, показатель описывает только процесс. На дашборде бизнеса ему не место. Систему KPI обучения стоит строить от бизнес-результата. Сначала определить, какой показатель компания хочет изменить, затем — что сотрудники должны делать по-другому и какие знания и навыки для этого нужны. После этого выбрать метрики реакции на формат обучения.