Оценка эффективности обучения: измеряют все, до ROI доходят единицы

Зачем считать эффективность обучения

Обучение перестало быть необязательной строкой, которую режут первой при сокращении затрат. По данным «Русской Школы Управления», 33% работодателей увеличат затраты на обучение персонала, ещё 54% сохранят их в прежнем объёме, и только 9% планируют урезать. Но рост не сплошной: бюджеты поляризуются. У одних компаний на обучение стало больше денег — у 42%, меньше — у 39% по сравнению с предыдущим годом.

Из этой развилки и растёт спрос на оценку. Когда половина рынка режет затраты, дольше живёт та программа, чья отдача доказана цифрами. Общими словами про развитие персонала смету обучения уже не удержать. Финансовый директор не спорит с пользой обучения — он спорит с тем, что эту пользу нельзя предъявить.

Разница в том, на каком языке отдел обучения и развития персонала отчитывается о своей работе. Если на бюджетном комитете показывают число учебных часов и охват сотрудников, речь идёт о затратах. Если показывают, как обучение изменило бизнес-метрики, — об отдаче от вложений. При обсуждении бюджета второй разговор всегда убедительнее. Системная оценка эффективности обучения — единственный способ перевести обсуждение из плоскости затрат в плоскость результата.

Так было не всегда. Долгое время корпоративное обучение не умело разговаривать с бизнесом на языке результата. Предъявить такую отдачу было попросту нечем.

«Не очень-то умели обосновывать эффективность работы своих отделов, продуктов и проектов».

Павел Безяев, основатель сообщества Digital Learning.

Что считать эффективностью: реакция — это не результат

Главная подмена происходит на старте. Под «оценкой эффективности» большинство компаний понимает сбор обратной связи: насколько понравился курс, был ли полезен спикер, удобно ли работала платформа. Так делают 71% компаний — собирают отзывы и мнение у самих учащихся и их руководителей.

Удовлетворённость измерить проще всего: анкета сразу после курса, пара вопросов, готовый процент. Проблема в том, что довольный сотрудник и сотрудник, который начал работать иначе, — это разные люди. Высокая оценка курса говорит о качестве подачи материала. Что изменилось в работе после, по такому опросу не видно.

Подход к измерению сдвигается. Корпоративные университеты впервые за три года главным показателем назвали качество программ, а не объём обучения: так ответили 74% опрошенных, тогда как объём обучения ключевым показателем называют 60%. Раньше успех мерили в количестве проведённых часов и охваченных людей. Теперь вопрос ставится иначе: чему именно научились сотрудники и что с этим стали делать на практике. Но чтобы ответить на него, одной анкеты удовлетворённости недостаточно — нужна шкала, которая позволяет отделить реакцию от результата.

Модель Киркпатрика: четыре уровня оценки

Такую шкалу даёт классическая модель Дональда Киркпатрика. Она раскладывает отдачу обучения на четыре уровня — от лёгкого в замере к ценному для бизнеса. И заодно объясняет, почему компании застревают в начале: каждая следующая ступень дороже и труднее в замере, чем предыдущая. Чем выше по шкале, тем лучше видно, насколько обучение повлияло на работу.

Уровень 1. Реакция

Что сотрудник думает о программе по горячим следам: было ли интересно, полезно, применимо в работе. Именно на этой обратной связи и останавливается большинство. Замер дешёвый — анкета на выходе.

Регулярный сбор реакции в динамике уже кое-что даёт, если не выдавать его за бизнес-результат. В «Эн+» через корпоративный университет отслеживают удовлетворённость обучением год к году. По данным самой компании, она выросла с 64,3% до 74,8% за период с 2019 по 2024 год. Такой замер — честная первая ступень: компания видит, что программы воспринимают лучше год от года. Но это всё ещё про отношение сотрудников, а не про их работу.

Уровень 2. Усвоение

Что человек реально узнал и освоил: знания, навыки, изменившиеся установки. Здесь работают тесты, проверочные задания, защита проектов — всё, что позволяет определить, насколько усвоен учебный материал. Сравнение результатов до и после курса показывает прирост знаний у участников программы, но ещё ничего не говорит о применении этих навыков в работе. Сотрудник может отлично сдать тест на знания и не изменить ни одного действия в работе.

Уровень 3. Поведение

Изменилось ли поведение на рабочем месте: применяет ли сотрудник новое, делает ли иначе, чем раньше. Поведенческий уровень — первая по-настоящему трудная ступень. Замерить её анкетой нельзя — нужны наблюдение, оценка руководителя, разбор рабочих показателей через недели и месяцы после курса.

Уровень 4. Результаты

Что обучение дало бизнесу: производительность, качество, скорость, удержание, выручка. Самая ценная и одновременно дорогая в замере ступень, потому что вычленить вклад именно обучения среди десятков других факторов сложно. На результат влияют сезонность, перестановки в управлении, изменение рынка. Обучение — лишь одна из причин сдвига. Чтобы доказать его вклад, нужно либо сравнение с контрольной группой, либо длинный ряд наблюдений, где показатель меняется именно после программы. Такой путь дорогой и долгий. До четвёртой ступени доходят единицы.

Распределение усилий по этим ступеням и есть диагноз отрасли. До анализа бизнес-показателей добирается лишь треть компаний, а саму модель Киркпатрика применяют лишь 12%. Структуру из четырёх ступеней держит в голове меньшинство, а большинство работает на нижней — там, где дешевле.

Алгоритм оценки: пять этапов от цели до решения

Модель Киркпатрика сама по себе ничего не измеряет. Она задаёт логику оценки. Чтобы эта логика заработала, оценку нужно спланировать ещё до запуска программы. Принцип простой: измерить можно только то, что заранее привязано к конкретной бизнес-цели. Дальше разберём пять этапов, которые помогают превратить модель в рабочую систему оценки эффективности.

Этап 1. Связать обучение с бизнес-целью

Сначала отвечают на вопрос, зачем программа существует и какой результат она должна изменить: сократить ошибки на производстве, ускорить вывод нового сотрудника на план продаж, снизить текучесть в конкретном подразделении. Без заказчика и цели оценивать нечего — нет точки отсчёта, относительно которой измеряют результат обучения сотрудников.

«80% программ КУ имеют конкретного заказчика, поэтому они проектируют их в тесной связи с бизнесом».

Наталья Шумкова, заместитель директора по корпоративному обучению ВШБ НИУ ВШЭ.

Заказчик задаёт критерий успеха ещё до старта. Именно от него зависит, какой уровень Киркпатрика придётся измерять и какие данные собирать.

Этап 2. Выбрать уровни и метрики

Под цель подбирают глубину оценки. Если задача — освоить регламент, хватит второй ступени: тест на знания. Если задача — поднять продажи, придётся идти до третьей и четвёртой ступени: смотреть на действия на местах и бизнес-показатели. Здесь же определяют, какими именно показателями будут мерить каждую выбранную ступень учебной программы, и фиксируют значения «до».

Этап 3. Собрать данные: опросы, тесты, интервью

На этом этапе работают инструменты сбора данных. Опросы и анкеты закрывают реакцию, тесты и проверочные задания — усвоение знаний, интервью с руководителями и наблюдение за работой — поведение. Какие методы использовать, определяет выбранный на прошлом шаге уровень: чем сложнее ступень, тем дороже сбор. Данные собирают многократно — в точках «до», «сразу после» и «через несколько месяцев»: такой замер в динамике позволяет увидеть, осталось ли изменение у участников или растворилось.

Этап 4. Проанализировать и выявить эффект

Собранные данные сопоставляют с целью из первого этапа и с операционными показателями. Задача — отделить вклад обучения от прочих факторов и понять, сдвинулся ли целевой показатель. Такой анализ возможен там, где обучение оцифровано и его данные лежат рядом с операционными. Когда прохождение курсов, результаты тестов и рабочие метрики сведены в LMS, связь между ними видна напрямую, без поздней реконструкции и ручного разбора по разрозненным отчётам.

Этап 5. Отчёт и решение по программе

Финал оценки — не отчёт ради отчёта, а решение: программу масштабируют, дорабатывают или закрывают. Результат возвращается заказчику из первого этапа на его языке — в терминах той бизнес-метрики, ради которой обучение и затевали. Цикл замыкается. Следующая программа проектируется уже с учётом выводов.

ROI обучения: формула Филлипса и почему её почти не считают

Над четырьмя уровнями Киркпатрика Джек Филлипс надстроил пятый — возврат инвестиций. Он переводит результат обучения в деньги и сравнивает их с затратами на программу. Логика расчёта простая: из денежной выгоды от обучения вычитают затраты на него, делят на эти же затраты и выражают в процентах.

Расчёт требует того, что для большинства компаний пока недостижимо: выразить эффект обучения в рублях и доказать, что эти рубли принесло именно оно. Поэтому пятая ступень остаётся скорее ориентиром. Поведение сотрудников после обучения анализируют лишь 14% компаний, а возврат инвестиций измеряют единицы.

Показательно, что публичных российских кейсов с посчитанным ROI обучения практически нет. Компании охотно делятся ростом удовлетворённости и связью обучения с бизнес-процессами, но точную цифру возврата в деньгах не называет почти никто. Такое молчание подтверждает исходный разрыв: оценку декларируют все, а до денежного результата доходят немногие. Для большинства честная цель скромнее — уверенная третья ступень, где видно изменение в работе сотрудников.

Метрики оценки: что отслеживать на каждом уровне

Метрику всегда выбирают под уровень оценки и под цель. Брать её из общего списка «что бывает» бессмысленно. Реакцию закрывают оценки курса и доля рекомендаций, усвоение — результаты тестов и доля сдавших, поведение — изменение рабочих показателей, результат — операционные и финансовые метрики подразделения. Один и тот же курс под разные цели меряют разными показателями, и наоборот: один показатель может закрывать несколько учебных программ.

Полный набор метрик под каждую ступень — от процента прохождения курса до индексов удовлетворённости и возврата инвестиций — заслуживает отдельного разбора: метрики обучения персонала с их формулами расчёта собраны в каталог по уровням зрелости. Все они подчинены логике оценки эффективности: сначала компания определяет, какую ступень и какую цель меряет, и только потом подбирает под них показатель.

Типичные ошибки оценки эффективности обучения

Первая и главная ошибка — оценивать постфактум, когда программа уже прошла, а руководство пришло с вопросом об отдаче. В этот момент данных «до» уже нет, привязать результат к цели нечем. Оценка превращается в попытку оправдаться. Тезис провокационный, но точный: метрику встраивают в дизайн программы до старта. Достать её, когда уже спросили, поздно.

«Если руководство вас вызвало и начинает спрашивать, как вы оцениваете эффективность обучения, то значит, что-то пошло не так, вам надо искать другое место работы».

Евгений Уйхази, экс-директор «Билайн университета».

Вторая частая ошибка вытекает из первой — подмена результата удовлетворённостью. Компания собирает отзывы, видит высокий процент довольных и останавливается, признаёт оценку завершённой. На деле замерена только нижняя ступень шкалы.

Третья ошибка — разовый замер вместо динамики. Один срез сразу после курса показывает реакцию, но не отвечает на вопрос, осталось ли изменение через три месяца. Без точек «до» и «спустя время» оценка не отличает устойчивый эффект от краткосрочного воодушевления.

Минимальная оценка: одна программа, одна метрика

Строить полную систему оценки и расчёт ROI с первого дня — верный способ не начать никогда. Разумнее взять одну программу, у которой есть понятный заказчик и одна бизнес-метрика, зафиксировать её значение до обучения и довести оценку хотя бы до третьей ступени — до изменения в работе сотрудников. Такого объёма оценки достаточно, чтобы выйти из ловушки удовлетворённости и показать бизнесу не довольных людей, а сдвинувшийся показатель.

Дальше тот же подход применяют к каждой новой программе. Для неё заранее определяют бизнес-метрику, по которой будут оценивать результат. Постепенно у отдела обучения появляется набор показателей, связанных с целями бизнеса. Тогда вопрос финансового директора об отдаче перестаёт быть неожиданностью: ответ готов ещё до запуска программы. К расчёту денег и формуле Филлипса можно переходить позже. Сначала важно выработать привычку: у каждой программы должны быть цель, метрика и понятный ответ на вопрос, что она изменила.