Модель Киркпатрика измеряет обучение, но не доказывает его пользу

По исследованию Высшей школы бизнеса НИУ ВШЭ, ключевым показателем эффективности своей работы 74% корпоративных университетов назвали качество программ и удовлетворенность аудитории. Финансовые и бизнес-метрики попали в пятерку ключевых КПЭ у 30 и 21% соответственно. Оценку обучения те же университеты описывают через модель Киркпатрика: четыре уровня идут от реакции участников до результата для компании. На бумаге цепочка доходит до бизнеса, в отчетах она останавливается на качестве программы. Расхождение объясняется устройством самой модели: первые два уровня замеряются внутри учебного контура, последние два — снаружи, в чужой зоне ответственности.

Главное за неделю — в дайджесте

Подпишитесь, чтобы не пропустить

Подписаться

Что Киркпатрик написал на самом деле

Четыре уровня оценки обучения предложил Дональд Киркпатрик в 1950-е годы. В исходной конструкции они устроены как последовательность вопросов, а не шкала баллов. Каждый уровень задает свой вопрос, от впечатления участника до результата для компании, и ни один ответ не вытекает из предыдущего автоматически.

Формулировки уровней приводит правообладатель модели, Kirkpatrick Partners:

• Реакция. Степень, в которой участники находят опыт обучения благоприятным, вовлекающим и релевантным своей работе.
• Научение. Степень, в которой участники приобретают знания, навыки, установку, уверенность и готовность действовать, необходимые для заданного результата.
• Поведение. Степень, в которой сотрудники выполняют критически важные действия в своей рабочей среде, получают в этом поддержку и отвечают за исполнение.
• Результаты. Степень, в которой заданные организационные результаты наступают вследствие обучения и поддержки исполнения.

Порядок уровней задает и последовательность сбора данных. Реакция снимается в день программы, научение проверяется там же или сразу после. Поведение видно не раньше чем через несколько недель: сотрудник должен вернуться к задачам и получить повод применить новое. Данные о результате для компании появляются еще позже, спустя месяцы, и берутся из отчетности за пределами учебного отдела.

Разница с привычным пересказом видна на третьем уровне. Все десять статей первой страницы поисковой выдачи описывают его одинаково: использует ли сотрудник полученные знания в работе. У правообладателя определение шире: в него входят поддержка исполнения и подотчетность за применение знаний на рабочем месте.

Уровень поведения: почему в определение вписаны поддержка и спрос

Низкий третий уровень при таком определении не означает автоматически слабую программу. Причина может быть и другой: вернувшемуся с обучения сотруднику не создали условий — не дали пустить новое в дело и не спросили за применение. Если проблема в самой программе, ее переделывает учебный отдел, отсутствие поддержки разбирают с руководителями подразделений.

Различить два случая помогает обратная связь от руководителя команды: изменилось ли что-нибудь в работе подчиненного после программы. Ответ «попробовал и бросил» указывает на обстановку на рабочем месте. Ответ «новое здесь не нужно» выдает ошибки в постановке цели обучения — переделывать придется сам курс.

На фоне третьего уровня второй замеряется легче всего. Данные проверки знаний тестами собираются автоматически и не требуют ничьего согласия. Дальше начинается зона, где у учебного отдела нет ни данных, ни полномочий.

Где обрывается замер

Для первых двух уровней данные находятся внутри учебного контура, для последних двух — у других подразделений. Реакцию и научение собирает сам учебный отдел: анкета обратной связи и тесты входят в его инструментарий, срок замера он назначает сам. Данные о поведении хранятся в производственных системах и в наблюдениях руководителя. Результат считают финансы и операционный блок, там же принимают решение, давать ли доступ к сравнению групп.

Разрыв проходит по границе подразделений. Для третьего и четвертого уровней нужны данные других подразделений: наряды и инциденты на производстве, воронка продаж, кадровая отчетность. Выгрузка по ним требует запроса к владельцу, и тот задает встречный вопрос: зачем и под какое решение. Программа обучения такого решения обычно не предполагает — запрос повисает.

До какого уровня оценки обучения доходят на практике

Насколько далеко доходит замер, видно по международным бенчмаркам. По данным ROI Institute, на уровне влияния на бизнес оцениваются 37% программ. Считали не по рынку в целом: в выборку вошли компании, которые внедряют методологию расчета отдачи специально. В том же обзоре Training Magazine приведен бенчмаркинг программ развития руководителей при поддержке Всемирного банка: там до уровня влияния довели 17% из них. Замер упирается и в людей: по опросу ATD из того же источника, штатный специалист по оценке обучения есть у 40% организаций.

Без штатного специалиста третий и четвертый уровни ложатся на методиста поверх основной нагрузки и первыми выпадают из плана.

Модель New World Kirkpatrick: что добавили к исходной версии

Правообладатели обновили модель под названием New World Kirkpatrick Model, и главная правка коснулась четвертого уровня. В новой редакции результаты определены через заданные показатели: они наступают вследствие обучения и пакета поддержки и подотчетности. Единственной причиной оно перестало быть уже в самой формулировке.

Required drivers — «обязательные носители переноса» — описывают поддержку исполнения и спрос за него, от которых зависит перенос в рабочую практику. В логике модели без них третий уровень не наступает: обучение само по себе не меняет поведение настолько, чтобы изменение дошло до бизнес-метрик. Отсюда и порядок работы с заказчиком: сначала называются нужный результат и условия поддержки, затем проектируется программа.

Перестановка меняет разговор с бизнесом. Согласие на условия поддержки до старта делит ответственность за третий уровень. Без него заказчик, пришедший за тренингом, ждет результата от одного обучения. Разница между согласованными условиями и заказом только на программу проявляется, когда она проведена, а показатели не сдвинулись.

Планирование замера сдвигается туда же, в начало. До первого занятия вместе с целями программы определяют:

• кто и чем будет оценивать поведение;
• на каких данных проводить замер;
• в какой срок его проводить.

После запуска договориться о доступе к чужим цифрам заметно сложнее: у владельца данных уже нет повода помогать.

«Применение без влияния на результат — просто активность».

Патти Филлипс и Джек Филлипс, генеральный директор и председатель совета директоров ROI Institute, перевод

Надстройка Филлипса: пятый уровень и его цена

Пятый уровень к четырем уровням Киркпатрика достроил Джек Филлипс. Смысл надстройки в том, чтобы перевести результат в деньги и сопоставить выгоду программы с ее стоимостью. Формально уровень закрывает главный вопрос финансирования обучения: что компания получила на свои инвестиции.

Само вычисление по формуле возврата инвестиций занимает вечер. Дорого обходится другой шаг — отделить вклад обучения от всего, что происходило с компанией в тот же период: смены руководителей, нового оборудования, сезонного спроса. Пока эти факторы не сняты, обучению приписывают чужую прибыль. Такая цифра рассыпается при первом вопросе финансового директора.

Этот этап называют изоляцией эффекта. Помогает здесь группа сравнения: похожее подразделение или тот же период годом раньше. С ней сопоставляют результат обученных, и разница становится измеримой. Там, где группу сравнения не собрать, вклад обучения остается оценочным.

Новая редакция четвертого уровня усложняет задачу дополнительно. Модель связывает результат сразу с обучением, поддержкой исполнения и подотчетностью. Разложить готовую цифру обратно на доли — отдельная исследовательская задача.

Сравнить затраты и выгоды удается не всем. В опросе ATD 46% специалистов назвали такое сопоставление успешным. Деловые издания не приводят публичных российских кейсов, где возврат инвестиций в обучение посчитан по конкретной компании и проверяемым цифрам. Методика описана, но до практики отчетности она не доходит.

За что модель критикуют

Главная претензия к модели адресована второму уровню, а не четвертому. Уровень научения в ней один, и внутрь него попадает все сразу: заучивание случайных фактов, понимание материала, способность принять решение и выполнить задачу. Одна ступень описывает и запоминание термина, и умение применить его в переговорах с клиентом. Для бизнеса разница между этими состояниями решающая, для модели ее нет.

«Слабое место модели Киркпатрика в том, что всё научение сложено в одну корзину. Второй уровень — про научение целиком, а измерять его можно очень по-разному: от заучивания случайных фактов до способности принимать решения и выполнять задачу. …Когда всё лежит в одной корзине, люди скатываются к самому простому варианту».

Уилл Тальхаймер, Will Thalheimer, основатель Work-Learning Research, перевод

Тальхаймер ссылается на две метааналитические работы. В них связь между анкетами после обучения и результатами научения составляет 0,09, хотя слабой считается уже величина ниже 0,30. Высокая оценка программы на первом уровне почти ничего не обещает на втором. Сначала собирают обратную связь через анкету, потому что такой замер дешевле остальных.

Свою альтернативу Тальхаймер назвал Learning-Transfer Evaluation Model, сокращенно LTEM. Перенос обучения в работу вынесен там в отдельные ступени вместо одного общего уровня научения, и заучивание не засчитывается за освоенный навык. Ни LTEM, ни имя Тальхаймера в русскоязычных разборах Киркпатрика почти не встречаются, хотя претензия адресована второму уровню, а именно он занимает в этих текстах больше всего места.

Когда второй уровень сужается до теста на знание, сводка по четырем уровням выглядит заполненной:

• реакция собрана;
• знания проверены;
• о поведении спросили;
• метрики приложены.

Содержание при этом остается на первых двух строках, а бизнес читает четвертую и не находит связи с первыми.

Критика не отменяет модель: четыре уровня остаются стандартом разговора об оценке обучения. Претензии показывают, что такой отчет надо читать с поправкой на вторую ступень.

Что считают бизнес-результатом обучения в России

Четвертый уровень в российской практике редко означает деньги. В исследовании Высшей школы бизнеса НИУ ВШЭ под бизнес-метриками корпоративных университетов понимаются удержание персонала, внутренняя мобильность и количество повышений сотрудников до менеджеров.

Главный показатель работы корпоративных университетов сменился недавно. Высшая школа бизнеса НИУ ВШЭ фиксирует: качество программ и удовлетворенность заказчиков вышли на первое место впервые за три года, а в 2022 и 2023 годах лидировал объем обучения. Смена КПЭ выглядит движением к качеству, только обе версии главного критерия описывают саму программу и до рабочего места не доходят.

Компромисс состоит в том, что четвертый уровень подтверждают кадровыми метриками без денежной оценки. Удержание, мобильность и повышения считает HR-служба, поэтому учебный отдел не может влиять на их расчет. Для бизнеса такие данные убедительнее показателей из учебного контура.

Набор метрик обучения персонала выстраивается от доли прошедших курс до бизнес-показателей. Ступень, на которой компания останавливается, выбирают руководитель учебного отдела и бизнес.

Как замеряют эффект обучения без денежной оценки: пример «Сибура»

Часть компаний осознанно останавливает замер на поведении и кадровых метриках. Отказ считать окупаемость не означает, что доказательств нет: третий и четвертый уровни здесь проверяют, просто без денежной оценки.

Так, в «Сибуре» эффект обучения оценивают по наблюдаемым действиям на производстве и по кадровым метрикам. По собственным данным, после обучения сотрудники в полтора-два раза чаще внедряют новые технологии и реже создают аварийные ситуации. Текучесть в критически важных группах на 15–20% ниже средней по компании. Обе метрики относятся к производству и кадрам, а не к учебному контуру.

Сравнение показывает разницу в показателях до и после программы, но не доказывает, что ее вызвало именно обучение. Ценность замера в другом: исходные значения были известны заранее, поэтому сопоставление с прежним уровнем вообще возможно. После запуска программы точку отсчета взять уже негде: сравнивать приходится с воспоминанием руководителя о том, как было раньше.

Что собрать, если четвертый уровень не посчитать

Пошаговый алгоритм оценки эффективности обучения описывает сам замер. Состав итогового отчета сводится к трем частям, и ни одна не требует пятого уровня.

• Метрика, согласованная до старта. Ее выбирают вместе с заказчиком и четко фиксируют до первого занятия, чтобы у результата была точка отсчета.
• Замер поведения на рабочем месте. Конкретное наблюдаемое действие вместо самооценки: что сотрудник стал делать иначе и кто из руководителей или коллег подтверждает изменение.
• Группа сравнения. Подразделение или период без программы: с его данными сопоставляется результат обученных.

Такой отчет не переводит эффект в рубли. Зато метод в нем виден целиком, и заказчик проверяет каждый шаг: откуда взялась метрика, кто подтвердил изменение поведения, с чем сравнивали. Бизнес верит оценке, когда путь к ней прозрачен, а цифра названа заранее.

Что показать заказчику вместо расчета рентабельности обучения

Разговор с бизнесом меняется вместе с составом отчета. Цифру отдачи при таком наборе защищать не нужно: каждый элемент проверяем по отдельности, поэтому спор идет по существу.

Те же три части работают и как проверочный лист для методистов: отчет теряет вес еще до встречи с бизнесом, если метрика без владельца, замер без подтверждающего, а сравнение без базы.

Там, где обучение оцифровано, показатели программы и бизнес-процессы связаны напрямую.

«Поскольку обучение у нас полностью оцифровано, мы можем напрямую связать его показатели с основными бизнес-процессами. Используются две основные метрики: индекс обученности и индекс уровня знаний».

Наталия Зыгмонт, директор по обучению «Вкусно – и точка»

Согласно исследованию ВШБ НИУ ВШЭ, hh.ru и Ancor, больше 61% российских компаний планируют в 2026 году увеличить расходы на обучение или расширить охват программ. Вопрос о том, что компания получила взамен, прозвучит чаще — отвечать на него анкетой удовлетворенности уже не выйдет.