Что такое эффективность в работе бизнес-тренера? Чем и как ее измерить?

Любое обучение, даже если его проводит внутренний бизнес-тренер — это инвестиция для компании: отрыв сотрудников от работы, содержание учебного класса, печать материалов. Бизнес заинтересован вкладывать в то, что приносит отдачу.

В начале 2000-х годов, когда бизнес-тренинг в нашей стране находился еще в стадии становления, тренеры нередко обещали «+30% к продажам», «снижение текучести кадров на 50%», «формирование сплоченной команды». И все это за одно-, двух- или трехдневную программу обучения. Когда заказчикам стало очевидно, что волшебной таблетки не существует, и обещанные результаты после одного тренинга не наступают, руководители задались вопросом, как же измерить эффективность работы бизнес-тренера.

Бизнес, как правило, настаивает на том, чтобы у тренеров были коммерческие KPI — ключевые показатели эффективности (КПЭ), например объем продаж;  HR — чтобы качественные или количественные KPI: уровень удовлетворенности обучением, количество обученных сотрудников. Чтобы разрешить это противоречие, нужно выделить измеримые показатели эффективности бизнес-тренера и тренинга.

В 1950-х годах Дональд Киркпатрик, американский исследователь, предложил модель оценки эффективности обучения, которая состоит из 4-х уровней:

1. Реакция
2. Научение
3. Поведение
4. Результаты

В конце 1970-х годов Джек Филлипс разработал методологию ROI — return on investments (возврат на инвестиции), и дополнил модель Д. Киркпатрика пятым уровнем оценки.

Давайте рассмотрим, как можно оценить эффективность обучения и работу бизнес-тренера на каждом из уровней.

1. Реакция — это эмоциональный ответ участников на обучение. Это то послевкусие, которое остается после прохождения программы. По моим многолетним наблюдениям, реакция зависит от 3-х факторов:

• содержание программы — актуальность, применимость, польза;
• работа тренера — уровень экспертизы в теме, уровень тренерских компетенций;
• мотивация участника — намерение применить знания и навыки, полученные в ходе обучения.

Как правило, реакцию замеряют через анкету обратной связи в конце тренинга. Оценки в анкете позволяют с определенной степенью достоверности оценить вероятность переноса результатов обучения в практику — как минимум готовность и желание участников применить новые знания и навыки в своей работе.

Распространенной метрикой замера удовлетворенности обучением является индекс NPS (net promoter score). Автором подхода и формулы расчета NPS является Фредерик Райхельд. Изначально он разрабатывал этот подход для оценки приверженности клиентов бренду. Однако индекс очень быстро вышел за пределы маркетинга и стал распространенным показателем для оценки удовлетворенности клиентов в различных направлениях бизнеса. В частности, NPS используется в обучении: от оценки конкретной программы до целых корпоративных университетов.

Важно помнить, что анкета обратной связи позволяет замерить лишь субъективную удовлетворенность участника от обучения. Оценка эффективности работы бизнес-тренера не должна базироваться только на этом замере.

2. Научение — уровень освоения участниками ожидаемых знаний, навыков и установок. Результаты научения можно измерить как после обучения, например тесты на проверку знаний, работа на тренажерах, так и в процессе — практические задания, решение задач, ролевые игры.

Если обратиться к модели 6D (Р. Поллок, К.Уик, Э. Джефферсон), оценка усвоенных знаний, навыков, установок отвечает на вопрос «Can I?», «Могу ли я?». Иными словами, достаточно ли моих знаний и навыков, чтобы поддержать перенос результатов обучения в работу.

Однако высокая оценка на этом уровне не дает ответ на второй вопрос — «Will I?», «Буду ли я?». Поэтому, как и с оценкой реакции, замер уровня научения недостаточен, чтобы сделать вывод об эффективности бизнес-тренинга.

3. Поведение — оценка на этом уровне позволяет измерить, насколько участники применяют изученное на рабочем месте. Разрабатывая и проводя обучение, тренер должен ориентироваться на то, какое рабочее поведение он формирует. Не важно, как сильно понравилось обучение участникам, как хорошо они запомнили правила предоставления обратной связи или алгоритм совещания, если, вернувшись к работе, они продолжили делать так, как делали до обучения.

Наиболее точно результат обучения для участников можно оценить именно через анализ рабочего поведения.

Распространенными методами оценки являются наблюдение, замеры «до» и «после», например количество ошибок в документах, прослушивание звонков, обратная связь от руководителя и коллег.

4. Результаты — как повлияло обучение на бизнес-показатели подразделения, функции или компании.

Бизнесу важно видеть отдачу от обучения: насколько применение полученных знаний и умений помогает улучшить конкретные количественные, временные и затратные показатели.

Определять метрики и данные, порядок их сбора и обработки для оценки эффективности обучения необходимо еще на этапе формулирования целей обучающего решения. Проведение «посмертного» анализа данных неминуемо ведет к их искажению.

5. ROI, возврат на инвестиции — оценка в денежном выражении всех выгод, связанных с обучением, к денежной оценке всех затрат на обучение.

Сама по себе разработка и оценка ROI является трудозатратной и дорогой, поэтому ее применяют не часто. По данным опросов, оценка на пятом уровне проводится не более чем для 5% программ. К таким программам относятся: стратегические проекты компании, длинные и дорогие программы обучения, статусные проекты — проект «на виду».

ROI рассчитывается в процентном выражении по формуле:

ROI = ((Доход от обучения – затраты) / Затраты) х 100%

Давайте рассмотрим модель оценки эффективности обучения по 5-ти уровням на примере семинара по проверке документов при оформлении заявки на кредит.

Целевая аудитория — кредитные специалисты банка. Они работают в точках выдачи кредитов: магазины электроники, меховой одежды, мебели. В их функционал входит оформление заявки на кредит в IT-системе банка. Данные для заявки кредитные специалисты получают со слов клиентов, а также из их документов. Поэтому умение определить подлинность документа снижает риск одобрения кредита мошенникам.

Цель программы: выявлять поддельные документы, поданные для рассмотрения заявки на кредит, в точках оформления кредитов.

Цели обучения и применения (кратко): проводить проверку паспортов, водительских удостоверений по алгоритму

Как на разных уровнях оценить эффективность обучения по проверке документов?

На первом уровне — оценка реакции — уместно задать вопросы участникам о том, как они оценивают пользу и практичность полученных знаний. Насколько они испытывают уверенность в том, что смогут лучше выявлять поддельные документы на этапе подачи заявки на кредит.

На втором уровне — оценка научения — можно предложить участникам несколько образцов паспортов или водительских удостоверений с целью определения поддельных.

На третьем уровне — оценка применения — можно направить тайных покупателей в точки выдачи кредитов (в т.ч.с поддельными документами), чтобы те оценили по чек-листу, что кредитный специалист выполняет алгоритм проверки документов. Либо провести полевое наблюдение (например, анализ видеозаписей работы кредитных специалистов).

На четвертом уровне — оценка результатов — можно замерить изменение показателя количества заявок с поддельными документами, переданных на рассмотрение, к предыдущему периоду.

На пятом уровне — оценка возврата на инвестиции — такая программа вряд ли оценивается. Но если предположить, что это будет сделано, тогда можно сделать так:

1. Рассчитать % ошибочно выданных кредитов мошенникам с поддельными документами за прошлый период (например, 6 месяцев)
2. Рассчитать % ошибочно выданных кредитов мошенникам с поддельными документами за последующие 6 месяцев после обучения
3. Рассчитать объем экономии в денежном эквиваленте
4. Полученную сумму сравнить с затратами на обучение

Таким образом, применение модели для проектирования и оценки обучения Д. Киркпатрика и Дж. Филлипса позволяет с большой точностью и с разных сторон измерить результативность обучения.

Если Вы хотите лучше изучить V-модель Джека Филлипса и научиться проектировать эффективные обучающие решения — приходите на открытую программу «Тренер – моя профессия».

Если вы, как и Институт Тренинга, — за профессионализм, экспертизу и глубину в профессии, поделитесь статьей с друзьями!