Анализ полезности обучения

Оригинальный пост здесь Анализ полезности обучения

Перевод статьи Learning from Practice: Utility Analysis for Training в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор René Klep, и это его дебют в нашем блоге. Он работал HR-менеджером в компании Belden, производственной компании, в статье описывает свой опыт.
Перевод выполнила Наталия Черноног (профиль в LinkedIn). Начинающий People Analytic в IT компании, начала изучать аналитику недавно и интересуется полезными статьями по теме. Это первый перевод Натальи.
Итак,

Анализ полезности обучения 

Rene Klep
В какой-то момент своей карьеры, я работал HR менеджером в Belden, компании, которая в то время производила кабели и провода для электробритв, телевизоров и другого оборудования. Я завидовал некоторым моим коллегам в команде менеджеров, которые боролись за свою долю годового бюджета. Особенно, руководителю отдела маркетинга – он всегда презентовал прекрасные расчеты инвестиций, которые включали в себя средства, например, на промо акции, объявления, визиты клиентов и прочее.
Этот руководитель отдела маркетинга всегда проявлял чудеса креативности, представляя пользу от своих предложений, основываясь на предположениях роста рынка, роста занимаемой доли рынка, количества повторных обращений клиентов и т.д
Под впечатлением я также заметил, что предположения, сделанные руководителем отдела маркетинга, были основаны не на «сверхточных научных исследованиях», а скорее на «научных догадках» (которые были представлены очень убедительно).
Я задумался, почему HR этой компании представляет только суммы HR инвестиций, а не показывает положительные сценарии развития событий от организации HR отделом обучения. Большинство из нас знакомы с моделью оценки обучения Киркпатрика (по ссылке - перевод этой статьи в нашем блоге) (1976), но я спросил себя – а есть ли формула, по которой мы сможем просчитать величину возврата (финансов) от обучения?
Мы знаем, что обучение и развитие потенциально могут внести большой вклад в рост «трудовых доходов на протяжении жизни». Как описано в этой статье.

Все это объединилось, когда мой бизнесс менеджер попросил предоставить бизнес кейс для добавочной стоимости обучения для инспекторов по качеству на производстве. Я тогда читал много литературы по анализу полезности, которая открыла мне глаза, на то, что и в HR есть более строгие подходы к финансовым оценкам HR инициатив.

Определение анализа полезности

Так что же такое анализ полезности? Для Human Resource Management анализ полезности ссылается на специализированный инструмент, созданный для оценки ожидаемых институциональных достижений и потерь компании от разнообразных мероприятий HR, разработанных укрепить ценность рабоей силы (Sturman, 2003)
Другими словами, это инструмент просчета полезности или прибыльности мероприятий.
Для изучения мероприятий базовая модель такая:

• Utility (U) = Benefits (B) – Costs (C)

Чтобы посчитать полезность, нам нужно определить и Benefit и Costs:

• Benefits = d * SDy * t (*N)
• d – величина эффекта от обучения
• SDy – величина Изменения Производительности в евро
• t – время (количество лет, которые длился эффект обучения)
• N – количество участников

Величина эффекта

Как вы можете посчитать величину эффекта?

Величина эффекта – это разница между до и после обучения. Например, у вас есть кто-то, кто не обучен (Т0). После обучения этого человека (Т1) вы ожидаете от него быть лучше в том, чему он был обучен. Значит, значение Т1 вырастет по сравнению с Т0 в измерении компетенций или языковом тесте.

Чтобы проверить этот эффект, вы можете взять среднее значение обеих групп – Т0 и Т1. Вычитаете среднее значение Т0 из среднего значения Т1 и надеетесь, что разница положительная.

Для стандартизации, вы делите ее на стандартное отклонение обработанного набора данных. Изображение ниже отображает размер эффекта от программы обучения.

Как d (величина эффекта) вычисляется? Это всего лишь разница между средними значениями обученной ( красная кривая) и необученной (синяя кривая) групп в стандартном Z-score unit. Это может быть разница в средней производительности, времени принятия решений, изучениии т.д. 

Но давайте вернемся к инспекторам по качеству в моей компании Belden

Их производительность была оценена на основе рабочего образца - это количество дефектов, обнаруженных в небольшом образце продукции с известным количеством (например, 10) ошибок.

Прежположим, что средняя производительность  для обученной группы это 7, для необученной группы – 6,5, а стандартное отклонение производительности 1.0

Размер эффекта может быть посчитан так 

Другими словами, производительность обученной группы на пол стандартного отклонения больше, чем у необученной группы.

В идеале, вы должны работать с экспериментальной группой (получающей обучение) и контрольной группой (не получающей обучение). В литературе вы можете найти ожидаемые значения величины эффекта ( e.g. Arthur et al, 2003)):

• d = .20  -> маленький эффект
• d = .50  -> средний эффект
• d = .80  -> большой эффект

Стоимость изменения производительности в евро

В формуле выше переменная SDy определена как добавочная стоимость в евро (или в долларе и т.д.) субьекта, производительность которого на одно стандартное отклонение выше средней (по сравнению с субьектом со средней производительностью).

Когда мы умножим величину эффекта, как описано выше, на Sdy, мы сможем оценить стоимость в евро, ожидаемую от предполагаемых изменений производительности.

Простейший подход оценки SDy достижим, когда известно значение производительности в евро для каждого сотрудника (например, в продажах). К сожалению, финансовые показатели редко доступны во многих видах работ.

Второй простой подход оценить SDy  включает в себя следующее простое правило, основанное на множественных исследованиях (e.g. Becker and Huselid, 1992).

• Для низкоквалифицированной работы SDy оценивают как 40% от заработной платы
• Для работы умеренной сложности SDy равна 60% от заработной платы
• Для работ высокой сложности SDy  равна 100% от заработной платы

Стоимость обучения

Конечно, формула полезности будет не полной без оценки затрат. Очень часто особенность (оценки затрат) состоит из:

Прямые затраты: материалы, инструктор, локация, проезд и администрирование.

Непрямые затраты: упущенная выгода = дневная ЗП сотрудника гросс* количество сессий обчения * количество обучаемых

Полезность обучения для инспекторов по качеству в Belden 

Итак, вернемся к задаче посчитать полезность обучения инспекторов по качеству. Мы использовали следующую информацию для оценки полезности:

25 обучаемых инспекторов по качеству

Длительность эффекта от обучения: 1 год

Величина эффекта (dt): 0.5 SD

Годовая зарплата: 40 000 евро, SDy 16 000 евро, исходя из правила оценки 40%

Итоговая стоимость программы обучения: 50 000 евро

• ∆ Utility = (d * SDy) * (N * t) – C
• ∆ Utility = (0.5  * 16.000) * (25 * 1) – 50,000 = 150,000 euro

Из полученных данных мы также можем посчитать возврат инвестиций (ROI) 

Применение анализа полезности

Анализ полезности может быть очень сложным, но, исходя из моего опыта, может быть легко объяснен. Конечно, мы должны делать определенные предположения, как маркетинг менеджер из Belden делал предположения по поводу прибыльности «его» маркетинговых инвестиций.

Итак, в подведение итогов, какие основные допущения могут быть сделаны в нашей формуле полезности, в случае, если у вас нет точных данных? 

• Оцените время, через которое эффект от обучения будет заметен. Некоторые программы обучения (например, изучение нового выпуска программного обеспечения системы, которое меняется регулярно) имеют короткие временные рамки воздействия. Изучение новых навыков, например, обучение проводить отборочные интервью, обычно имеет более длительный эффект. Наиболее распространенное предположение по времени – это один год.
• Оцените величину эффекта от обучения. В зависимости от сути обучения, можно найти хорошие оценки в литературе (e.g. Arthur et al, 2003) о величине эффекта. Помните, что средняя велчина эффекта составляет приблизительно 0,5 SD.
• Оцените стоимость Изменения производительности в евро. Как было упомянтуо, вы можете использовать правило 40% при низкоквалифицированной работе. У более сложной работы стоимость в евро может подскочить до 100% от зарплаты.

Генеральные менеджеры и HR директоры должны иметь возможность определить, где вложение средств в человеческий капитал необходимо для развития бизнеса. Анализ полезности – это инструмент, который может помочь этому произойти.

__________________________________________________________

На этом все, читайте нас в фейсбуке, телеграмме и вконтакте