my photo

Про Российский стандарт центра оценки: ответ Э. Бабушкину

Данная заметка — попытка ответить Эдику на его замечательный пост с критикой и вопросами к Российскому стандарту центра оценки. Лонгрид, написан для интересующихся темой.


Сначала дисклеймер:


  1. Спасибо Эдуарду за предложение вести содержательные дискуссии по профессиональным темам

  2. В частности, спасибо за готовность вникнуть в неблизкую в профессиональном плане предметную область и задать важные вопросы по ней

  3. Ниже будут ответы от меня как одного из авторов стандарта. Тем не менее, это моё личное ИМХО, оно не имеет статуса официального или даже полуофициального ответа от коллектива авторов

  4. С момента создания документа прошло 5 лет. Большую часть этого времени я не занимался непосредственно центрами оценки. И, что особенно важно, не вел активных исследований по сабжу

  5. В связи с этим (в частности) отвечать буду только на те реплики, которые могу и хочу прокомментировать. Серию постов писать не планирую, это разовая акция

  6. Я не думаю, что любая конкретная технология/метод/инструмент является решением для всех проблем в своей области. Молоток и отвертка хороши для разного. Также и центр оценки вместе с тестами, роботами Верами и т.п.



Далее комментарий к назначению документа (Эдик справедливо заметил, что он не только про содержание). Да, стандарт действительно выполнил больше задач, чем просто стандартизировал одну технологию. Как мне кажется, главная его «заслуга» — это реально случившаяся первичная консолидация проф.сообщества. В результате в стране появился не только стандарт центра оценки, но и Российский стандарт тестирования персонала, два отраслевых исследования (1, 2), книжка, а также реальное участие ядра проф.сообщества в значимых проектах федерального уровня (например). Еще в стране почти появился официальный проф.стандарт специалиста по оценке персонала, но его «зарубили» хорошие люди из благих побуждений на самом финальном этапе. Не хочу обсуждать наполнение всех этих пунктов, просто констатирую факт — оценка персонала и современный HR в РФ вышли на новый рубеж согласованной совместной работы.

Теперь к содержательным аспектам.


Научная обоснованность

Эдуард спрашивает, откуда авторы взяли, что «стандарт является ... научно обоснованным практическим руководством» и что они имеют в виду. Научно обосновать можно разными способами. Вот что имели в виду авторы стандарта:


  • Про это есть масса мета-анализов в топовых рецензируемых изданиях (их признают как способ сделать вывод относительно метода/технологии, а не только частного применения). Мета-анализы были изучены )) Из последнего полезного по теме приведу этот из Германии и этот из Штатов. Не вижу оснований не использовать подобных референсов в РФ

  • Есть вполне пристойные книги и статьи, подробно излагающие научный подход к вопросу. И они были проштудированы. Из книг стоит смотреть эту и эту — кажется, в них наиболее полно раскрывается сабж. Из статей рекомендую читать это

  • В РФ крайне мало собственных исследований по теме. К сожалению. В 2013 году я искал, из публичного нашел только это (хорошо, что оно есть).  В посте описаны не только ссылки на исследования, но и мысли про причины сложившейся ситуации (тут хорошее дополнение). Буду рад, если что-то изменилось с тех пор...

  • Очень косвенным свидетельством того, что в документе написано нечто научное, служит ссылка на наш документ в Международных стандартах ЦО, а также отзывы вполне достойных людей на наш документ






Best Standard in the World. Bill Byham (автограф Билла Байхема, основателя DDI)

Очевидно, что любому методу/технологии требуется много разнообразных доказательств состоятельности. И никогда не будет финального доказательства. Так что вывод простой — давайте собирать больше качественных данных и проводить больше исследований.

Ну и на всякий приведу точную цитату из стандарта. «Валидность ЦО была ранее доказана на материале многочисленных исследований. Тем не менее каждая программа ЦО, которая применяется в новых условиях, должна быть валидизирована».


Цель центра оценки

Тут Эдик высказывает мнение, что ЦО оценивает компетенции и задает ряд вопросов к формулировке в стандарте («Цель ЦО — оценка потенциальной успешности в профессиональной деятельности»).

Трудно отвечать, ибо здесь смешаны цели и средства. Попробуем разобраться.

Цель — это ответ на вопрос «ЗАЧЕМ мы это делаем?». Так вот ЦО проводится не для оценки компетенций, а для попытки предсказать будущую успешность (чаще всего руководителя). Именно ради этого обычно всё затевается. Как определять будущую успешность? Доживаешь до будущего и определяешь уже настоящую успешность. Способ должен быть признан в данной организации и методически обоснован.

Следующий кусок — «ЧТО оцениваем?». И тут снова не про компетенции. В ЦО оценивается поведение. Подробнее ту

Третий кусок — «КАК оцениваем?». И только здесь появляются пресловутые критерии/компетенции. Пояснения снова тут


Содержательная валидность

В этой части Эдик критикует способность внутренних экспертов оценить что-либо (и цитирует самих авторов стандарта). А вроде как именно этих экспертов авторы и предлагают использовать для оценки содержательной валидности. Как так?

Ответ простой — это минимально приемлемый вариант. Руководитель отдела продаж и его зам  в конкретной компании способны оценить, насколько «моделирующие упражнения ЦО, разработанные образцы поведения и компетенции/критерии отражают наиболее существенные задачи» будущего руководителя отдела продаж. Возможно неидеально, но это минимальный порог (напомню, весь стандарт выстроен именно в этой логике — что нужно делать КАК МИНИМУМ?).

Какая бы ни была процедура оценки, важна минимальная верификация об экспертов. Хотя бы простой вопрос: похож кейс в ЦО на реальные трудные ситуации из будней руководителя отдела продаж? Кажется, оценить схожесть описания с твоей реальной деятельностью не так сложно (во всяком случае, проще, чем оценивать подчиненных по KPI).


Критериальная валидность

Очевидно, что это самый больной вопрос к любому методу/технологии/инструменту оценки. К любому! И проблема здесь известная — а что есть КРИТЕРИЙ? Какие независимые данные доказывают, что мы справились с задачей диагностики проф.успешности? Особенно через время (если мы хотим проверить прогностическую критериальную валидность).

Что сказано в стандарте?

При оценке критериальной валидности допустимо использовать принятые в организации ключевые показатели эффективности (КПЭ), экспертные оценки кадровых комитетов и другие методически обоснованные измерения, не зависящие от результатов ЦО.

Что хочет Эдик? Чтобы объяснили требования к экспертным оценкам кадровых комитетов, чтобы привели пример «других» измерений.

Как размышляли авторы стандарта? Нужно выдвинуть МИНИМАЛЬНЫЕ требования, чтобы их можно было спрашивать с каждого уже завтра. Минимальные требования описаны, остальное — проф.ответственность конкретных команд, проводящих оценку (кстати в документе даны ссылки на более подробные метод.рекомендации в этой сфере — можно туда сходить).

___

Далее идет очень важный вопрос: почему в Российском стандарте центра оценки не указаны условия и/или ситуации, в которых должна происходить валидизация программы ЦО по критериальной валидности?

Ответ тот же — из-за того, что это выглядело для РФ 2013 года не минимальным требованием. Правила должны быть выполнимыми, иначе они перестают работать. Имея на руках всего несколько опубликованных исследований, трудно требовать от всей страны немедленного появления исследований по каждому случаю использования ЦО. Возможно в следующей редакции можно будет потребовать бОльшего.

Ну и добавлю — для нормальной оценки качества прогноза нужно время. В январе провели оценку, в феврале-марте провели назначения, в лучшем случае в декабре видим первые осмысленные результаты (если берем профессию «руководитель»). За год много чего происходит, поэтому сходу требовать этого в минимуме не было права.


Бонусные вопросы

В конце у Эдуарда вопросы про любимое. Ответим и на них.

Э.: Не кажется ли вам, что валидация по критериальной валидности должна проводиться самим Заказчиком или независимым экспертом?

Кажется. В норме это так и должно происходить. Именно для этого и нужны стандарты, там это прямо сказано в завершении раздела 5. Почему это так не происходит, совершенно другой вопрос.

Э.: Не кажется ли вам, что создатель программы ЦО заинтересован в том, чтобы ЦО имел высокую критериальную валидность, чтобы просто банально продать свой продукт?

Кажется. Еще как кажется. Опять же для этого и созданы стандарты. Это прямой призыв заниматься оценкой валидности не только руками заинтересованных, но и любых «подготовленных специалистов», знающих стандарты и сам ЦО.

Никаких прерогатив в данном вопросе в стандарте не зафиксировано. Я очень жду, когда появятся грамотные отрецензированные исследования по теме, пригодные к публикации в серьезных западных журналах (пока это потянула только Светлана Симоненко).


В завершении

Процитирую Найджела Пову, который оставил отзыв на первую версию Российского стандарта:

...создание Стандартов – это только начало, а реальной проблемой является процесс продвижения и побуждение компаний к использованию этих стандартов.

Мне представляется, что именно игра по профессиональным правилам (пусть даже минимальным) и есть тот самый важный следующий шаг в развитии российского HR-сообщества. В роли HRD крупной компании я видел много пользы от внедрения стандартов ЦО и тестирования в реальную практику работы. И без этого внедрения я не представляю ни малейшей возможности обсуждать более серьезные вопросы качества тех или иных оценочных инструментов. Если исходные данные получены вне правил, то все дальнейшие обсуждения бессмысленны.


P.S. На форуме HT-LINE имеется попытка обсуждения той же темы. Обсуждение не фантастическое, но для истории надо зафиксировать.


Posts from This Journal by “центр оценки” Tag

  • Байхем уходит из DDI

    В DDI, одной из старейших и крупнейших специализированных оценочных компаний, сменилась топ-команда. В частности, в отставку ушел Билл Байхем ( Bill…

  • Неосознанная недокомпетентность

    Главное ограничение развития оценки персонала на нынешнем этапе - неосознанная неДОкомпетентность значительного количества ярких и влиятельных…

  • О моде на копание в компетенциях

    Еще лет 7 назад разработка модели компетенций была супер-серьезной историей. Модным было затевать большие проекты с помпой и вовлечением всего…