Category: наука

my photo

Про Российский стандарт центра оценки: ответ Э. Бабушкину

Данная заметка — попытка ответить Эдику на его замечательный пост с критикой и вопросами к Российскому стандарту центра оценки. Лонгрид, написан для интересующихся темой.


Сначала дисклеймер:


  1. Спасибо Эдуарду за предложение вести содержательные дискуссии по профессиональным темам

  2. В частности, спасибо за готовность вникнуть в неблизкую в профессиональном плане предметную область и задать важные вопросы по ней

  3. Ниже будут ответы от меня как одного из авторов стандарта. Тем не менее, это моё личное ИМХО, оно не имеет статуса официального или даже полуофициального ответа от коллектива авторов

  4. С момента создания документа прошло 5 лет. Большую часть этого времени я не занимался непосредственно центрами оценки. И, что особенно важно, не вел активных исследований по сабжу

  5. В связи с этим (в частности) отвечать буду только на те реплики, которые могу и хочу прокомментировать. Серию постов писать не планирую, это разовая акция

  6. Я не думаю, что любая конкретная технология/метод/инструмент является решением для всех проблем в своей области. Молоток и отвертка хороши для разного. Также и центр оценки вместе с тестами, роботами Верами и т.п.


Collapse )
my photo

Time horizon: перспективный конструкт в оценке персонала

В оценке самое интересное - это "ЧТО" оценивать?
Последние полтора года в российских огородах стали пробиваться ростки концепции, которую в народе называют RO или Requisite organization​. Это серьезная теория из области менеджмента, автор Eliott Jaques (Эллиот Жак). То, что тема крутая, можно понять, например, по небольшой заметке в The Economist.


(с) requisite.org

В концепции среди прочего содержится заявка на новый конструкт, крайне важный для оценки и отбора людей. Это так называемый "time horizon" - способность удерживать в сознании определенную временную перспективу. По-другому - способность решать задачи определенной длительности.

Тема эта крайне интересная и перспективная. И при этом опасная. Почему?

Во-первых, она в отличие от многих психологизированных конструктов, абсолютно понятна "бизнес-заказчикам". Может человек решить задачу, которая решается за два года или нет? Всё просто и прозрачно.
Во-вторых, из этого следует, что у каждого "эксперта" найдется, что сказать по этому поводу. Вот, например, недавно вышла статья в "Ведомостях" - там это крайне неаккуратно и спутано написанно, не смотря на то, что Home Credit Bank очень серьезно и профессионально подошел к вопросу. Привожу тупую редакционную картинку, из которой очевидно, что художник вообще не разобрался в вопросе (равно как и журналист с комментаторами):

(с) А. Таранов. Ведомости

Не про IQ речь, не про интеллект и общие способности! Это принципиально иной конструкт.

В-третьих, time horizon НАПРЯМУЮ бьется с задачами орг.проектирования. Time horizon сотрудника должен быть сопоставлен с time span позиции в организации (задачи какой длительности должны решаться в рамках этой должности). Никакие другие конструкты в орг.психологии таким свойством не обладают (ни компетенции, ни способности, ни вовлеченность). Это означает, что реально появляется возможность вести орг.проектирование вместе с отбором, создавать орг.структуры, в которых могут содержаться конкретные требования к людям.

В-четвертых, автор концепции утверждает, что time horizon не развивается усилиями T&D. C каким временным горизонтом стартовал лет в 20 - можешь уже заранее предсказать, до какого горизонта доберешся.


(с) Requisite Organization Institute

На картинке по оси Х отложен возраст человека, а по Y - временной горизонт. Если Вы в 20 лет стартуете, например, с 1 года, то к 70 годам можно дорасти до 10-летнего горизонта :) "А после из прораба до министра дорастешь", короче.

Это, конечно, крайне резкое утверждение, даже немного дискриминационное. С ним хочется поспорить и запросить доказательную базу. К слову, эта база имеется и довольно неплохая (начать можно с книги). Не могу сказать, что меня убедили, но обсуждать там есть чего.


В-пятых, видимая простота истории - только видимая. Так как и сама теория, и способ оценивания конструкта требуют серьезной проработки предмета. Очень серьезной. Для оценки time horizon требуется умение различать разные способы мышления: декларативный, кумулятивный, последовательный, параллельный. Это основополагающая конструкция в модели RO. Давайте разберем их внимательнее:

  1. Декларативный, дискретный (declarative) способ мышления - человек видит набор проблем или приводит набор аргументов, не связанных между собой.

  2. Кумулятивный (cumulative) - человек формирует вывод на основе анализа  и синтеза внешне разрозненных фактов и симптомов. Предлагает логичный вывод, объясняющий происходящее.

  3. Последовательный (serial) - человек создает сложную цепочку рассуждений, где каждый последующий тезис вытекает из предыдущего. Цепочка глубже простого линейного вывода.

  4. Параллельный (parallel) - сценарное моделирование. Человек одновременно (близко по времени) осмысливает разные альтернативные сценарии / цепочки рассуждений.

Эти способы мышления соотносятся с временными горизонтами. Смотрим табличку ниже:




Получается, что уровень должности задается в конечном итоге через "Complexity of information processing". А time horizon (временной горизонт) является его "операционализацией" (одним из внешних проявлений).

Теперь главный вопрос - как это измерять? Ответ - с помощью специально спроектированных интервью, а также опроса непосредственных руководителей кандидатов. Во всяком случае, так рекомендуют делать их гайдлайны. Есть еще идея зайти на тему со стороны психометрики. Мы в процессе разработки пилотного инструмента - уже сейчас очевидно, что дело это крайне непростое.


Завершить тексто хочется оворками и небольшой критикой.

  1. Надеюсь, после прочтения поста стало понянтно, почему модель еще не очень раскрученная. Причина проста - это целостная система, в которой каждое употребляемое слово - это понятние. Причем встроенное в сложные взаимосвязи с другими понятиями. Если хотеть этим пользоваться, нужно грохнуть много месяцев на детальный штудирунг крайне непростых текстов.

  2. По этой причине сама модель не прошла масштабной верификации силами независимых исследователей и консультантов. Многое нужно перепроверять - слишком уж жестко и догматично там многое сформулировано. Фальсификация гипотез - наше всё :)

  3. Вопрос о природе самого конструкта time horizon и способе его измерения также требует серьезной научной работы. Современные когнитивные психологи найдутся, что сказать по поводу 4-х способов мышления. Что не отменяет возможности начинать его использовать в практике и внимательно смотреть за результатами (в России я слышал как минимум о трех компаниях, которые внедряют RO у себя - Home Credit Bank, Северсталь, Свеза).



Где почитать подробнее? На русском серьезных источников крайне мало.

  1. Достаточно подробная статья о Жаке и RO на сайте HRM.ru

  2. Заметка в журнале Esquire - коротко и содержательно

  3. Кусочек есть в статье П. Безручко "Ключевая формула" (к выходу готовится вторая часть статьи, где будет подробнее про оценку)


На английском, конечно, нужно читать базовую книгу Эллиота Жака "Requisite Organization: A Total System for Effective Managerial Organization and Managerial Leadership for the 21st Century". Книга - крепкий орешек, но кто осилит, тот будет молодец.




P.S. Кстати Эллиота Жака называют автором термина "кризис среднего возраста". Умел же человек уверенно распространять свои идеи на все возможные сферы жизни... :)
my face

Культур-мультур или Хофстеде на мыло!

Есть такой известный социологический дядь - Гирт Хофстеде. Это тот, который замучал опросниками больше 100 тыс. своих бывших коллег из IBM и вывел теорию измерения культур. Дистанция власти, избегание неопределенности и т.п. (ссылка).



Подход его оказался чрезвычайно популярным, чуть ли не каноническим. Появились всякие прикольные сравнительные исследования, фанаты и последователи, игрушки на тему (например, простой и симпатичный способ посравнивать разные страны http://geert-hofstede.com/russia.html ). На основании этой модели проводилась масса иследований, все очень обнадеживающие.
ОДНАКО! Есть про эту теорию, и в особенности про технологию оценки, альтернативное мнение. Всем интересующимся и читающим по-аглицки рекомендую вот эту статью Пола Спектора с коллегами. Очень известное и цитируемое исследование. И что немамловажно - независимое от Хофстеде. И там всё НЕ ок!

Они взяли его опросник и провели на серьезных выборках по осмысленной методике. Итог - качество инструмента и сравнимость результатов независимых ребят с изысканиями Хофстеде под вопросом. Только "long-term orientation" является относительно стабильной шкалой. Остальное - мусор с точки зрения психометрики и культурного измерения. Вопросы в шкале не связаны друг с другом или связаны отрицательно.
Факторный анализ (который по идее должен подтвердить справедливость выделения 5 шкал) показал откровенный булшит. Ну и базовая гипотеза Хофстеде о том, что результаты в одной стране гомогенны, также не подтвердилась. Даже в отдельно взятой Индии разброс очень большой!
При таких раскладах говорить о валидности даже не приходится. Когда шкалы ненадежны, измерение отсутствует. Нечего обсуждать (хотя Хофстеде так не думает, полагаю)


Получается классический "marketing driven" опросник - красивая модель и попсовая реализация.


Общались на эту тему с Александром Георгиевичем Шмелевым, ведущим специалистом по тестам в стране. У него интересная версия причины подобной ситуации. Вероятно, дело в том, что психометрика оказалось наукой психологов. А к социологам она типа не относится. Хотя это полный бред. В итоге простейшие приемы анализа качества опросников оказываются за бортом таких масштабных исследований, что полностью их дискредитирует.

Так что пора психометрику / психодиагностику и прочую "психо-" переназвать в тестологию! Тогда оно для всех станет более приемлемым.

________________
К вопросу о возможных альтернативах в измерении культур (чтобы два раза не вставать) - это project GLOBE. Почитать можно, например, здесь. Там девять шкал в модели. Россия в исследовании представлена. Автаритетные пасаны гаварят, что уважуха (хотя тоже хорошо бы проверить).
test ppl

Про валидность ассессмент центров

.
Интересный парадокс - АЦ считается "самым-самым" типа точным методом оценки персонала (ну или одним из самых). А количество опубликованных работ по этой теме в России катастрофически мало. Когда мы готовили статью с нашими данными по теме, мне удалось обнаружить только два источника, где приведены конкретные цифры, а не общие рассуждения или копипаст старых западных исследований.


  1. С.К. Сергиенко (1999) получил удовлетворительные данные о прогностической валидности ЦО в рамках проекта TACIS. Анализировалась оценка стажеров принимающими их после отбора и обучения компаниями. Центр оценки правильно предсказывал успешность прохождения стажировки в 77.5% случаев (Сергиенко, 1999).

  2. В исследовании А.К. Ерофеева (2012) получен средний коэффициент корреляции 0.63 при р=0.01. Сравнивался Итоговый Оценочный Рейтинг, полученный в ходе ЦО, с усредненными оценками из интервью по компетенциям, которые проводили сотрудники службы персонала (Ерофеев, 2012). При этом оценки в интервью были получены приблизительно в то же время, что и оценки в ЦО.


И всё... Представляете? АЦ используется в России более 20 лет, куча народу этим занималось. У нас есть данные о том, что за последние 8 лет более половины из топ-150 российских компаний применяли АЦ (по-позже опубликую пруфф-линк). И при этом всего два исследования (наша статья - третья).

А к Вашему сведению - все серьезные исследования качества инструментов сейчас проводятся с помощью мета-анализов. Это когда в один большой котел кладут большой набор качественных исследований и определяют общий результат. В нашей ситуации об этом пока просто стыдно заикаться.

Интересно подумать, почему так... Видимо, это большая тема - сейчас накидаю только первые идеи.

  • Постановление ЦК ВКП(б) "О педологических извращениях в системе Наркомпросов" (1936 г.) и вся последующая вакханалия повырезали серьезных исследователей и профессионалов из орг.психологии (тогда это называлось психотехникой). Была потеряна культура профессиональной и критичной работы с методиками, с научными данными. И не только потеряна, но и не восстановлена. Думаю, что эта проблема корневая. Утерянную культуру восстанавливать практически нереально - только заново учиться

  • То, что делают россейские псих.факи и кого они готовят в области орг.психологии вызывает пэчаль. Средний уровень фантастически низок и не поднимается ни на йоту за последние годы. Психологи не в состоянии объяснить, что такое "качество психологического инструмента", не говоря уже про исследование этого качества.

  • Повальное и поголовное пиратство психологических методик создает антураж "легко доступной ерунды". Упражнений для АЦ понатырено раз в 1000 больше, чем куплено или произведено. Это можно достать в интернете, стрельнуть у коллег, да и вааще в чем проблема провести АЦ?

  • Слово "наука" в современном HR по-прежнему звучит очень некруто и непривлекательно. Хотя это нонсенс - все более или менее осмысленные модели в HR (и в оценке в частности) получены в результате серьезных научных исследований (правда, к сожалению, западных). Вроде положение стал спасать мощный тренд в сторону HR-аналитики и Big Data. По сути это ничем не отличается от научного подхода к информации, так что будем надеяться, что ребрендинг поможет

Не всё так плохо, конечно. Вот, например, российский стандарт АЦ вышел, там про валидность целая глава. Очень надеюсь, что она послужит мягким "волшебным пенделем" для оценочной тусовки, уверенной в своей непогрешимой точности.



UPD 1: забыл про наше выступление на последнем Международном конгрессе по методу ЦО, который проходил в Южной Африке. У нас очень даже интересное исследование получилось (ссылка). Между прочим первое российское выступление на ICACM в истории. Прошли blind review и строгий отбор. Так что 4 публикации ))

UPD 2: статья Светланы Симоненко (ни много ни мало) в
International Journal of Selection and Assessment в соавторстве с солидными людьми. Фокус на конструктную валидность.