test ppl

Про валидность ассессмент центров

.
Интересный парадокс - АЦ считается "самым-самым" типа точным методом оценки персонала (ну или одним из самых). А количество опубликованных работ по этой теме в России катастрофически мало. Когда мы готовили статью с нашими данными по теме, мне удалось обнаружить только два источника, где приведены конкретные цифры, а не общие рассуждения или копипаст старых западных исследований.


  1. С.К. Сергиенко (1999) получил удовлетворительные данные о прогностической валидности ЦО в рамках проекта TACIS. Анализировалась оценка стажеров принимающими их после отбора и обучения компаниями. Центр оценки правильно предсказывал успешность прохождения стажировки в 77.5% случаев (Сергиенко, 1999).

  2. В исследовании А.К. Ерофеева (2012) получен средний коэффициент корреляции 0.63 при р=0.01. Сравнивался Итоговый Оценочный Рейтинг, полученный в ходе ЦО, с усредненными оценками из интервью по компетенциям, которые проводили сотрудники службы персонала (Ерофеев, 2012). При этом оценки в интервью были получены приблизительно в то же время, что и оценки в ЦО.


И всё... Представляете? АЦ используется в России более 20 лет, куча народу этим занималось. У нас есть данные о том, что за последние 8 лет более половины из топ-150 российских компаний применяли АЦ (по-позже опубликую пруфф-линк). И при этом всего два исследования (наша статья - третья).

А к Вашему сведению - все серьезные исследования качества инструментов сейчас проводятся с помощью мета-анализов. Это когда в один большой котел кладут большой набор качественных исследований и определяют общий результат. В нашей ситуации об этом пока просто стыдно заикаться.

Интересно подумать, почему так... Видимо, это большая тема - сейчас накидаю только первые идеи.

  • Постановление ЦК ВКП(б) "О педологических извращениях в системе Наркомпросов" (1936 г.) и вся последующая вакханалия повырезали серьезных исследователей и профессионалов из орг.психологии (тогда это называлось психотехникой). Была потеряна культура профессиональной и критичной работы с методиками, с научными данными. И не только потеряна, но и не восстановлена. Думаю, что эта проблема корневая. Утерянную культуру восстанавливать практически нереально - только заново учиться

  • То, что делают россейские псих.факи и кого они готовят в области орг.психологии вызывает пэчаль. Средний уровень фантастически низок и не поднимается ни на йоту за последние годы. Психологи не в состоянии объяснить, что такое "качество психологического инструмента", не говоря уже про исследование этого качества.

  • Повальное и поголовное пиратство психологических методик создает антураж "легко доступной ерунды". Упражнений для АЦ понатырено раз в 1000 больше, чем куплено или произведено. Это можно достать в интернете, стрельнуть у коллег, да и вааще в чем проблема провести АЦ?

  • Слово "наука" в современном HR по-прежнему звучит очень некруто и непривлекательно. Хотя это нонсенс - все более или менее осмысленные модели в HR (и в оценке в частности) получены в результате серьезных научных исследований (правда, к сожалению, западных). Вроде положение стал спасать мощный тренд в сторону HR-аналитики и Big Data. По сути это ничем не отличается от научного подхода к информации, так что будем надеяться, что ребрендинг поможет

Не всё так плохо, конечно. Вот, например, российский стандарт АЦ вышел, там про валидность целая глава. Очень надеюсь, что она послужит мягким "волшебным пенделем" для оценочной тусовки, уверенной в своей непогрешимой точности.



UPD 1: забыл про наше выступление на последнем Международном конгрессе по методу ЦО, который проходил в Южной Африке. У нас очень даже интересное исследование получилось (ссылка). Между прочим первое российское выступление на ICACM в истории. Прошли blind review и строгий отбор. Так что 4 публикации ))
Женя, как вариант:
1. пипл хавает АЦ без вопросов насчет валидности => зачем утруждать себя каким-то сбором данных и проверкой валидности.
2. одно дело данные собрать, а другое - провести качественный анализ. С последним у психологов явно проблемы: "ну, хуманитарии ж мы..."

насчет ребрендинга ты абсолютно прав
+1 про пипл хавает. Но это следствие!!! Вопрос-то в том, почему он хавает? Почему качество некоторых продуктов и услуг находится в постоянном фокусе внимания людей (врачи, тур.услуги, даже тренинги), а про другие - полный игнор? Нет даже желания разбираться в том, что такое "качество" услуги под названием "оценка персонала".

Единственный критерий, который встречается более или менее часто - участникам понравилось (короче, круто потусили на оценке, всё ништяк)

Edited at 2013-10-07 09:58 am (UTC)
Еще несколько идей по поводу причин нелюбви к теме:
1) Эпистимическая самоуверенность оценщиков = экспертов. Термин подцепил у Талеба в "Черном лебеде", очень мне он нравится в этом контексте. Причем эта самоуверенность постоянно положительно подкрепляется в ходе сведения (когда эксперты согласованно приходят к общему мнению и убеждают друг друга в правоте). И самое главное в ходе обратной связи, когда участнику профессионально "продается" выставленная оценка, и он подтверждает сделанный вывод (напишу про это отдельный пост)

2) (от Шмелева) "люди у нас думают. что в ассессменте компетенции выявляются НАПРЯМУЮ, а раз так, зачем еще нужна какая-то проверка валидности". Аргумент в том, что даже в АЦ компетенции в смысле поведение измеряется опосредованно. В том смысле, что участник знает, что за ним наблюдают, и действует не так как "в реале"
Я думаю, вопрос еще в том, что наш бизнес закрыт для предоставления данных, по крайней мере мы испытываем с этим определенные сложности при проведении хотя бы камерных исследований. (Ю.Полетаева)
Юля, полностью согласен. Так и есть. Только это опять же следствие ИМХО. Почему они системно закрыты??? Понятно, что у некоторых есть причины быть закрытыми. Но не у ВСЕХ же.

Фокус в том, что даже позыва никакого нет. Провели оценку, фидбэк и отчеты всем понравились, ну и слава Богу.

Чем больше думаю про это, тем больше пиняю на культуру. Нет культуры потребления определенного вида услуг. Гостиницы потреблять умеем, рестораны тоже, врачей - плохо, но тоже умеем потреблять. А оценку нет. Тотальная безвкусица.

Всё время напрашивается метафора из музыки. Под видом оперного певца нам можно впарить и Пласидо Доминго, и Влада Сташевского. И в целом всё ок, нравится. Оба ведь поют. И даже в ноты попадают
Хороший пример. Знание классической музыки, понимание ее основ и умение различать симфонию до Бетховена и после Бетховена - это продвинутый уровень пользования культурой, это не плюс/минус одна сигма. Если на уровне стандартов - знание нотной грамоты не является обязательным, то человек имеет право ее не знать, но может этого хотеть, формировать хотение сложно :)
Интересная у тебя граница для сигмы, подумаю об этом...

Вот-вот - беда, как мне кажется, в том, что критическая масса профессионалов в оценке не знакома с нотами (хотя может даже и неплохо поёт сама). Поэтому исполнение "с душой" вполне сойдет за проф.вокал.
"То, что делают россейские псих.факи "
Здравствуйте,по рекомендации заглянула к Вам. Уровень беседы не моей компетенции, однако, можно пару реплик не совсем по теме, но по ходу мысли на "накиданные идеи"? Как даме, разрешите?

Наши преподаватели в ВУЗах,собственно, делают много замечательного! Как выпускница П.Е. Рыженкова (НГУ,1995г) могу сказать, что образование было достаточным для дальнейшего развития и углубления в интересующие направления.
...
все остальное от возможностей личности и целеустремленности. (в общем, от лукавого)

Возможно проблема в другом, учебные планы важно пересмотреть и подкорректировать для умения специалистом анализировать результаты и данные:
математический анализ углублять до уровня или выше как у социологов, маркетологов;
английский на уровне специальности - для понимания специалистом тенденций современных.


Спасибо, за возможность присутствия на беседе.
С уважением, Наталья С.,
Re: "То, что делают россейские псих.факи "
Наталья, спасибо, что заглянули. Целеустремленность - вещь наиважнейшая, что тут скажешь. Люди без образования из глухой деревни иногда лучше понимают в предмете, чем иной ученый. Роль личности бесспорна.

Но. Она явно преувеличена, нам мой взгляд. Так как в общем и целом "от осинки не родятся апельсинки". Роль среды и роль случайности крайне значимы. К сожалению

Поэтому большинство (о котором собственно и речь) не имеют возможности и даже базового понимания, в какую сторону направить свои возможности личности и целеустремленность. Вот и получается, что популярная 20 лет технология имеет единичные случаи научного подтверждения. Так как большинству это:
а) это не нужно;
б) непонятно (даже если бы эти подтверждения были, толмачей для растолковывания один на миллион)

Программы надо безусловно менять. Это даже не вопрос. С Вашими пунктами программы полностью согласен (хотя в ряде псих.фактов с математикой в целом неплохо). Про английский я бы усилил - публикация ключевых научных исследований студентов на английском.

Но лично я мало понимаю, как можно "сверху" влиять на эти вещи. Поэтому слово "нужно" звучит очень теоретически. Я верю в силу действий "снизу". Пишу блог, участвую в разработке отраслевых стандартов и т.п. Надеюсь, что это будет способствовать накоплению критической массы знания, которая изменит ситуацию.