Category: общество

my photo

Оценка коррупционных рисков у сотрудников: всё сложно

Нет более жаренной темы в оценке, чем выявлениие неблагонадежных кандидатов. Надо всем. Очень хорошо понятно, почему надо всем. Особенно когда речь идет про финансы, закупки и т.п.



Парадокс ситуации заключается в том, что "хотелка" эта правильная, но на самом деле не очень )) Давайте расскажу о возможных вариантах и потом поясню, почему я всё же склоняюсь к тому, что это плохая история.

Итак, какие есть варианты? Базово я их вижу четыре:

  1. Опросник благонадежности (integrity test)

  2. Полиграф (он же детектор лжи)

  3. Провокаторы («мистери шопинг»))

  4. Имплицитные тесты

(сразу оговорюсь, что обсуждаю лишь те подходы, которые худо-бедно не спорят с ГК и УК РФ; поэтому терморектальный криптоанализ в обзор не попал, хотя является, по всей видимости, наиболее эффективным инструментом ))


Про опросники благонадежности
Это наиболее дешевый способ захода "на снаряд". Также он наименее "больный" для участников оценки. Спрашивают тебя вопросы типа

(c) Лаборатория "Гуманитарные технологии"

На основании набора таких косвенных вопросов делается такой же косвенный вывод о том, что у человека есть определенные "риски" в смысле благонадежности. Идея в целом неглупая и не лишена определенного смысла, хотя на первый взгляд выглядит несерьезно. Сочетание таких личностных характеристик как склонность нарушать правила, ориентация на личную выгоду и т.п. действительно могут быть рискованными. На российском рынке есть довольно много легальных инструментов этого типа (например, Midot, ТСУ, Deep и др.).

Однако все инструменты подобного класса (по-английски – это integrity test) крайне неоднозначны. Ведь в них заложена гипотеза о личностной предрасположенности к воровству. И еще делается допущение, что реальные воры нас не раскусят, когда мы их будем тестировать. Оба предположения далеко не бесспорные, особенно в нашей российской реальности. Очевидно, что

  1. Люди могут воровать в силу социальных обстоятельств, а не личностных предпочтений. Этого опросник не ловит;

  2. Реально ворующие люди крайне осторожны и осмотрительны, и «раскусить» их таким лобовым способом совсем непросто.

Знаете, есть такая классическая теория обнаружения сигналов? Нам важно понять границу, когда  еще шум, а когда уже сигнал. Ну так вот, integrity тесты ведут себя примерно вот так:


На этой картинке N - это noize (шум, в данном случае это честные люди), а SN - это signal (сигнал, а для нас - это взяточники и коррупционеры). Ну так вот с помощью опросников крайне трудно отличить сигнал (SN) от шума (N). Слишком много из тех, кого мы отметим потенциальными "ворами" окажутся честными (ложная тревога). И наоборот – среди "безрисковых" с точки зрения опросника кандидатов может оказаться вполне приличное количество реальных уголовников (пропуск).

Очевидно, что в столь чувствительной теме не надо полагаться на столь нечувствительные методы. Моя базовая рекомендация – не использовать подобные инструменты. Даже для сужения круга потенциально рисковых сотрудников. Потребность понятна, но легкого решения тут быть не может, если объективно посмотреть на вещи. Наличие этих инструментов на рынке лишь отражает сверх-активный спрос на них, но ничего не говорит об их реальной пользе.
Полиграф
Отцы давно придумали полиграф, и в принципе он неплох. Тут мы человека предупреждаем об оценке, он идет на это добровольно и сознательно. С качеством оценки всё более или менее ОК, особенно если полиграфолог умеет грамотно "капать на мозг". Насколько я понимаю, метод достаточно популярный как в частных организациях, так и в гос.органах (см. например, презентацию Василия Фивейского из МГУУ на конференции журнала Штат или статью 2005 г. про полиграфы в Евросети). Рискну предположить, что он единственный реально работающий в этой сфере инструмент на текущий момент. К сожалению.



Почему "к сожалению"? Потому что тут в наиболее явном виде присутствует презумпция виновности. Вся процедура сподвигает человека дергаться за своё прошлое, искать в нём "черные пятна", даже если сходу они не вспоминаются. Процедура выглядит как "экзекуция" и во-многом является таковой для участников - статично сидеть и под запись отвечать на провокационные вопросы по три раза подряд объективно тяжело. Итог - довольно своеобразный посыл от работодателя к сотрудникам на тему доверия и сотрудничества, который плоховато монтируется с современными HR-трендами (но не отменяет необходимость контроля фин.потоков).

Про полиграф есть интересное наблюдение, которое немного приоткрывает суть этой процедуры. Я не знаю ни одной (!) известной на рынке оценочной компании, которая одновременно с классическими инструментами (типа тестов, 360, интервью и ассессмент-центров) использовала бы детектор лжи. Ни одной! Классические оценщики любят подозревать и разглядывать в людях хорошее, а тут всё строго наоборот. Получается такая обособленная и малопрозрачная полянка, на которой живут либо бывшие/нынешние сотрудники силовых структур (т.к. это прямо по их специальности), либо (реже) университеты (им это интересно в том числе из научных соображений, поэтому типа карма не портится).

Если вернутся к метафоре «теории обнаружения сигналов», такие методы ведут себя намного более  адекватно:





Провокаторы ("мистери шопинг")
Не знаю, как назвать этот вариант нормально. Наиболее прямым и агрессивным способом диагностики благонадежности является грамотно организованный «мистери шопинг» (если говорить менее модными словами - это провокаторы). Мысль банальная, но это правда. Суть - запускаются подставные люди в закупочные процедуры, для них пишутся скрипты поведения и собираем информацию. Плюс этого отвратительного с точки зрения этики подхода состоит в том, что тут во всяком случае можно принимать понятные управленческие решения по результатам. И валидность результатов трудно подвергнуть сомнению - "ложная тревога" вряд ли возможна (хотя "пропуск" вероятен).


Минусы на поверхности - этика (делаем оценку, не предупреждая), юриспруденция (не юрист, но очевидно, что с законом тут есть проблемы), имидж (попахиваеть "кровавой гэбнёй" в её самых классических проявлениях). Вывод - это имеет смысл, но ТОЛЬКО в руках людей из органов внутренних дел и при наличии серьезных юридических аргументов "за" подобную деятельность. HRам этим заниматься странно и опасно.

Имплицитные ассоциативные тесты (IAT)
Тема эта перспективная, но только в теории.

В чем суть - вас заставляют решать задачки про одно, а в действительности измеряют другое. Чаще всего даются задачки на скорость. А замеряют что-нибудь скрытое ("имплицитное") - например, употребление допинга, расистские взгляды, риски коррупции...

Стандартный вариант теста: вас просят быстро классифицировать определенные объекты (людей разной расы, значимые и незначимые слова про коррупцию и т.п.). Классифицировать - значит относить к категориям (хорошо/плохо, тепло/холодно, радость/горе...). И просят делать это максимально быстро. На вид получается несложный тест на внимательность и интеллект.

Фокус методики в том, что в ней делается несколько проходов. И чем дальше, тем больше вас путают: категории меняют местами ("хорошо" было справа, стало слева), их добавляют сразу несколько и тоже меняют местами. И вся соль в разнице времени реакции. На значимые стимулы люди реагируют дольше - они дольше классифицируют объекты, которые важны для них.

В чем плюсы метода - он устойчив к соц.желательным ответам, с ним сложно бороться, даже если хочется. И он достаточно точен - можно контролировать ложные тревоги. НО

Проблемы с ним две:
1) Диапазон применения довольно узкий. Это про всякие установки, убеждения и проч.

2) Его супер-сложно разработать. Нужны годы выверенных исследований, чтобы доказать связь между скоростью реакции на какие-то картинки/слова и реальными злоупотреблениями/предрассудками. Поэтому исследовательских тестов куча, а реальных практических инструментов - мизер.
В РФ мне известны штучные кейсы по теме. Наиболее нашумевшая попытка - тест для школьников про наркотики (ОТУ: Наркотик - Яньшин и Ко). Самая ранняя из мне известных - тест Шмелева и Эйдмана, который так и остался исследовательской методикой. Недавно была неплохая попытка Павла Дегтярева зайти на тему рабочей мотивации (тут), но работа осталась на этапе научных исследований.

Кажется, я видел когда-то ребят, которые с помощью моргающих экранов и странных картинок пытаются измерять риски коррупции, но я бы 300 раз подумал, прежде чем пользоваться.


Короткая презентация об этом типе инструментов:


Видос по теме - смотреть с 8:20 (есть конкретные пример, хотя очень попсовый). Разбор методики с 11:59.



Итого
Как и было сказано в начале статьи, хотелка понятная, но плохая. Ибо с методической точки зрения крайне скользкая.

  • Интегрити опросники выглядят беззубо и не очень честно

  • Имплицитные тесты крайне тяжелы в разработке и пока практически отсутствуют в поле практического применения.

  • Плиграф и провокации крайне небесспорны и с точки зрения этики, и с точки зрения законодательства. Нужно очень ясно представлять пользу, прежде чем такое применять -  это залезание на территорию УК РФ и в бессметрные души, которые не любят вторжений. Единственное, что их оправдывает - низкий риск обвинения честных сотрудников в нечистоплотности (самый отвратительный результат оценки, который только можно представить).


В связи с этим я бы рекомендовал не ходить в эту тему без крайней нужды. И заняться лучше профилактикой коррупции. А если зуд невыносимый - использовать инструменты типа полиграфа. Сам не рад такой рекомендации, но иное просто не выдерживает критики.


P.S. Читатели блога в FB спрашивают про применение ассессмент-центра для подобных целей. Моя позиция - твёрдое "нет". Установки измерять в поведенческих инструментах неайс. Если же речь идет о профессионально проведенном интервью, особенно по методам щита и меча, то я в это верю, но это граничит с допросом и находится вне поля оценки персонала ИМХО.
my photo

Экспертная оценка в MMA (смешанных единоборствах)

Американские MMA - одно из самых прогрессивных и бурно растущих движений в современном спорте. Сейчас они демонстрируют очень интересный пример попытки навести порядок с экспертной оценкой. Статья лежит тут (англ.) http://www.foxsports.com/ufc/story/ufc-new-jersey-experiments-with-revolutionary-new-mma-judging-system-102615?cmpid=tsmtw:fscom:ufconfox

В мире единоборств тема судейства крайне болезненная. Думаю, что намного хуже, чем в ассессмент-центре, так как каждый раз оценка является публичной (все видели бой и все видят итоговую оценку). И эта оценка часто бывает крайне неожиданной и спорной.

Donald Miralle/Zuffa LLC

Суть "инновационных нововведений" американцев сводится к следующим простым пунктам:

  1. Посадить судей в звуконепроницаемые кабины. Зачем? Чтобы крики публики не влияли на решения - ведь всегда есть свои фавориты и нелюбимчики, есть земляки и национал-предатели. И реакция публики на их действия может быть никак не связана с тем, что они делают в ходе боя.

  2. Оценку делать только по видео-протоколу. Зачем? Чтобы обзорность у судей всегда была наилучшая и, что самое главное, одинаковая. Сейчас они сидят в разных местах рядом с рингом и часто могут быть на противоположной стороне от событий.

  3. (в неявном виде присутствует) Посмотреть на согласованность экспертных оценок при наличии одинаковых условий по обзорности. Назначение этого пункта скорее исследовательское. Но это, безусловно, самое главное. Пока три судьи не будут выдавать плюс-минус одинаковый скоринг, вся эта лавочка выглядит крайне несерьезно.

Думаю, что специалистам по оценке стоит всерьез интересоваться подходам к судейству спорта. Ведь это тоже по сути своей оценка персонала - просто спортивного. И у них с темой справедливости всё намного жестче и конкретнее. (Пойди выведи вас на чистую воду, если вы неправильно оценили менеджера... Правда уверен, что и такие времена не за горами).

Понимаю, что все эти истории существенно увеличивают стоимость работ. Но в тех сферах, где люди серьезно относятся к результатам оценки экспертов, явно прослеживается тренд в сторону усложнения работы ради повышения качества. Иначе миллионы зрителей в конце могут увидеть вот такую картинку...
Взято из http://bryceedminister.blogspot.ru/

Публичность и открытость - лучшее лекарство от ловкачей-экспертов с метким глазом (писал об этом еще тут http://assessment-ctr.livejournal.com/8645.html)
my photo

Неосознанная недокомпетентность

Главное ограничение развития оценки персонала на нынешнем этапе - неосознанная неДОкомпетентность значительного количества ярких и влиятельных профессионалов в HR сфере. Как в том известном квадрате, только с приставкой "до".

Уже тренинги по оценке проходили, с провайдерами десятки раз работали, сами провайдерами поработали, но чего-то главного так и не поняли. Несколько простых следствий (их, вероятно, много):

  1. Вникать в инструментарий не нужно - чё там нового? Всё уже давно известно. Ассессмент центр - это ассессмент центр, 360 - тоже ясно, тесты - тут все вообще прозрачно. Купи нормальный бренд (провайдера / тест) и не парься о ерунде. Думай о пользе для бизнеса / о HR партнерстве / больших данных / о коммуникации результатов.

  2. (снова здорова) "У вас оценка потенциала плохо бьется с текущей результативностью. Нет, понятно, что не должна биться, но как-то нехорошо это. Бизнес не поймет. Команда показывает хорошие результаты, а средние значения ниже остальных - как так?"

  3. Основы статистики - зачем, когда тут данные элементарные? Вод биг дата - это да. (при этом рассчитано среднее по нескольким группам, в каждой из которых выборка не превышает 10 человек; и на основании этого делаются выводы о межгрупповых различиях)


Короче, опасно это очень. Ибо:

  1. В оценке персонала еще не изобрели ни одного точного душемера - весь инструментарий пока слабенький. И ограничений у него больше, чем назначений. Чтобы правильно спроектировать процедуру и ожидать адекватных результатов, нужно залезать в самое нутро каждого из инструментов и делать серьезную ревизию, прежде чем клепать выводы. Нужно знать и уметь применять стандарты (см. 1 и 2). Не хотите это делать сами - нанимайте в команду людей, которые будут разбираться и делать это прилежно.

  2. Да не должен потенциал коррелировать с текущей результативностью. Может, но не должен. Конкурентный и прогностический дизайн исследования - это разные вещи. Если вы используете тесты способностей, а потом бизнес начинает на вас наскакивать про то, что люди на самом деле умные, то умейте держать удар. Не про ум речь, а про РИСКИ при дальнейшем продвижении человека.

  3. Основы статистики придется учить. Бог с ним, с факторным анализом и IRT, но basic statistics нужно понимать и уметь правильно применять. Это базовое "гигиеническое" требование. Как мытье рук перед едой - не обсуждается. Иначе вы из окружающих делаете лохов (или ловкие окружающие из вас) .


Даешь осознанную некомпетентность в массы!
my photo

О моде на копание в компетенциях

Еще лет 7 назад разработка модели компетенций была супер-серьезной историей. Модным было затевать большие проекты с помпой и вовлечением всего персонала сверху донизу. Тогда же шли страшные бурления на тему того, что же есть такое "компетенция".

Cамый мощный исторический документ на тему - это материалы МГУшного круглого стола, который собрал очень репрезентативную тусовку, и результат которого стремился к нулю (исключение - занятная статья-рефлексия, вышедшая в 2014 г.). Обязательно почитайте дискуссию при случае - полифония впечатляет.


(с) ShutterStock

Сейчас маятник качнулся в другую сторону. Мне так кажется. В массе своей и HRы, и вендоры, и даже ученые расслабились и перестали искать точное определение. Каждый стал использовать то, которое больше нравится. Получилось ровно как советовали неглупые голландцы в статье "Что есть компетенция? Конструктивистский подход как выход из замешательства". А именно - забить и использовать то определение, которое подходит к вашему контексту и ситуации.

Правда на этом смелом и безоглядном пути мы слегка переборщили. Что я имею в виду? А то, что модели компетенций стали настолько будничным расхожим предметом, что не только к определению понятия, но и к разработке моделей перестали подходить всерьез. У каждого HR-а на флешке имеется этих моделей в количестве >10 штук. Интернет битком. Есть исключения в крупных компаниях, их немало, но практики в массе своей на эту тему не напрягаются. Зачем делать, если получится на 80-90% то же самое, что у меня уже есть на флешке? Да и вообще всё всем давно известно про эти компетенции.

Что меня тут тревожит? То, что специалисты до сих пор не научились различать две базовые ситуации проектирования компетенций:

  1. Нужна "большая корпоративная история" - от ценностей компании к поведению сотрудников, с вовлечением топов и красивыми коммуникационными плакатами, с массовыми оценочными проектами ради кадрового резерва и параллельного промоушена модели.

  2. Нужно решить конкретную оценочную задачу - отобрать кандидата на должность технического директора завода. Тут "большая история" не требуется, а нужны понятные критерии оценки, которые отличат лучших в конкретной ситуации.

Ну так вот - копипаст в первой ситуации теоретически возможен. Это плохо, но не катастрофа. Ведь тут главное - это вовлечение и идеология, а не кастомизация. Когда у тебя большой масштаб, коммуникация имеет бОльшее значение, чем точность оценки. Звучит как крамола, но это близко к правде. Главное, чтобы большинство поняло и начало работать с компетенциями.



Во второй ситуации копипаст СТРОГО ЗАПРЕЩЕН. Нужно вникать в конкретную ситуацию, подбирать очень точные формулировки, которые отвечают запросу. Брать их нужно из полноценного анализа проф.деятельности - всё как по стандарту центра оценки (см. главу 3.1.2). Коммуникации тут стоят на десятом месте, главное - разобраться в требованиях к конкретной профессии.
______________

Какие следствия имеем из нынешней антимоды на определения компетенций и на их разработку по классике (behavioral event interview, МакКлелланд, все дела)? С одной стороны, быстрота реакции HR на запрос бизнеса. Это ок. Но с другой стороны, полная неготовность разбираться в особенностях ситуации и в конкретной профессии. В итоге, для второй ситуации (оценка на конкретную позицию) часто используются чужие непродуманные модели, в которых нет ни кусочка из сравнения лучших со средними... И модели вполне могут не работать.

Другая не менее тревожная тенденция - деградация полноценного анализа проф.деятельности. Вещь это непростая и нудная: анализ требует и навыков,
и ресурсов, и Культуры работы. На заре развития темы все с остервенением читали Спенсера и Спенсер - там всё по-взрослому написано, и призыв авторов к порядку вполне работал.



Кажется, что нынешний спад интереса к уникальности темы сильно пригасил и желание читать книжки. Мы очутитлись на каком-то промежуточном этапе - массовость есть, а нормальные стандарты качества работы еще до людей не дошли. Проф.сообщество у нас в целом не слишком образованное и любые упрощения воспринимает "на ура". В итоге, массовый специалист по оценке и HR довольствуются малым: спросили у бизнес-заказчика, что ему надо, согласовали драфт откуда-то взятой модели и пошли оценивать. И желание, и навыки правильного проектирования порастеряли.

Очень может быть, что это моё личное ощущение. Ведь, например, аналитический отчет "Центр оценки: современная практика применения в России" показывает вполне утешительные цифры: анализ профессиональной деятельности в том или ином виде проводится в 77,9% случаев (стр. 22). Но я подозреваю, что тут соц.желательность победила правду - трудно публично признаться, что ты не делаешь очевидно необходимого. Или за анализ люди принимают согласование модели с бизнесом в ходе "интервью" - его проводят 88,3% делающих анализ проф.деятельности.

Интересно обменяться мнениями - может это у меня какие-то старперские загоны начались де раньше трава была зеленее? Как обстоят в вашей организации дела с проведением полноценного job analysis для оценки кандидатов на конкретные целевые позиции?
my photo

Time horizon: перспективный конструкт в оценке персонала

В оценке самое интересное - это "ЧТО" оценивать?
Последние полтора года в российских огородах стали пробиваться ростки концепции, которую в народе называют RO или Requisite organization​. Это серьезная теория из области менеджмента, автор Eliott Jaques (Эллиот Жак). То, что тема крутая, можно понять, например, по небольшой заметке в The Economist.


(с) requisite.org

В концепции среди прочего содержится заявка на новый конструкт, крайне важный для оценки и отбора людей. Это так называемый "time horizon" - способность удерживать в сознании определенную временную перспективу. По-другому - способность решать задачи определенной длительности.

Тема эта крайне интересная и перспективная. И при этом опасная. Почему?

Во-первых, она в отличие от многих психологизированных конструктов, абсолютно понятна "бизнес-заказчикам". Может человек решить задачу, которая решается за два года или нет? Всё просто и прозрачно.
Во-вторых, из этого следует, что у каждого "эксперта" найдется, что сказать по этому поводу. Вот, например, недавно вышла статья в "Ведомостях" - там это крайне неаккуратно и спутано написанно, не смотря на то, что Home Credit Bank очень серьезно и профессионально подошел к вопросу. Привожу тупую редакционную картинку, из которой очевидно, что художник вообще не разобрался в вопросе (равно как и журналист с комментаторами):

(с) А. Таранов. Ведомости

Не про IQ речь, не про интеллект и общие способности! Это принципиально иной конструкт.

В-третьих, time horizon НАПРЯМУЮ бьется с задачами орг.проектирования. Time horizon сотрудника должен быть сопоставлен с time span позиции в организации (задачи какой длительности должны решаться в рамках этой должности). Никакие другие конструкты в орг.психологии таким свойством не обладают (ни компетенции, ни способности, ни вовлеченность). Это означает, что реально появляется возможность вести орг.проектирование вместе с отбором, создавать орг.структуры, в которых могут содержаться конкретные требования к людям.

В-четвертых, автор концепции утверждает, что time horizon не развивается усилиями T&D. C каким временным горизонтом стартовал лет в 20 - можешь уже заранее предсказать, до какого горизонта доберешся.


(с) Requisite Organization Institute

На картинке по оси Х отложен возраст человека, а по Y - временной горизонт. Если Вы в 20 лет стартуете, например, с 1 года, то к 70 годам можно дорасти до 10-летнего горизонта :) "А после из прораба до министра дорастешь", короче.

Это, конечно, крайне резкое утверждение, даже немного дискриминационное. С ним хочется поспорить и запросить доказательную базу. К слову, эта база имеется и довольно неплохая (начать можно с книги). Не могу сказать, что меня убедили, но обсуждать там есть чего.


В-пятых, видимая простота истории - только видимая. Так как и сама теория, и способ оценивания конструкта требуют серьезной проработки предмета. Очень серьезной. Для оценки time horizon требуется умение различать разные способы мышления: декларативный, кумулятивный, последовательный, параллельный. Это основополагающая конструкция в модели RO. Давайте разберем их внимательнее:

  1. Декларативный, дискретный (declarative) способ мышления - человек видит набор проблем или приводит набор аргументов, не связанных между собой.

  2. Кумулятивный (cumulative) - человек формирует вывод на основе анализа  и синтеза внешне разрозненных фактов и симптомов. Предлагает логичный вывод, объясняющий происходящее.

  3. Последовательный (serial) - человек создает сложную цепочку рассуждений, где каждый последующий тезис вытекает из предыдущего. Цепочка глубже простого линейного вывода.

  4. Параллельный (parallel) - сценарное моделирование. Человек одновременно (близко по времени) осмысливает разные альтернативные сценарии / цепочки рассуждений.

Эти способы мышления соотносятся с временными горизонтами. Смотрим табличку ниже:




Получается, что уровень должности задается в конечном итоге через "Complexity of information processing". А time horizon (временной горизонт) является его "операционализацией" (одним из внешних проявлений).

Теперь главный вопрос - как это измерять? Ответ - с помощью специально спроектированных интервью, а также опроса непосредственных руководителей кандидатов. Во всяком случае, так рекомендуют делать их гайдлайны. Есть еще идея зайти на тему со стороны психометрики. Мы в процессе разработки пилотного инструмента - уже сейчас очевидно, что дело это крайне непростое.


Завершить тексто хочется оворками и небольшой критикой.

  1. Надеюсь, после прочтения поста стало понянтно, почему модель еще не очень раскрученная. Причина проста - это целостная система, в которой каждое употребляемое слово - это понятние. Причем встроенное в сложные взаимосвязи с другими понятиями. Если хотеть этим пользоваться, нужно грохнуть много месяцев на детальный штудирунг крайне непростых текстов.

  2. По этой причине сама модель не прошла масштабной верификации силами независимых исследователей и консультантов. Многое нужно перепроверять - слишком уж жестко и догматично там многое сформулировано. Фальсификация гипотез - наше всё :)

  3. Вопрос о природе самого конструкта time horizon и способе его измерения также требует серьезной научной работы. Современные когнитивные психологи найдутся, что сказать по поводу 4-х способов мышления. Что не отменяет возможности начинать его использовать в практике и внимательно смотреть за результатами (в России я слышал как минимум о трех компаниях, которые внедряют RO у себя - Home Credit Bank, Северсталь, Свеза).



Где почитать подробнее? На русском серьезных источников крайне мало.

  1. Достаточно подробная статья о Жаке и RO на сайте HRM.ru

  2. Заметка в журнале Esquire - коротко и содержательно

  3. Кусочек есть в статье П. Безручко "Ключевая формула" (к выходу готовится вторая часть статьи, где будет подробнее про оценку)


На английском, конечно, нужно читать базовую книгу Эллиота Жака "Requisite Organization: A Total System for Effective Managerial Organization and Managerial Leadership for the 21st Century". Книга - крепкий орешек, но кто осилит, тот будет молодец.




P.S. Кстати Эллиота Жака называют автором термина "кризис среднего возраста". Умел же человек уверенно распространять свои идеи на все возможные сферы жизни... :)
my photo

Игры в оценке персонала

HR сообществу всё больше нравится идея использовать игры для оценки. Компьютерные, настольные, серьезные и несерьезные. Хочу авторитетно заявить - это делать можно, но это очень опасная штука. ОЧЕНЬ!



Опасна она по двум причинам:
1) Люди, не разбирающиеся в оценке, могут легко заходить на эту территорию и пудрить людям мозг (таковыми часто являются разработчики игр, айтишники, бизнес-тренеры). Уверенность рассказа об игре и её чудо-возможностях незаметно становится компетентностью в оценке. Чаще это не так.
Мой опыт общения с подобными разработчиками говорит, что они не в курсе про основы основ типа надежности-согласованности, стандартизации и нормирования. И не только не в курсе, но и не считают нужным быть в курсе.


2) Возможность наблюдать яркие проявления людей в ходе какой-угодно деятельности еще не означает, что деятельность эта пригодна для ПРОФЕССИОНАЛЬНОЙ оценки.
Ключевая проблема всех игр (с точки зрения оценки) - высокая вариативность действий пользователей (а следовательно - низкий уровень стандартизации процедуры оценки). Каждый участник ходит по своей "дорожке", и каждую дорожку очень трудно объективно сравнить с соседней. Получается игра в неравных условиях.
А чтобы она была равной, нам нужно иметь гигантские выборки и целую лабораторию аналитиков, которые это будут обрабатывать.



Просто задумайтесь на секунду, почему такой монстр оценочной индустрии как SHL только сейчас начал продавать Serious Games как сервис? А у них на R&D отпущены гигантские ресурсы. Причина проста - это очень дорогая и неоднозначная штука. Надежность у таких инструментов чаще всего ниже плинтуса. А чтобы её поднять, нужно полностью убить веселый gameplay, придуманный сценаристами и игровиками.

Даже у простейшего варианта симуляций - кейс-тестов (SJT) надежность редко поднимается выше 0,6 (по стандарту должно быть хотя бы 0,7).


ВЫВОДЫ:

  1. Если вы не хотите бодать лбом стену, лучше не используйте игры для оценки, особенно для отбора, особенно компьютерные симуляции.

  2. Если всё же невтерпеж, то обязательно привлекайте к выбору и апробации профессиональных оценщиков, не ведущихся на фантик, а умеющих разобраться в начинке.



my photo

Тестовые помойки - ДЕШЕВО И СЕРДИТО

Вы знаете про "тестовые помойки"? Есть такое замечательное явление времени в РФ. Живет себе и здравствует в HR практике, много не зарабатывает, но сильно пахнет ))

Тестовыми помойками в народе зовутся ИТ оболочки с коллекцией тестов и опросников внутри. Авторы этих творений часто называют их "программными комплексами". Видите такое слово, сразу ставьте заметку на полях.

Суть сервиса - тестирование персонала. По факту это специальные программы, куда айтишники в сотрудничестве с психологами сложили все тесты и опросники, которые попались под руку или которые они очень любят.

scrap-heap

Примеры таких помоек:
Есть и другие, конечно. Это то, что на поверхности.

Корнями все эти помойки уходят в начало 90-х годов, когда психологам и айтишникам хотелось кушать (как и всей стране, впрочем). И бизнес-идея оказалась довольно простой - айтизировать вузовские методички, в которых советские психологи печатали переводы популярных западных методик. Переводы,конечно, были нелегальными, просто авторское право на всё западное работало в то время по принципу "всё вокруг колхозное, всё вокруг моё".

Перенос тестов в ИТ оболочки легальности не добавил, но создал иллюзию. Типа покупаешь легальную программу, а контент не столь критичен. Контента много, он бросовый и общедоступный (якобы).

Давайте разберемся в верных признаках этих помоек:

  1. Во главу угла ставится ИТ оболочка ("программный комплекс"), а не тесты

  2. Модель продажи - установка на сервер. Оплата за 1 тестирование не взимается. Стоимость - недорого.

  3. Набор тестов огромен

  4. Большая часть тестов имеет звучные имена типа тест Томаса или Кеттелла (тест Томаса - самый частый и верный признак помойки)

Итак, по порядку. Если во главе угла стоит ИТ, значит тестам как таковым не уделяется внимания (или уделяется, но мало). А ведь именно в тестах вся соль и есть. ИТ должно ПОМОГАТЬ проводить хорошие тесты, а не являться центром сервиса.

Установка на сервер и отсутствие платы за каждое тестирование - крайне опасная стратегия с т.з. качества оценки. Ведь получается, что и через 20 лет после покупки производитель должен как-то поддерживать качество контента. А как это делать, если ты продал "программый комплекс" за 30-50 т.р. Что еще более важно - непонятно, как на такие деньги прокормить кого-то, кроме ГД и службы поддежки в одном лице.

Размер списка тестов сразу должен насторожить. Откуда добро? Да еще за такие деньги. На что они кушают, если занимаются разработкой тестов? Возьмите крупнейшего российского производителя тестов - Гуманитарные Технологии. За более чем 20-летнюю историю они пока таким перечнем не разжились.

Ну и главное, пожалуй. Все или большая часть из этих тестов - самый настоящий контрафакт. Поехали по списку:

  • "Тест Томаса" (про конфликты) - это TKI (принадлежит CPP, США)

  • "Тест Кеттелла" или 16pf - это методика также принадлежит CPP (в Европе их представляют OPP)

  • MMPI - это клиническая методика, не пригодная для здоровых людей. Принадлежит Pearson

  • Матрицы Равена также принадлежат американской Pearson

  • Многострадальный цветовой тест Люшера принадлежит Максу Люшеру (!)

  • Опросник Белбина про роли в команде принадлежит Белбину

  • "Тест Амтхауера" принадлежит немецкой Hogrefe

  • ну и т.д.



Самое удивительное в этих помойках, что от них плохо и правообладателям, и пользователям. С одной стороны, это чистой воды пиратство, наносящее прямой вред правообладателям. С другой стороны, большая часть их контента - тесты и опросники забытых годов с непроверенными, часто кривыми ключами для обработки, вопросами, которые звучат неадекватно и нормами этих самых забытых годов. Пиратство в области аудио / видео хотя бы не наносит прямого вреда пользователям; здесь же настоящее вредительство.

Ну и вред для легального рынка также велик - многие HR-ы, особенно в небольших региональных компаниях вообще  не понимают, зачем платить за легальные тесты, если можно купить за копейки сразу всё и навсегда. И как раз то самое, чему учили на местном псих.факе с помощью книжки "100 лучших психологических тестов".

_______

Давайте взглянем на это сверху. 100% это  тупиковая ветвь эволюции. Рудимент, атавизм и все другие подобные слова... Эта ветка образовалась исключительно по причине того, что в 90-е было непонятно, какой правовой статус у тестов, переведенных советскими психологами. А кушать хотелось. Поэтому и появились эти книжки с тестами и такие вот тестовые ИТ помойки.

pc

У них есть всего один путь к реабилитации - полностью выкинуть нелегальный контент и стать обычным софтом для проведения тестирования (залил свой тест и тестируешь). Наличие даже одного нелегального теста полностью обесценивает весь продукт. Еще есть вариант - найти каких-то крупных держателей легального тестового контента и запартнериться (правда таковые мне неизвестны).


P.S. Напоследок еще раз повторю: видите слова "тест Томаса" и "программный комплекс" - уносите ноги ))
my face

А есть ли в РФ стандарты в области психологического тестирования?

Спрашивали - отвечаем. В РФ существуют стандарты в области психологического тестирования (психодиагностики). Разработаны на основе британских стандартов Psychological Testing Centre (BPS), которые относительно недавно стали общеевропейскими правилами EFPA. В прототипах также числятся стандарты американских AERA, APA и NCME, что безусловно делает им честь.

Стандарты существуют в трех видах:

  1. Стандарт для методик (тестов и опросников)

  2. Сертификация пользователей методик (аналог британского Level A и Level B)

  3. Сертификация услуг, точнее лиц, оказывающих услуги в области тестирования


Тексты очень достойные и разумные, имеются конкретные цифры и рекомендации, что и как делать/не делать. Большая уважуха А.Г. Шмелёву и Н.А. Батурину - двум фанатам и двигателям прогресса в стране! Ну и Дейву Бартраму, ведущему мировому психодиагностическому функционеру и хорошему ученому, который помог запустить процесс. Страна должна знать героев в лицо

Dave Bartram


Массу полезной доп.инфы по теме можно почерпнуть на специальной страничке Лаборатории "Гуманитарные Технологии" http://www.ht.ru/cms/sertif . Также на сайте EFPA имеется переведенный на русский документ о схеме рецензирования методик - очень рекомендую им пользоваться в дополнение к российским текстам (ссылка).
__________________________

А теперь вопрос: почему об этой истории никто не знает? Коллеги по рынку впервые стали задавать вопросы после того, как прочитали Российский стандарт центра оценки (там есть прямая ссылка на систему сертификации тестов).

Мне кажется, причина в том, что систему создали очень профессиональные люди, которые лишь отчасти пересекаются с большим психометрическим мейнстримом. Только профессор Шмелев участвует в большом пироге тестирования в бизнесе. Остальные из мне известных либо сильно внутри науки и образовательного процесса, либо практикуют в менее денежных и мощных направлениях (психодиагностика в клинике или образовании).

Тем не менее система не просто создана, но даже и запущена в работу. По данным Национального института сертификации практических психологов (есть у нас и такой, в рамках этого института, собственно, эти стандарты и зарегистрированы) у нас всё неплохо:

  • Сертифицированы первые 4 психодиагностические методики;

  • Процедуру сертификации прошли 16 специалистов в области психодиагностики (выдано 11 сертификатов в области психодиагностики в сфере образования, 5 – в области клинической психологии, 9 – в области организационной психологии).


Как не устает повторять всё тот же Шмелёв, система "добровольная". Но я всячески призываю в ней начинать участвовать. Это единственный путь к цивилизованным отношениям в данной области.


P.S. Мне тоже вроде обещали сертификат в честь того, что прошел сертификационное обучение в Британии (типа принимают в зачет родственные системы обучения). Надо будет озадачиться при случае. Проверьте, может у Вас тоже на полке завалялся Level B эсэйчэловский - вполне может статься, что его и зачтут. Поддержите начинание!
my face

Валидность теста (или история о том, что нужно читать написанное мелким шрифтом)

У меня есть давний интерес к российскому рынку психодиагностики/психометрики. В свое время даже обзорную статью по сабжу подготовил, по-моему она до сих пор не потеряла актуальность.

Сегодня хочу поделиться одним интересным наблюдением, иллюстрирующим текущее состояние рынка. Сразу предупреждаю: (1) я буду ёрничать; (2) всё изложенное ниже моё ИМХО как частного лица, интересующегося темой.

Итак, в России продолжают появляться крупные и мелкие международные игроки. И это здорово! Некоторое время назад состоялось второе пришествие британского Saville Consulting, которого в России теперь представляет Formatta. И производитель, и дистрибьютор очень искусно ведут бизнес, в том числе нажимая на самую больную точку всех оценочных технологий - на валидность. Настал наконец-то такой момент, когда вокруг этого можно попробовать выстроить пиар (и это тоже клёво!).

Питер Сэвилл умеет делать качественный продукт,тут ничего не скажешь. В анамнезе у него вся продуктовая линейка SHL (версии до 2000 года). И с маркетингом у него тоже всегда было ОК. Тот же SHL, будучи публичной компанией, кормит акционеров бутербродами с икрой, давно и стабильно.



Теперь собственно к сабжу - к их продукту Wave и его фантастической валидности 0,57, которую обещает производитель (пруфф). Wave - это в сущности отличный апгрейд и аналог счловского OPQ. Есть своя универсальная модель компетенций, к этой модели компетенций привязан опросник. Сама модель и опросник во многом повторяют "Большую восьмерку" SHL.

Итак, валидность 0,57 - это очень круто. Особенно для опросника, где валидность выше 0,3 очень большая и необычная редкость. Это какбэ наводит на мысль почитать про тему подробнее.

На сайте российского дистрибьютора инфы нет, поэтому идем к Сэвиллу и ищем тех.отчеты по Wave (они обязательно должны быть, это общеевропейский стандарт EFPA). После возни с регистрацией находим нужный документ и читаем.
Мануал к тесту внушительный, несколько томов. Видно, что работало много людей и работали они долго. Данных набрали очень много, хотя количество не всегда переходит в качество. Не вдаваясь в подробности, опишу несколько ключевых выводов по прочтении:

  1. Технического мануала для русскоязычной версии нет (или он не доступен). Из этого можно сделать вывод, что адаптация российской версии пока в процессе (правда коммерческое использование тоже в процессе)

  2. Исследование валидности к опроснику имеется. То самое, в котором получилось 0,57. Но дальше следим за руками.

  3. Проводилось исследование с помощью британской версии опросника и на британской выборке (300 чел.)

  4. Делалось буквально следующее: взяли группу в 300 человек, дали им много опросников (Большую пятерку, Кетелла, OPQ, Wave и др.). Затем дали руководителям этих людей заполнить экспертный опросник, в котором надо было оценить людей по параметрам из модели Wave (!). Затем посчитали среднюю корреляцию между шкалами опросников и параметрами этого экспертного опросника. Для Wave она оказалась самой высокой. Это корреляция 0.57 - та самая цифра, которую они приводят как валидность.



Соответственно, к прочитанному возникает несколько комментариев:

  1. То, что это самая высокая корреляция, не очень удивительно, учитывая, что оценка руководителями проводилась по модели Wave и опросник построен по модели Wave, а другие опросники не построены по модели Wave )))

  2. Это корреляция, скорректированная на ненадежность. Есть такая сугубо статистическая процедура: смотрим, что будет с валидностью, если предположим, что надежность у опросника 1. Такой надежности не бывает - это просто попытка посмотреть, как бы всё смотрелось в "чистом виде". Традиционно во всех публикациях используется обычная корреляция, а не скорректированная. А обычные корреляции (без этой статистической поправки) у Saville вполне даже обычные для опросников - в районе 0.2 - 0.3.

  3. Вся инфа о валидности основана на одном исследовании, в котором участвовали 300 человек. Все остальные огромные выборки, которые приводятся в тех.отчете, участвовали только в уточнении норм, но не в исследовании валидности.

  4. Данное исследование было проведено в 2008 году в Британии, то есть  данные несвежие и никакого отношения не имеют к российской версии опросника. А, как известно, перевод опросника - это как перевод поэзии, нужно сделать фактически новый опросник. Свежесть исследований также важна, потому что опросники чувствительны к изменениям в социуме (см. отличный комментарий по этому поводу в статье Шмелева "Каша из топора")


Вывод: нажатие на "болевые точки" пока что выглядят немножко как развод не очень просвещенной и ленивой до информации публики. Важно и нужно выстраивать пиар оценочных технологий вокруг их качества, но сначала нужно немножко разобраться с этим самым качеством. Что оно такое и как его измерить? И публике объяснить. А то получается как в анекдоте про Петьку с Василий Иванычем про приборы и "17".

Получается, что рынок уже готов потреблять инфу про валидность (и это гуд), но что это такое конкретно, пока ни для кого не имеет значения... Магия цифр, и всё на мази. Нужно с этим что-то делать.

Я искренне надеюсь, что у ребят хватит смелости и денег провести российский ресерч. Это правда сложная задача, особенно в отношении опросников. Но до этого времени я бы порекомендовал несколько поубавить пыл и подписать, что это 0,57 означает (ну или вообще убрать это до поры).


P.S. Друзья, требуйте от производителя:
1. Исследования качества их инструментов
2. Проведенные на российских выборках с помощью российских инструментов
3. Свежие и честные данные о валидности и надежности
4. Тех.мануал, в котором подробно описано всё про п. 1-3
5. Ну и рекомендую ожидать от производителя критичности и скромности в отношении своих методик - психологи пока еще только учатся делать качественные продукты.


UPD1 (декабрь): на сайте владельца российской франшизы появились три магические звездочки рядом с блоком про надежность и валидность (ссылка). Что эти звёздочки означают, пока загадка - пояснения к ним отсутствуют. Будем надеяться, что пояснение скоро появятся
test ppl

Про валидность ассессмент центров

.
Интересный парадокс - АЦ считается "самым-самым" типа точным методом оценки персонала (ну или одним из самых). А количество опубликованных работ по этой теме в России катастрофически мало. Когда мы готовили статью с нашими данными по теме, мне удалось обнаружить только два источника, где приведены конкретные цифры, а не общие рассуждения или копипаст старых западных исследований.


  1. С.К. Сергиенко (1999) получил удовлетворительные данные о прогностической валидности ЦО в рамках проекта TACIS. Анализировалась оценка стажеров принимающими их после отбора и обучения компаниями. Центр оценки правильно предсказывал успешность прохождения стажировки в 77.5% случаев (Сергиенко, 1999).

  2. В исследовании А.К. Ерофеева (2012) получен средний коэффициент корреляции 0.63 при р=0.01. Сравнивался Итоговый Оценочный Рейтинг, полученный в ходе ЦО, с усредненными оценками из интервью по компетенциям, которые проводили сотрудники службы персонала (Ерофеев, 2012). При этом оценки в интервью были получены приблизительно в то же время, что и оценки в ЦО.


И всё... Представляете? АЦ используется в России более 20 лет, куча народу этим занималось. У нас есть данные о том, что за последние 8 лет более половины из топ-150 российских компаний применяли АЦ (по-позже опубликую пруфф-линк). И при этом всего два исследования (наша статья - третья).

А к Вашему сведению - все серьезные исследования качества инструментов сейчас проводятся с помощью мета-анализов. Это когда в один большой котел кладут большой набор качественных исследований и определяют общий результат. В нашей ситуации об этом пока просто стыдно заикаться.

Интересно подумать, почему так... Видимо, это большая тема - сейчас накидаю только первые идеи.

  • Постановление ЦК ВКП(б) "О педологических извращениях в системе Наркомпросов" (1936 г.) и вся последующая вакханалия повырезали серьезных исследователей и профессионалов из орг.психологии (тогда это называлось психотехникой). Была потеряна культура профессиональной и критичной работы с методиками, с научными данными. И не только потеряна, но и не восстановлена. Думаю, что эта проблема корневая. Утерянную культуру восстанавливать практически нереально - только заново учиться

  • То, что делают россейские псих.факи и кого они готовят в области орг.психологии вызывает пэчаль. Средний уровень фантастически низок и не поднимается ни на йоту за последние годы. Психологи не в состоянии объяснить, что такое "качество психологического инструмента", не говоря уже про исследование этого качества.

  • Повальное и поголовное пиратство психологических методик создает антураж "легко доступной ерунды". Упражнений для АЦ понатырено раз в 1000 больше, чем куплено или произведено. Это можно достать в интернете, стрельнуть у коллег, да и вааще в чем проблема провести АЦ?

  • Слово "наука" в современном HR по-прежнему звучит очень некруто и непривлекательно. Хотя это нонсенс - все более или менее осмысленные модели в HR (и в оценке в частности) получены в результате серьезных научных исследований (правда, к сожалению, западных). Вроде положение стал спасать мощный тренд в сторону HR-аналитики и Big Data. По сути это ничем не отличается от научного подхода к информации, так что будем надеяться, что ребрендинг поможет

Не всё так плохо, конечно. Вот, например, российский стандарт АЦ вышел, там про валидность целая глава. Очень надеюсь, что она послужит мягким "волшебным пенделем" для оценочной тусовки, уверенной в своей непогрешимой точности.



UPD 1: забыл про наше выступление на последнем Международном конгрессе по методу ЦО, который проходил в Южной Африке. У нас очень даже интересное исследование получилось (ссылка). Между прочим первое российское выступление на ICACM в истории. Прошли blind review и строгий отбор. Так что 4 публикации ))

UPD 2: статья Светланы Симоненко (ни много ни мало) в
International Journal of Selection and Assessment в соавторстве с солидными людьми. Фокус на конструктную валидность.