my face

О самоуверенности экспертов / оценщиков

В продолжении поста про единичные случаи проверки валидности ассессмент центров в РФ появилась идея, которую хочу вынести в отдельный пост.

Мне кажется, одной из причин отсутствия исследований является уверенность оценщиков в точности своих оценок. Такая прямо серьезная уверенность, присущая всем профессиям экспертного толка. Нассим Талеб в "Черном лебеде" называет это эпистемологической самоуверенностью (кстати, лучшая книжка из прочитанных за последние пару лет, рекомендую).



С одной стороны, новости тут никакой нет - все экспертные профессии подвержены этой страшной болезни. Чем больше они работают, тем искреннее они веруют в собственную прозорливость и умение правильно выносить экспертные суждения.

Но у оценщиков в ассессмент центре есть дополнительные "отягчающе-усугубляющие" обстоятельства:

  1. Принятая в АЦ процедура сведения (согласования индивидуальных экспертных оценок) работает как сильнейший катализатор этой самой эпистемологической самоуверенности. Оценщики по полдня сидят за одним столом и договариваются об итоговых оценках. На выходе из этой процедуры получаются не только оценки, но и серьезное положительное подкрепление своей правоты (ведь оценки согласовали, мои оценки вошли в общий котел, значит я правильно оцениваю).

  2. Но процедура сведения (интеграционная сессия) ничто по сравнению с обратной связью участникам оценки. Именно она убеждает оценщика в собственной правоте, не оставляя шансов для самокритики. Ведь задача фидбэка - "продать" результаты оценки участнику (мягче - добиться принятия участником результатов). И при условии, что оценщик обладает хорошими навыками обратной связи, продать он может более или менее любую оценку. И инсайты участника, его осознания "областей для развития" и прочие "ага-эффекты" служат в качестве мощнейшего подклепления собственной правоты.


Вот и получается на выходе, что проверять валидность не надо, так как я её, эту Вашу валидность, вижу и на сведении, и на обратной связи.

Понятно, что это всего лишь одна из тысяч версий, но чем больше я в последнее время читаю всяких Канеманов, Ариэли и прочих Талебов, тем больше начинаю сомневаться в силе голой экспертизы.


P.S. Слышал правдивую историю о том, как оценщик триумфально провел обратную связь по чужому отчету с чужими оценками. Всё выяснилось сильно позже, когда все уже были довольны и проект закончился...
еще одно важное ограничение связано с тем, что собрать данные о финальном внешнем критерии чрезвычайно нелегко. Чаще всего тесты или АЦ валидизируют по экспертным оценкам руководителя (кстати, не учитывая того, что данные имеют многоуровневый характер). Согласитесь, этот критерий с точки зрения эксперта-психолога не выглядит существенно лучше оценок профессиональных тренированных наблюдателей
Александр, даже добавить нечего. Безусловно, это так! У вопроса всегда много сторон, я просто кручу проблему с разных сторон.

Хотя надо отдать должное тем же американцам - для validity study они иногда используют не совсем обычные supervisory ratings. Услышал этот способ от одного интересного дядьки из американской консалтинговой компании, выступавшего на ICACM.

Для проверки валидности они просят руководителей "посотрудничать" и сделать рейтинг типа без политики. Такой, который никому консультанты не отдадут, а используют исключительно в научных целях. У них такая просьба прокатывает регулярно.

Это, конечно, не оправдание такому дурацкому способу проверки валидности, но тем не менее классические исследования по теме используют скорее такой вот полуочищеный вид данных.
Евгений, вы не смотрели фильм Человек, который изменил все?
там есть потрясающая сцена отбора игроков
зацепила ваша фраза
"Оценщики по полдня сидят за одним столом и договариваются об итоговых оценках" - я бы ее ассессорам почаще показывал (сцену конечно)

меня вообще больше другое интересует даже
если оставить наши баталии, то согласитесь, мы идем в одном русле. И не только мы, прогностичностью стали инетерсоваться. И даю свой прогноз: через год про прогоностичную валидность будут говорить те, кто excel не понимает.
Я вот думаю, результат чего это? Того, что на Западе мода на предиктивность?
Я на 200% уверен в том, что мы толкаем лодку в одном направлении. Просто разными способами (именно про форму, а не про содержание были "баталии").

Если говорить про западные тренды, то у них сильный крен в сторону конструктной валидности. Они в прогностическую уже наигрались и поняли, что далеко не так уже пофигу, что за инструментарий вы используете для оценки. Одной утилитарной логики "мне всё равно, потому что это работает" сильно недостаточно.

В их представлении evidence-based talent management это и способность доказать, что твои "первичные" оценки имеют смысл и неслучайны.
вообще я про другое хотел)
но мне сложно сейчас выразить свою мысль. я скажу одной фразой, надеюсь, не покажется идиотской: мне кажется порой, что судя о рынке мы (точнее, давайте уже буду я, а не мы) я становлюсь таким же эпистемологически самоуверенным, как они эпистемологичски самоуверены по отношению к своим оцениваемым.
И мне бы хотелось преодолеть эту мета позицию...

по поводу evidence-based talent management могу только заметить, что этот подход может происходить только в условиях, когда менеджеры признают ошибочность своих оценок, верно?
Ибо у нас же модели компетенций строились (ну оспорьте, если я не прав) на самоотчетах руководителей и экспертов, т.е. по сути речь шла и идет об очевидной, а не конструктивной валидности, а evidence-based talent management должен показать то, что не может видеть глаз простого смертного. И наши манагеры должны пройти стадию признания неочевидностей.

И потому задача нашей лодки продать сначала саму мысль прогностической валидности.
В качестве подтверждения свой мысли приведу пример Ласло Бока: они куеву тучу лет потратили на то, чтобы показать, что прогностические способности руководителей нифига не стоят. И только после этого они стали делать содержательные вещи.
Ну типа бихевиорального интервью и т.п..
C эпистемологической самоуверенностью стоит бороться в любой сфере (вроде как). Хотя это очень мешает фанатично продвигать новые идеи и движняки. Вот и непонятно - то ли "отупеть" в рамках одной идеи, то ли "эпистемократировать" и быть неуверенным сомневающимся тюпой ))

Готовность менеджеров анализировать результаты принятых решений в отношении персонала бесспорно важна. Добиться этого можно только эволюционным путем. От того, что мы с Вами будем сообщать это эйчарам по два раза в день ситуация изменится мало.

А про Ласло Бока - тема действительно впечатляет. Хотя пока я не видел честных цифр, всё это тоже выглядит пиарной болтологией (хоть и очень убедительной)