Category: медицина

my face

О самоуверенности экспертов / оценщиков

В продолжении поста про единичные случаи проверки валидности ассессмент центров в РФ появилась идея, которую хочу вынести в отдельный пост.

Мне кажется, одной из причин отсутствия исследований является уверенность оценщиков в точности своих оценок. Такая прямо серьезная уверенность, присущая всем профессиям экспертного толка. Нассим Талеб в "Черном лебеде" называет это эпистемологической самоуверенностью (кстати, лучшая книжка из прочитанных за последние пару лет, рекомендую).



С одной стороны, новости тут никакой нет - все экспертные профессии подвержены этой страшной болезни. Чем больше они работают, тем искреннее они веруют в собственную прозорливость и умение правильно выносить экспертные суждения.

Но у оценщиков в ассессмент центре есть дополнительные "отягчающе-усугубляющие" обстоятельства:

  1. Принятая в АЦ процедура сведения (согласования индивидуальных экспертных оценок) работает как сильнейший катализатор этой самой эпистемологической самоуверенности. Оценщики по полдня сидят за одним столом и договариваются об итоговых оценках. На выходе из этой процедуры получаются не только оценки, но и серьезное положительное подкрепление своей правоты (ведь оценки согласовали, мои оценки вошли в общий котел, значит я правильно оцениваю).

  2. Но процедура сведения (интеграционная сессия) ничто по сравнению с обратной связью участникам оценки. Именно она убеждает оценщика в собственной правоте, не оставляя шансов для самокритики. Ведь задача фидбэка - "продать" результаты оценки участнику (мягче - добиться принятия участником результатов). И при условии, что оценщик обладает хорошими навыками обратной связи, продать он может более или менее любую оценку. И инсайты участника, его осознания "областей для развития" и прочие "ага-эффекты" служат в качестве мощнейшего подклепления собственной правоты.


Вот и получается на выходе, что проверять валидность не надо, так как я её, эту Вашу валидность, вижу и на сведении, и на обратной связи.

Понятно, что это всего лишь одна из тысяч версий, но чем больше я в последнее время читаю всяких Канеманов, Ариэли и прочих Талебов, тем больше начинаю сомневаться в силе голой экспертизы.


P.S. Слышал правдивую историю о том, как оценщик триумфально провел обратную связь по чужому отчету с чужими оценками. Всё выяснилось сильно позже, когда все уже были довольны и проект закончился...