my photo

Два подхода к дизайну Центра оценки: ориентируемся на компетенции или на упражнения


Хочу поделиться интересной находкой: в публикациях за 2008-2012 г. поразило количество статей про два подхода к дизайну Центров оценки:

  • Dimension-Based Assessment Center или DBAC (в вольном переводе - конструктно-ориентированные ЦО)
  • Task-Based Assessment Center или TBAC (задаче-ориентированные ЦО)

За примерами далеко ходить не будем - в 2012 г. выходит целая книга (!), посвященная, главным образом, этой теме - The Psychology of Assessment Centers (кстати рекомендую заказать - отличный молодой коллектив авторов и глубокая проработка вопроса).

Более того, ряд ведущих журналов устраивали целые серии публикаций по теме. Например, в Industrial and Organizational Psychology развернули баталию  между ведущими специалистами, спровоцировав их отличной статьей Чарльза Лэнса, в которой он убедительно обосновал крах DBAC.


Суть дискуссии сводится к следующему: 
  • Есть традиционный подход, основанный на том, что наблюдатели в ходе ЦО оценивают определенные конструкты (они же компетенции). Называют его Dimension-Based Assessment Center (DBAC)
  • Наблюдатели оценивают эти конструкты многократно в разных упражнениях и выводят итоговую оценку по каждому конструкту. И обратную связь дают про конструкты (мучают менеджеров компетенциями :))
  • Таким образом, упражнение считается СРЕДСТВОМ измерения конструктов
  • У этого подхода есть масса всем известных преимуществ, качество выводов доказано в многочисленных мета-анализах ну и т.п. (см. напр. Arthur et al., 2003Хемерлин, Лайвенс, Робертсон, 2011
ОДНАКО:
  • Существует масса свидетельств, говорящих о том, что оценки одной и той же компетенции в разных упражнениях связаны плохо (Sackett, Dreher, 1982; Goodge, 1988; Lance, 2008). Речь о так называемых PEDRs (post-exercise dimension ratings - оценки по конструктам, поставленные наблюдателями после каждого упражнения)
  • Зато разные замеры внутри одного упражнения демонстрируют завидную устойчивость!!  Т.е. поведение может быть специфично для каждого конкретного упражнения
  • Да и эксплораторный факторный анализ в некоторых случаях может говорить скорее в пользу факторов-упражнений, чем факторов-конструктов  (Sackett, Dreher, 1982). На этом месте кажется, конструктная валидность традиционного DBAC разваливается на части

Ага, возомжен выход (?)
  • Так почему бы тогда не измерять способность решать определенные задачи или умение выполнять определенные рабочие роли? И не мучиться с малопонятными и разнородными по составу компетенциями?
  • Так и сделаем! И назовем этот подход Task-Based Assessment Center (TBAC) в противовес Dimension-Based Assessment Center (Jackson et al., 2011)
  • Тогда получается, что упражнения - это не только средства измерения, но и цель измерения!!
  • Что измеряем: умение провести беседу с подчиненным, решить задачу на планирование, обосновать бюджет и т.п. Также можно измерять рабочие роли
  • Такой подход показал свою состоятельность: критериальная валидность общего балла на уровне 0,42 (без коррекции на ограничение выборки) (Jackson, 2007)
  • Важное преимущество такого подхода - заказчикам оценки не надо долго объяснять, что значит "системное мышление" и как оно влияет на эффективность работников. Умеет проанализировать бизнес-кейс? Ну вот и прекрасно. Не способен провести переговоры с партнером? Всё понятно

Таким образом, различия в подходах касаются не самой процедуры ЦО (она плюс-минус та же), а затрагивают стратегии интеграции данных: вокруг конструктов (DBAC) или вокруг упражнений / задач (TBAC). 



Возникает резонный вопрос - как быть с традиционным DBAC и почему все раньше были дураками, а только сейчас просветлело? Очевидно, всё не так просто.


Правда, как и было всегда, где-то посередине. ИМХО. И призыв обратить внимание на проблемы конструктно-ориентированного ЦО приводят к очень полезным результатам: например, переосмыслению подхода к разработке упражнений и разработки теоретической базы для ЦО (trait activation theory) (Lievens, Schollaert, 2011Lievens, Tett, Schleicher, 2009)

Несмотря на понятную критику, большинство авторитетных ученых сходится на том, что полностью изымать компетенции из ЦО неправильно. Вроде как общеизвестно, что поводение детерминируется некими латентными конструктами. Пусть даже мы их пока не очень стабильно умеем "улавливать" в разных упражнениях ЦО, но пытаться их оценивать надо.  Более того, есть убедительные свидетельства, что критериальная валидность отдельных конструктов хороша и может быть даже выше валидности Общего Оценочного Рейтинга (OAR) (Arthur et al., 2003).

Есть и чисто гуманитарные аргументы - объяснять поведение в терминах задач / ролей менее естественно, чем в терминах свойств человека. Задачи / роли не дают нужной степени обобщения (Day, Woehr, 2008) (хотя лично мне эти аргументы кажутся сомнительными - ролевой подход очень нагладен и прогностичен).


Наиболее убедительная и актуальная работа в защиту DBAC   -  статья Guenole, Chernyshenko, Stark, Cockerill, Drasgow (2011), опубликованая в еще одной новой и супер-отличной книге про Центры оценки (Assesment Centers and Global Talent Management / [edited by] N. Povah and G. Thornton III, 2011) (про книгу при случае расскажу подробнее; для затравки обратите внимание на оглавление третьего раздела хе-хе :) )

Они критикуют все предыдущие мета-анилизы за то, что там собраны данные про старые ЦО, проведенные без учета последних достижений в изучении технологии. Они сами собрали новые данные (N=1205), соблюдая все рекомендации по обучению наблюдателей, использованию компетенций и т.п. И результат получился в пользу конструктов - факторные нагрузки в специально сконструированном конфирматорном факторном анализе оказались выше у конструктов, чем у упражнений (средняя нагрузка 0,43 против 0,32).



Пруфлинки (в дополнение к указанным выше):
  • Одну из ключевых глав уже упомянутой книги про Психологию ЦО можно прочесть здесь (Lievens, F., & Christiansen, C. (in press). Core debates in assessment center research: Dimensions ‘versus’ tasks. In D. Jackson, C. Lance, & B. Hoffman (Eds.) The psychology of assessment centers.) - если тема интересна, то начните с этой статьи!!!
  • Вот специальный сайт в поддержку книги и самой идеи TBAC http://tbacs.org/ . Здесь есть примеры, как это работает на практике, картинки, бланки и т.п.
  • Статья Дункана Джексона и сотоварищей в упомянутой книге под редакцией Торнтона и Повы. Джексон - последовательный защитник идеи TBAC.

NB Замечу, что дискуссия в целом напоминает то, что происходит в "большой психологии" по вопросу роли личностных детерминант и ситуации в оценке личности (см. работы Уолтера Мишеля). Думаю, что её продолжение в конкретной практической области является ОЧЕНЬ полезным. ЦО - хорошо обеспеченная деньгами и мозгами область, компании готовы вкладывать деньги и силы в исследования и практические рекомендации (взять то же исследование Guenole et al. 2011 - данные фактически собирала компания Kenexa, a Nigel Guenole - её сотрдуник).

Кстати, та же "песня" встречается  в литературе по методу кейс-тестов (Situational Judgment Tests, SJT). Здесь идет дискуссия: кейс-тест - это метод измерения каких-то конструктов (процедурных знаний, личностных качеств и т.п.) или же он измеряет Situational Judgment (другими словами - специфический навык выбора "удачных" действий из списка предложенных для конкретной ситуации) (см. напр, Christian et al., 2010)  

При этом (что характерно) вопрос критериальной валидности снова находится на втором плане - всем давно известно, что кейс-тесты работают хорошо (McDaniel et al., 2001). И Situational Judgment полезен, и процедурные знания полезны. Но вот почему они работают и как заставить их работать лучше - это актуальнейший вопрос для исследователей и практиков.

____
Кросс-пост в блоге HT-LINE
DBAC vs TBAC?
Наверное, это в большей степени вопрос позиции специалиста. Если говорить о моей позиции, то я все же придерживаюсь DBAC =), поскольку лично для меня оценка персонала - это вид психологической диагностики, которая, с моей точки зрения, подразумевает оценку неких внутренних психологических конструктов с помощью специальных инструментов. С моей точки зрения, появление второго подхода, а именно TBAC связано с тем, что на текущий момент и на рынке, и в профессиональной литературе на тему так и не могут разобраться с этими психологическими конструктами в области оценки персонала. Вопрос "А что же такое компетенция?" является уже риторическим, а способов толкования этого понятия и его применений в различных осмыслениях огромное количество (именно с этим мой гуманитарный ум в первую очередь связывает плохую связь оценок по компетенциям в разных упражнениях). Поэтому мне лично, как специалисту, было бы интересно все же организовать дискуссию на данную (уже кому-то покажется) заезженную тему. Я уверена, что если проблема критериев будет со временем решена в оценке персонала с психологической точки зрения, то проблем станет меньше. И, честно, я верю, что она может быть решена.

Автор заметки также ссылается на похожую ситуацию, происходящую в "большой психологии", видимо, в психологии личности. Не могу прокомментировать эту тенденцию, так как не в курсе. Однако могу провести аналогию с областью, в которой изначально специализировалась, а именно с патопсихологической диагностикой, которая, безусловно, построена по принципу DBAC. Использование второго подхода TBAC выглядит в этой сфере несколько абсурдным, поскольку это бы означало, что надо диагностировать не расстройства мышления у шизофреника (как правило, для проведения диф. диагноза по этому критерию), а оценивать то, как он классифицирует карточки в методике "Четвертый лишний" (по принципу, видимо, справился- не справился), в которой собственно эти расстройства мышления и диагностируются. Для патопсихологических целей это задача совершенно бесполезная с практической точки зрения, ибо дифференциальный диагноз между заболеваниями психики проводится на основании различий в психологических проявлениях пациента (мышления, памяти, эмоциях и т.д.), а не в том, насколько он эффективно решает задачи. Наверное, решить патопсихологическую диагностику через TBAC было бы теоретически возможно, но это была бы точно вавилонская башня, которая вряд ли все же была достроена.

Поэтому я собственно за вычищение и определение критериев оценки в нашей области, и верю, что у этого есть потенциал.

Существование TBAC также считаю правомерным, однако для узких утилитарных целей – например, проведение отбора по принципу аттестации или кастинга, когда важен результат (смог - не смог), а не более глубокое понимание профессионального поведения сотрудника, связанное с регистрацией не только самого поведения, но и понимания его предпосылок. На мой взгляд, дискуссия вокруг двух подходов связана с более общей и древней дискуссией в психологии , а именно: психологического детерминизма и психологического редукционизма.
dbac vs tbac
Женя, приветствую!

данная тема вызвала интерес в связи с тем,что у нас в последнее время стали поступать заказы именно в формате TBAC.
В области продаж или управления имеются довольно жесткие поведенческие шаблоны, которые необходимо воспроизводить точно, вплоть до сопутствующей невербалики. Особенно у монстров FMCG такие требования. Так что разработка различных имитационных упражнений базируется не на конструктах, а прямо на конкретных поведенческих шаблонах, которые четко привязываются к результату. Данный запрос также поддерживается стремлением использовать в качестве наблюдателей руководителей, а для них система оценки набора конструктов, за редким исключением, практически ими не осваиваема. Так что данный формат оказывается довольно перспективным. А как у вас?
Re: dbac vs tbac
Замечательное выражение Равена.

А можно уточнить книжку или статью. Я, к сожелению, не читал.

Заранее спасибо.