Category: литература

my photo

Про Российский стандарт центра оценки: ответ Э. Бабушкину

Данная заметка — попытка ответить Эдику на его замечательный пост с критикой и вопросами к Российскому стандарту центра оценки. Лонгрид, написан для интересующихся темой.


Сначала дисклеймер:


  1. Спасибо Эдуарду за предложение вести содержательные дискуссии по профессиональным темам

  2. В частности, спасибо за готовность вникнуть в неблизкую в профессиональном плане предметную область и задать важные вопросы по ней

  3. Ниже будут ответы от меня как одного из авторов стандарта. Тем не менее, это моё личное ИМХО, оно не имеет статуса официального или даже полуофициального ответа от коллектива авторов

  4. С момента создания документа прошло 5 лет. Большую часть этого времени я не занимался непосредственно центрами оценки. И, что особенно важно, не вел активных исследований по сабжу

  5. В связи с этим (в частности) отвечать буду только на те реплики, которые могу и хочу прокомментировать. Серию постов писать не планирую, это разовая акция

  6. Я не думаю, что любая конкретная технология/метод/инструмент является решением для всех проблем в своей области. Молоток и отвертка хороши для разного. Также и центр оценки вместе с тестами, роботами Верами и т.п.


Collapse )
my photo

Time horizon: перспективный конструкт в оценке персонала

В оценке самое интересное - это "ЧТО" оценивать?
Последние полтора года в российских огородах стали пробиваться ростки концепции, которую в народе называют RO или Requisite organization​. Это серьезная теория из области менеджмента, автор Eliott Jaques (Эллиот Жак). То, что тема крутая, можно понять, например, по небольшой заметке в The Economist.


(с) requisite.org

В концепции среди прочего содержится заявка на новый конструкт, крайне важный для оценки и отбора людей. Это так называемый "time horizon" - способность удерживать в сознании определенную временную перспективу. По-другому - способность решать задачи определенной длительности.

Тема эта крайне интересная и перспективная. И при этом опасная. Почему?

Во-первых, она в отличие от многих психологизированных конструктов, абсолютно понятна "бизнес-заказчикам". Может человек решить задачу, которая решается за два года или нет? Всё просто и прозрачно.
Во-вторых, из этого следует, что у каждого "эксперта" найдется, что сказать по этому поводу. Вот, например, недавно вышла статья в "Ведомостях" - там это крайне неаккуратно и спутано написанно, не смотря на то, что Home Credit Bank очень серьезно и профессионально подошел к вопросу. Привожу тупую редакционную картинку, из которой очевидно, что художник вообще не разобрался в вопросе (равно как и журналист с комментаторами):

(с) А. Таранов. Ведомости

Не про IQ речь, не про интеллект и общие способности! Это принципиально иной конструкт.

В-третьих, time horizon НАПРЯМУЮ бьется с задачами орг.проектирования. Time horizon сотрудника должен быть сопоставлен с time span позиции в организации (задачи какой длительности должны решаться в рамках этой должности). Никакие другие конструкты в орг.психологии таким свойством не обладают (ни компетенции, ни способности, ни вовлеченность). Это означает, что реально появляется возможность вести орг.проектирование вместе с отбором, создавать орг.структуры, в которых могут содержаться конкретные требования к людям.

В-четвертых, автор концепции утверждает, что time horizon не развивается усилиями T&D. C каким временным горизонтом стартовал лет в 20 - можешь уже заранее предсказать, до какого горизонта доберешся.


(с) Requisite Organization Institute

На картинке по оси Х отложен возраст человека, а по Y - временной горизонт. Если Вы в 20 лет стартуете, например, с 1 года, то к 70 годам можно дорасти до 10-летнего горизонта :) "А после из прораба до министра дорастешь", короче.

Это, конечно, крайне резкое утверждение, даже немного дискриминационное. С ним хочется поспорить и запросить доказательную базу. К слову, эта база имеется и довольно неплохая (начать можно с книги). Не могу сказать, что меня убедили, но обсуждать там есть чего.


В-пятых, видимая простота истории - только видимая. Так как и сама теория, и способ оценивания конструкта требуют серьезной проработки предмета. Очень серьезной. Для оценки time horizon требуется умение различать разные способы мышления: декларативный, кумулятивный, последовательный, параллельный. Это основополагающая конструкция в модели RO. Давайте разберем их внимательнее:

  1. Декларативный, дискретный (declarative) способ мышления - человек видит набор проблем или приводит набор аргументов, не связанных между собой.

  2. Кумулятивный (cumulative) - человек формирует вывод на основе анализа  и синтеза внешне разрозненных фактов и симптомов. Предлагает логичный вывод, объясняющий происходящее.

  3. Последовательный (serial) - человек создает сложную цепочку рассуждений, где каждый последующий тезис вытекает из предыдущего. Цепочка глубже простого линейного вывода.

  4. Параллельный (parallel) - сценарное моделирование. Человек одновременно (близко по времени) осмысливает разные альтернативные сценарии / цепочки рассуждений.

Эти способы мышления соотносятся с временными горизонтами. Смотрим табличку ниже:




Получается, что уровень должности задается в конечном итоге через "Complexity of information processing". А time horizon (временной горизонт) является его "операционализацией" (одним из внешних проявлений).

Теперь главный вопрос - как это измерять? Ответ - с помощью специально спроектированных интервью, а также опроса непосредственных руководителей кандидатов. Во всяком случае, так рекомендуют делать их гайдлайны. Есть еще идея зайти на тему со стороны психометрики. Мы в процессе разработки пилотного инструмента - уже сейчас очевидно, что дело это крайне непростое.


Завершить тексто хочется оворками и небольшой критикой.

  1. Надеюсь, после прочтения поста стало понянтно, почему модель еще не очень раскрученная. Причина проста - это целостная система, в которой каждое употребляемое слово - это понятние. Причем встроенное в сложные взаимосвязи с другими понятиями. Если хотеть этим пользоваться, нужно грохнуть много месяцев на детальный штудирунг крайне непростых текстов.

  2. По этой причине сама модель не прошла масштабной верификации силами независимых исследователей и консультантов. Многое нужно перепроверять - слишком уж жестко и догматично там многое сформулировано. Фальсификация гипотез - наше всё :)

  3. Вопрос о природе самого конструкта time horizon и способе его измерения также требует серьезной научной работы. Современные когнитивные психологи найдутся, что сказать по поводу 4-х способов мышления. Что не отменяет возможности начинать его использовать в практике и внимательно смотреть за результатами (в России я слышал как минимум о трех компаниях, которые внедряют RO у себя - Home Credit Bank, Северсталь, Свеза).



Где почитать подробнее? На русском серьезных источников крайне мало.

  1. Достаточно подробная статья о Жаке и RO на сайте HRM.ru

  2. Заметка в журнале Esquire - коротко и содержательно

  3. Кусочек есть в статье П. Безручко "Ключевая формула" (к выходу готовится вторая часть статьи, где будет подробнее про оценку)


На английском, конечно, нужно читать базовую книгу Эллиота Жака "Requisite Organization: A Total System for Effective Managerial Organization and Managerial Leadership for the 21st Century". Книга - крепкий орешек, но кто осилит, тот будет молодец.




P.S. Кстати Эллиота Жака называют автором термина "кризис среднего возраста". Умел же человек уверенно распространять свои идеи на все возможные сферы жизни... :)
my photo

Области для развития vs Слабые стороны

Заполнял тут 360 градусов на себя и коллег и задумался... Что относить к  "области для развития"? То, что является очевидной проблемой, но при этом вряд ли поправимой? Или то, что вполне можно изменить в себе / другом?

Плюсы первой стратегии понятны - обратная связь становится информативной. Если все согласованно просигналят коллеге о его "слабых сторонах", то есть шанс, что он(а) что-нибудь, да и поменяет. Пусть не то, о чём говорили, но хоть что-нибудь. Минус - умные книжки советуют так не поступать. Типа так:

change

Да и самому кажется, что второй путь вроде логичнее первого. Чего шуметь о том, что не изменить?

Но тут есть подстава. У каждого сотрудника может быть своё индивидуальное представление о том, что можно поменять, а что нельзя. И в итоге фидбэк будет несогласованным - каждый будет петь про свою дуду.

А то и того хуже - весь список может оказаться "слабыми сторонами", а не "областями для развития". Следовательно вообще не имеет смысла что-то отмечать в эту зону, и она окажется пустой.

Дилемма...
my face

О самоуверенности экспертов / оценщиков

В продолжении поста про единичные случаи проверки валидности ассессмент центров в РФ появилась идея, которую хочу вынести в отдельный пост.

Мне кажется, одной из причин отсутствия исследований является уверенность оценщиков в точности своих оценок. Такая прямо серьезная уверенность, присущая всем профессиям экспертного толка. Нассим Талеб в "Черном лебеде" называет это эпистемологической самоуверенностью (кстати, лучшая книжка из прочитанных за последние пару лет, рекомендую).



С одной стороны, новости тут никакой нет - все экспертные профессии подвержены этой страшной болезни. Чем больше они работают, тем искреннее они веруют в собственную прозорливость и умение правильно выносить экспертные суждения.

Но у оценщиков в ассессмент центре есть дополнительные "отягчающе-усугубляющие" обстоятельства:

  1. Принятая в АЦ процедура сведения (согласования индивидуальных экспертных оценок) работает как сильнейший катализатор этой самой эпистемологической самоуверенности. Оценщики по полдня сидят за одним столом и договариваются об итоговых оценках. На выходе из этой процедуры получаются не только оценки, но и серьезное положительное подкрепление своей правоты (ведь оценки согласовали, мои оценки вошли в общий котел, значит я правильно оцениваю).

  2. Но процедура сведения (интеграционная сессия) ничто по сравнению с обратной связью участникам оценки. Именно она убеждает оценщика в собственной правоте, не оставляя шансов для самокритики. Ведь задача фидбэка - "продать" результаты оценки участнику (мягче - добиться принятия участником результатов). И при условии, что оценщик обладает хорошими навыками обратной связи, продать он может более или менее любую оценку. И инсайты участника, его осознания "областей для развития" и прочие "ага-эффекты" служат в качестве мощнейшего подклепления собственной правоты.


Вот и получается на выходе, что проверять валидность не надо, так как я её, эту Вашу валидность, вижу и на сведении, и на обратной связи.

Понятно, что это всего лишь одна из тысяч версий, но чем больше я в последнее время читаю всяких Канеманов, Ариэли и прочих Талебов, тем больше начинаю сомневаться в силе голой экспертизы.


P.S. Слышал правдивую историю о том, как оценщик триумфально провел обратную связь по чужому отчету с чужими оценками. Всё выяснилось сильно позже, когда все уже были довольны и проект закончился...
task for ppl

Литература по центрам оценки

Для проекта разработки стандартов центра оценки понадобилось составить более или менее полную библиографию по сабжу. Я такого нигде не встречал, так что думаю, это будет полезно интересующимся. Список оформил линками - нажимайте на картинки, они кликабельны.

Буду признателен за дополнения - думаю, что в части статей и кусков книжек там, есть куда стремиться.  За полноту списка монографий могу ответить.

Енжой ))


Стандарт

Российский стандарт центра оценки [Электронный ресурс] // Организационная психология. 2013. Т. 3. № 2. URL: http://orgpsyjournal.hse.ru/2013-3-2.html


Монографии и книги

Аксенова, Е.А. Стратегический ассесмент: Как сформировать человечески ресурс организационных изменений: Учеб. пособие для студентов вузов / Е.А. Аксенова. – М.: Аспект Пресс, 2008. – 352 с.

.
/
.
Базаров, Т.Ю. Технология центра оценки персонала: процессы и результаты: практическое пособие / Т.Ю. Базаров. – М.: Кнорус, 2011. – 304 с.





Базаров, Т.Ю. Технология центров оценки для государственных служащих: Проблемы конкурсного отбора. Учебное пособие. / Т.Ю. Базаров - М., ИПКгосслужбы, 1995. - 144 с. (читать)





Баллантайн, И., Пова, Н. Ассессмент-центр. Полное руководство / Иен Баллантайн, Найджел Пова. Пер. с англ. Е.Г. Гореловой. Второе издание. – М.: ГИППО, 2008. – 201 с.





Барышникова, Е.И. Оценка персонала методом ассессмент-центра. Лучшие HR-стратегии / Елена Барышникова. - М.: Манн, Иванов и Фербер, 2013. - 255 с.




Вудраф, Ч. Центры развития и оценки / Чарльз Вудраф. Пер. с англ. – М.: HIPPO, 2005. – 384 с.





Гуревич, А.М. Ассессмент: принципы подготовки и проведения / Анна Гуревич. – СПб.: Речь, 2005. – 235 с.





Даринская, В.М., Чаплыгин, И.Н. Оценка и развитие персонала методом «Ассессмент-центр» / В.М. Даринская, И.Н. Чаплыгин. – Спб.: Речь, 2008. – 224 с.





Колкунова, Т.Ю., Сергиенко, С.К. Двух-целевой Центр Оценки в организациях / Т.Ю. Колкунова, С.К. Сергиенко. – М.: ООО «СПП», 2005. – 68 с.





Кляйнманн, М. Ассессмент-Центр / Мартин Кляйнманн. Пер. с нем. – Х.: Изд-во Гуманитарный Центр, 2004. – 128 с.





Красностанова, М.В. Assessment Center для руководителей. Опыт реализации в российской компании, упражнения, кейсы / М.В. Красностанова, Н.В. Осетрова, Н.В. Самара. – М., СПб: Вершина, 2007. – 208 с.





Маньков (обложка)Маньков В.С. Оценка кадров управления в капителистическом производстве (оценочные центры в США) / В.С. Маньков.  - Саратов : Изд-во Сарат. ун-та, 1983. - 125 с.





Рыжова Н. Е., Михеев Ю. А. Центр оценки шаг за  шагом. Навигатор по  разработке и  проведению. / Н. Е. Рыжова, Ю. А. Михеев, под ред. Н. Е. Рыжовой — ГК «Институт Тренинга — АРБ Про» — 1-е изд. — СПб., 2015. — 218 с. (читать)



Сергиенко, С.К. Центр оценки: групповая деятельность, управленческая технология, исследовательская лаборатория. Монография.— М.: Издательский центр ГУУ, 1999. – 184 с. (читать)




Страдвик, Л. Центры оценки и развития. Тренинг наблюдателей. Сборник упражнений для обучения наблюдателей, ролевых игроков и экспертов. – М.: HIPPO, 2003. – 270 с.







Часть книги

Базаров, Т.Ю., Беков, Х.А., Аксенова, Е.А. Методы оценки управленческого персонала государственных и коммерческих структур: Методическое пособие. – М.: ИПК Госслужбы, 1995. – 112 с.


Вязигин, А.В. Подбор, оценка и аттестация персонала в сфере торговли и услуг / А.В. Вязигин. – М.: Вершина, 2005. С. 177-218.  





Герберт, Д., фон Розенштиль, Л. Организационная психология. Человек и организация /Пер. с нем. – Х.: Изд-во Гуманитарный Центр/О.А. Шипилова, 2006. С. 385-402.




Ерофеев, А.К. Диагностический подход к оценке человеческих ресурсов // Методы практической социальной психологии: Диагностика. Консультирование. Тренинг: Учеб. пособие для вузов / Ю.М. Жуков, А.К. Ерофеев, С.А. Липатов и др.; Под ред. Ю.М. Жукова. – М.: Аспект Пресс, 2004. С. 23-47.




Купер, Д., Робертсон, И.Т., Тинлайн, Г. Отбор и наем персонала. Технологии тестирования и оценки / Пер. с англ. Т.Э. Окорокова – М.: Вершина, 2009. С. 168-182.




Лециевски, К. Д., Ферч-Рёвер, К. Assessment Center. Как успешно пройти тестирование в Центре оценки специалистов / Пер. с нем. М.Н. Терёхиной. – М.: Смарт Бук: Омега-Л, 2008. – 128 с.





Маничев, С.А. Технология оценки менеджерского персонала // Практикум по психологии менеджмента и профессиональной деятельности / Под ред. Г.С. Никифорова, М.А. Дмитриевой, В.М. Снеткова. – Спб.: Речь, 2001. С. 218-245.




Мотовилин, О.Г., Мотовилина, И.А. Оценка персонала в современных организациях. Ассесмент-технологии. Профессиография. Организационная диагностика / О.Г. Мотовилин, И.А. Мотовилина. – М., 2009. С. 128-198.




Могилевкин, Е.А. HR-инструменты: практическая оценка. Как выявить сотрудников, которые могут дать максимальный результат : учебно-практическое пособие / Е.А. Могилевкин, А.С. Новгородов, С.В. Клиников – СПб.: Речь, 2012. С. 49-86.




Мякушкин, Д.Е. Социально-психологические аспекты комплексной оценки персонала организации. – Челябинск, Издательство ЮУрГУ, 2004.



Пугачев, В.П. Тесты, деловые игры, тренинги в управлении персоналом: Учебник для студентов ВУЗов / В.П. Пугачев. - М.: Аспект Пресс, 2003. С. 80-91.





Сергиенко, С.К. Групповые технологии решения организационно-психологических задач: автореф. дисс. док. психол. наук. М., ГУУ, 2000 ndash; 0 с.




Сергиенко, С.К. Оценка персонала в деятельностной игре «Имидж организации» // Практикум по инженерной психологии и эргономике: Учеб. пособие  для студ. высш. уч. заведений / С.К. Сергиенко, В.А. Бодров, Ю.Э. Писаренко и др.; Под ред. Ю.К. Стрелкова.- М.: Издательский центр «Академия», 2003. С. 6-49.




Сергиенко, С.К. Современные отечественные технологии оценки и развития управленческого персонала. – М.: Книжный мир, 2004. С. 93-184.





Симоненко, С.И., Хренов, Д.В. Сказки и Были о методах оценки персонала / С. Симоненко, Д. Хренов. – М.: Изд-во “De-Tech”, 2010. С. 107-140.


Шмидт В. Проблемы и технологии оценки персонала: Учебно-методическое пособие. – СПб.: Речь, 2008. С. 98-101








Статьи


  1. Базаров, Т.Ю. Технология Assessment Centre / Т.Ю. Базаров // Менеджер по персоналу. 2006.  № 8. С. 4-13. (читать)

  2. Дугина, О. Метод Центра оценки (Assessment center). Место оценки персонала в кадровой работе // Кадровый вестник.  2000.  № 2.  C. 54-60. (читать)

  3. Ерофеев, А.К. Организационная диагностика и оценка персонала. Технология LASPI // Ежегодник Российского психологического общества. Психология и ее приложения, Т. 9, вып. 3. / Отв. ред. Д. Б. Богоявленская, Т. Ю. Базаров, Е. А. Климов. – М., 2002.

  4. Ерофеев, А.К., Зотова, Ю.Д. Методы психологической диагностики в персонал – ассесменте // Психология сегодня. – 1996. – Т.2. Вып. 2.

  5. Ерофеев, А.К., Маслов, Е.В. Диагностический подход к оценке банковского персонала // Психологическая диагностика. 2004. № 2. С. 49-68.

  6. Иванова, Ю. Тач-ассесмент, или "Вооружен и очень полезен" // HRTimes. 2011. №19. С. 19-23. (читать)

  7. Куприянов, Е.А. Стоит ли игра свеч: Валидность Центров оценки [Электронный ресурс] // Организационная психология. 2011. Т. 1. № 1. С. 50–58. URL: http://orgpsyjournal.hse.ru (дата обращения: 01.02.2012). (читать)

  8. Малыхин, П.А. Ассессмент-Центр - дорогое удовольствие? / П. Малыхин // Персонал-Микс. 2004. № 7. С. 45–48.

  9. Сергиенко, С.К. По стандарту ассессмент-центра / С. Сергиенко, Т. Колкунова // Кадровик. Кадровый менеджмент. 2006. № 12. C. 50-54. (читать)

  10. Умнов, С. WebАссесмент: быстро, точно, доступно // HRTimes. 2011. №19. С. 5-9. (читать)

  11. Хермелин И., Лайвенс Ф., Робертсон А.Т. Прогностическая валидность Центра оценки: метаанализ [Электронный ресурс] // Организационная психология. 2011. Т. 1. № 1. С. 39–49. URL: http://orgpsyjournal.hse.ru (дата обращения: 26.09.2012). (читать)

  12. Юферова, Е. Э., Жабинская, С.Л., Бакай, Ю.Б. Актуальные проблемы, решения и перспективы применения технологии Центра оценки персонала в организации. [Электронный ресурс]. // EMD.ru: сайт компании «Евроменеджмент». URL: http://as.emd.ru/doc/actual.php (дата обращения: 26.09.2012). (читать)


Ну и специальный приз для тех, кому нужен список в электронном виде для публикации нетленок в области оценки персонала - скачать doc файл со списком литературы.


UPD1: спасибо Юре propulsive пошли дополнения. Добавил статью Сергиенко из практикума, книги Купера, Шмидт и Герберта.

UPD2: удалось найти обложку монографии Сергиенко - в ближайших записях ожидается супер-приз, связанный с этим изданием.

UPD3: добавил свежую книжку Елены Барышниковой. Очень неплохой продукт

UPD4: неожиданно нашлась еще одна монография - книжка В.С. Манькова 1983 года рождения (!!!)

UPD5: вышла чудесная книжка у Нины Рыжовой и Юры Михеева - очень рекомендую. Ну и добавил стандарт - куда без него.

UPD6: добавлена монография Базарова 1995 года.
my photo

Два подхода к дизайну Центра оценки: ориентируемся на компетенции или на упражнения


Хочу поделиться интересной находкой: в публикациях за 2008-2012 г. поразило количество статей про два подхода к дизайну Центров оценки:

  • Dimension-Based Assessment Center или DBAC (в вольном переводе - конструктно-ориентированные ЦО)
  • Task-Based Assessment Center или TBAC (задаче-ориентированные ЦО)

За примерами далеко ходить не будем - в 2012 г. выходит целая книга (!), посвященная, главным образом, этой теме - The Psychology of Assessment Centers (кстати рекомендую заказать - отличный молодой коллектив авторов и глубокая проработка вопроса).

Более того, ряд ведущих журналов устраивали целые серии публикаций по теме. Например, в Industrial and Organizational Psychology развернули баталию  между ведущими специалистами, спровоцировав их отличной статьей Чарльза Лэнса, в которой он убедительно обосновал крах DBAC.


Суть дискуссии сводится к следующему: 
  • Есть традиционный подход, основанный на том, что наблюдатели в ходе ЦО оценивают определенные конструкты (они же компетенции). Называют его Dimension-Based Assessment Center (DBAC)
  • Наблюдатели оценивают эти конструкты многократно в разных упражнениях и выводят итоговую оценку по каждому конструкту. И обратную связь дают про конструкты (мучают менеджеров компетенциями :))
  • Таким образом, упражнение считается СРЕДСТВОМ измерения конструктов
  • У этого подхода есть масса всем известных преимуществ, качество выводов доказано в многочисленных мета-анализах ну и т.п. (см. напр. Arthur et al., 2003Хемерлин, Лайвенс, Робертсон, 2011
ОДНАКО:
  • Существует масса свидетельств, говорящих о том, что оценки одной и той же компетенции в разных упражнениях связаны плохо (Sackett, Dreher, 1982; Goodge, 1988; Lance, 2008). Речь о так называемых PEDRs (post-exercise dimension ratings - оценки по конструктам, поставленные наблюдателями после каждого упражнения)
  • Зато разные замеры внутри одного упражнения демонстрируют завидную устойчивость!!  Т.е. поведение может быть специфично для каждого конкретного упражнения
  • Да и эксплораторный факторный анализ в некоторых случаях может говорить скорее в пользу факторов-упражнений, чем факторов-конструктов  (Sackett, Dreher, 1982). На этом месте кажется, конструктная валидность традиционного DBAC разваливается на части

Ага, возомжен выход (?)
  • Так почему бы тогда не измерять способность решать определенные задачи или умение выполнять определенные рабочие роли? И не мучиться с малопонятными и разнородными по составу компетенциями?
  • Так и сделаем! И назовем этот подход Task-Based Assessment Center (TBAC) в противовес Dimension-Based Assessment Center (Jackson et al., 2011)
  • Тогда получается, что упражнения - это не только средства измерения, но и цель измерения!!
  • Что измеряем: умение провести беседу с подчиненным, решить задачу на планирование, обосновать бюджет и т.п. Также можно измерять рабочие роли
  • Такой подход показал свою состоятельность: критериальная валидность общего балла на уровне 0,42 (без коррекции на ограничение выборки) (Jackson, 2007)
  • Важное преимущество такого подхода - заказчикам оценки не надо долго объяснять, что значит "системное мышление" и как оно влияет на эффективность работников. Умеет проанализировать бизнес-кейс? Ну вот и прекрасно. Не способен провести переговоры с партнером? Всё понятно

Таким образом, различия в подходах касаются не самой процедуры ЦО (она плюс-минус та же), а затрагивают стратегии интеграции данных: вокруг конструктов (DBAC) или вокруг упражнений / задач (TBAC). 



Возникает резонный вопрос - как быть с традиционным DBAC и почему все раньше были дураками, а только сейчас просветлело? Очевидно, всё не так просто.


Правда, как и было всегда, где-то посередине. ИМХО. И призыв обратить внимание на проблемы конструктно-ориентированного ЦО приводят к очень полезным результатам: например, переосмыслению подхода к разработке упражнений и разработки теоретической базы для ЦО (trait activation theory) (Lievens, Schollaert, 2011Lievens, Tett, Schleicher, 2009)

Несмотря на понятную критику, большинство авторитетных ученых сходится на том, что полностью изымать компетенции из ЦО неправильно. Вроде как общеизвестно, что поводение детерминируется некими латентными конструктами. Пусть даже мы их пока не очень стабильно умеем "улавливать" в разных упражнениях ЦО, но пытаться их оценивать надо.  Более того, есть убедительные свидетельства, что критериальная валидность отдельных конструктов хороша и может быть даже выше валидности Общего Оценочного Рейтинга (OAR) (Arthur et al., 2003).

Есть и чисто гуманитарные аргументы - объяснять поведение в терминах задач / ролей менее естественно, чем в терминах свойств человека. Задачи / роли не дают нужной степени обобщения (Day, Woehr, 2008) (хотя лично мне эти аргументы кажутся сомнительными - ролевой подход очень нагладен и прогностичен).


Наиболее убедительная и актуальная работа в защиту DBAC   -  статья Guenole, Chernyshenko, Stark, Cockerill, Drasgow (2011), опубликованая в еще одной новой и супер-отличной книге про Центры оценки (Assesment Centers and Global Talent Management / [edited by] N. Povah and G. Thornton III, 2011) (про книгу при случае расскажу подробнее; для затравки обратите внимание на оглавление третьего раздела хе-хе :) )

Они критикуют все предыдущие мета-анилизы за то, что там собраны данные про старые ЦО, проведенные без учета последних достижений в изучении технологии. Они сами собрали новые данные (N=1205), соблюдая все рекомендации по обучению наблюдателей, использованию компетенций и т.п. И результат получился в пользу конструктов - факторные нагрузки в специально сконструированном конфирматорном факторном анализе оказались выше у конструктов, чем у упражнений (средняя нагрузка 0,43 против 0,32).



Пруфлинки (в дополнение к указанным выше):
  • Одну из ключевых глав уже упомянутой книги про Психологию ЦО можно прочесть здесь (Lievens, F., & Christiansen, C. (in press). Core debates in assessment center research: Dimensions ‘versus’ tasks. In D. Jackson, C. Lance, & B. Hoffman (Eds.) The psychology of assessment centers.) - если тема интересна, то начните с этой статьи!!!
  • Вот специальный сайт в поддержку книги и самой идеи TBAC http://tbacs.org/ . Здесь есть примеры, как это работает на практике, картинки, бланки и т.п.
  • Статья Дункана Джексона и сотоварищей в упомянутой книге под редакцией Торнтона и Повы. Джексон - последовательный защитник идеи TBAC.

NB Замечу, что дискуссия в целом напоминает то, что происходит в "большой психологии" по вопросу роли личностных детерминант и ситуации в оценке личности (см. работы Уолтера Мишеля). Думаю, что её продолжение в конкретной практической области является ОЧЕНЬ полезным. ЦО - хорошо обеспеченная деньгами и мозгами область, компании готовы вкладывать деньги и силы в исследования и практические рекомендации (взять то же исследование Guenole et al. 2011 - данные фактически собирала компания Kenexa, a Nigel Guenole - её сотрдуник).

Кстати, та же "песня" встречается  в литературе по методу кейс-тестов (Situational Judgment Tests, SJT). Здесь идет дискуссия: кейс-тест - это метод измерения каких-то конструктов (процедурных знаний, личностных качеств и т.п.) или же он измеряет Situational Judgment (другими словами - специфический навык выбора "удачных" действий из списка предложенных для конкретной ситуации) (см. напр, Christian et al., 2010)  

При этом (что характерно) вопрос критериальной валидности снова находится на втором плане - всем давно известно, что кейс-тесты работают хорошо (McDaniel et al., 2001). И Situational Judgment полезен, и процедурные знания полезны. Но вот почему они работают и как заставить их работать лучше - это актуальнейший вопрос для исследователей и практиков.

____
Кросс-пост в блоге HT-LINE