Category: литература

my photo

Про Российский стандарт центра оценки: ответ Э. Бабушкину

Данная заметка — попытка ответить Эдику на его замечательный пост с критикой и вопросами к Российскому стандарту центра оценки. Лонгрид, написан для интересующихся темой.


Сначала дисклеймер:


  1. Спасибо Эдуарду за предложение вести содержательные дискуссии по профессиональным темам

  2. В частности, спасибо за готовность вникнуть в неблизкую в профессиональном плане предметную область и задать важные вопросы по ней

  3. Ниже будут ответы от меня как одного из авторов стандарта. Тем не менее, это моё личное ИМХО, оно не имеет статуса официального или даже полуофициального ответа от коллектива авторов

  4. С момента создания документа прошло 5 лет. Большую часть этого времени я не занимался непосредственно центрами оценки. И, что особенно важно, не вел активных исследований по сабжу

  5. В связи с этим (в частности) отвечать буду только на те реплики, которые могу и хочу прокомментировать. Серию постов писать не планирую, это разовая акция

  6. Я не думаю, что любая конкретная технология/метод/инструмент является решением для всех проблем в своей области. Молоток и отвертка хороши для разного. Также и центр оценки вместе с тестами, роботами Верами и т.п.


Read more...Collapse )
my photo

Time horizon: перспективный конструкт в оценке персонала

В оценке самое интересное - это "ЧТО" оценивать?
Последние полтора года в российских огородах стали пробиваться ростки концепции, которую в народе называют RO или Requisite organization​. Это серьезная теория из области менеджмента, автор Eliott Jaques (Эллиот Жак). То, что тема крутая, можно понять, например, по небольшой заметке в The Economist.


(с) requisite.org

В концепции среди прочего содержится заявка на новый конструкт, крайне важный для оценки и отбора людей. Это так называемый "time horizon" - способность удерживать в сознании определенную временную перспективу. По-другому - способность решать задачи определенной длительности.

Тема эта крайне интересная и перспективная. И при этом опасная. Почему?

Во-первых, она в отличие от многих психологизированных конструктов, абсолютно понятна "бизнес-заказчикам". Может человек решить задачу, которая решается за два года или нет? Всё просто и прозрачно.
Во-вторых, из этого следует, что у каждого "эксперта" найдется, что сказать по этому поводу. Вот, например, недавно вышла статья в "Ведомостях" - там это крайне неаккуратно и спутано написанно, не смотря на то, что Home Credit Bank очень серьезно и профессионально подошел к вопросу. Привожу тупую редакционную картинку, из которой очевидно, что художник вообще не разобрался в вопросе (равно как и журналист с комментаторами):

(с) А. Таранов. Ведомости

Не про IQ речь, не про интеллект и общие способности! Это принципиально иной конструкт.

В-третьих, time horizon НАПРЯМУЮ бьется с задачами орг.проектирования. Time horizon сотрудника должен быть сопоставлен с time span позиции в организации (задачи какой длительности должны решаться в рамках этой должности). Никакие другие конструкты в орг.психологии таким свойством не обладают (ни компетенции, ни способности, ни вовлеченность). Это означает, что реально появляется возможность вести орг.проектирование вместе с отбором, создавать орг.структуры, в которых могут содержаться конкретные требования к людям.

В-четвертых, автор концепции утверждает, что time horizon не развивается усилиями T&D. C каким временным горизонтом стартовал лет в 20 - можешь уже заранее предсказать, до какого горизонта доберешся.


(с) Requisite Organization Institute

На картинке по оси Х отложен возраст человека, а по Y - временной горизонт. Если Вы в 20 лет стартуете, например, с 1 года, то к 70 годам можно дорасти до 10-летнего горизонта :) "А после из прораба до министра дорастешь", короче.

Это, конечно, крайне резкое утверждение, даже немного дискриминационное. С ним хочется поспорить и запросить доказательную базу. К слову, эта база имеется и довольно неплохая (начать можно с книги). Не могу сказать, что меня убедили, но обсуждать там есть чего.


В-пятых, видимая простота истории - только видимая. Так как и сама теория, и способ оценивания конструкта требуют серьезной проработки предмета. Очень серьезной. Для оценки time horizon требуется умение различать разные способы мышления: декларативный, кумулятивный, последовательный, параллельный. Это основополагающая конструкция в модели RO. Давайте разберем их внимательнее:

  1. Декларативный, дискретный (declarative) способ мышления - человек видит набор проблем или приводит набор аргументов, не связанных между собой.

  2. Кумулятивный (cumulative) - человек формирует вывод на основе анализа  и синтеза внешне разрозненных фактов и симптомов. Предлагает логичный вывод, объясняющий происходящее.

  3. Последовательный (serial) - человек создает сложную цепочку рассуждений, где каждый последующий тезис вытекает из предыдущего. Цепочка глубже простого линейного вывода.

  4. Параллельный (parallel) - сценарное моделирование. Человек одновременно (близко по времени) осмысливает разные альтернативные сценарии / цепочки рассуждений.

Эти способы мышления соотносятся с временными горизонтами. Смотрим табличку ниже:




Получается, что уровень должности задается в конечном итоге через "Complexity of information processing". А time horizon (временной горизонт) является его "операционализацией" (одним из внешних проявлений).

Теперь главный вопрос - как это измерять? Ответ - с помощью специально спроектированных интервью, а также опроса непосредственных руководителей кандидатов. Во всяком случае, так рекомендуют делать их гайдлайны. Есть еще идея зайти на тему со стороны психометрики. Мы в процессе разработки пилотного инструмента - уже сейчас очевидно, что дело это крайне непростое.


Завершить тексто хочется оворками и небольшой критикой.

  1. Надеюсь, после прочтения поста стало понянтно, почему модель еще не очень раскрученная. Причина проста - это целостная система, в которой каждое употребляемое слово - это понятние. Причем встроенное в сложные взаимосвязи с другими понятиями. Если хотеть этим пользоваться, нужно грохнуть много месяцев на детальный штудирунг крайне непростых текстов.

  2. По этой причине сама модель не прошла масштабной верификации силами независимых исследователей и консультантов. Многое нужно перепроверять - слишком уж жестко и догматично там многое сформулировано. Фальсификация гипотез - наше всё :)

  3. Вопрос о природе самого конструкта time horizon и способе его измерения также требует серьезной научной работы. Современные когнитивные психологи найдутся, что сказать по поводу 4-х способов мышления. Что не отменяет возможности начинать его использовать в практике и внимательно смотреть за результатами (в России я слышал как минимум о трех компаниях, которые внедряют RO у себя - Home Credit Bank, Северсталь, Свеза).



Где почитать подробнее? На русском серьезных источников крайне мало.

  1. Достаточно подробная статья о Жаке и RO на сайте HRM.ru

  2. Заметка в журнале Esquire - коротко и содержательно

  3. Кусочек есть в статье П. Безручко "Ключевая формула" (к выходу готовится вторая часть статьи, где будет подробнее про оценку)


На английском, конечно, нужно читать базовую книгу Эллиота Жака "Requisite Organization: A Total System for Effective Managerial Organization and Managerial Leadership for the 21st Century". Книга - крепкий орешек, но кто осилит, тот будет молодец.




P.S. Кстати Эллиота Жака называют автором термина "кризис среднего возраста". Умел же человек уверенно распространять свои идеи на все возможные сферы жизни... :)
my photo

Области для развития vs Слабые стороны

Заполнял тут 360 градусов на себя и коллег и задумался... Что относить к  "области для развития"? То, что является очевидной проблемой, но при этом вряд ли поправимой? Или то, что вполне можно изменить в себе / другом?

Плюсы первой стратегии понятны - обратная связь становится информативной. Если все согласованно просигналят коллеге о его "слабых сторонах", то есть шанс, что он(а) что-нибудь, да и поменяет. Пусть не то, о чём говорили, но хоть что-нибудь. Минус - умные книжки советуют так не поступать. Типа так:

change

Да и самому кажется, что второй путь вроде логичнее первого. Чего шуметь о том, что не изменить?

Но тут есть подстава. У каждого сотрудника может быть своё индивидуальное представление о том, что можно поменять, а что нельзя. И в итоге фидбэк будет несогласованным - каждый будет петь про свою дуду.

А то и того хуже - весь список может оказаться "слабыми сторонами", а не "областями для развития". Следовательно вообще не имеет смысла что-то отмечать в эту зону, и она окажется пустой.

Дилемма...
my face

О самоуверенности экспертов / оценщиков

В продолжении поста про единичные случаи проверки валидности ассессмент центров в РФ появилась идея, которую хочу вынести в отдельный пост.

Мне кажется, одной из причин отсутствия исследований является уверенность оценщиков в точности своих оценок. Такая прямо серьезная уверенность, присущая всем профессиям экспертного толка. Нассим Талеб в "Черном лебеде" называет это эпистемологической самоуверенностью (кстати, лучшая книжка из прочитанных за последние пару лет, рекомендую).



С одной стороны, новости тут никакой нет - все экспертные профессии подвержены этой страшной болезни. Чем больше они работают, тем искреннее они веруют в собственную прозорливость и умение правильно выносить экспертные суждения.

Но у оценщиков в ассессмент центре есть дополнительные "отягчающе-усугубляющие" обстоятельства:

  1. Принятая в АЦ процедура сведения (согласования индивидуальных экспертных оценок) работает как сильнейший катализатор этой самой эпистемологической самоуверенности. Оценщики по полдня сидят за одним столом и договариваются об итоговых оценках. На выходе из этой процедуры получаются не только оценки, но и серьезное положительное подкрепление своей правоты (ведь оценки согласовали, мои оценки вошли в общий котел, значит я правильно оцениваю).

  2. Но процедура сведения (интеграционная сессия) ничто по сравнению с обратной связью участникам оценки. Именно она убеждает оценщика в собственной правоте, не оставляя шансов для самокритики. Ведь задача фидбэка - "продать" результаты оценки участнику (мягче - добиться принятия участником результатов). И при условии, что оценщик обладает хорошими навыками обратной связи, продать он может более или менее любую оценку. И инсайты участника, его осознания "областей для развития" и прочие "ага-эффекты" служат в качестве мощнейшего подклепления собственной правоты.


Вот и получается на выходе, что проверять валидность не надо, так как я её, эту Вашу валидность, вижу и на сведении, и на обратной связи.

Понятно, что это всего лишь одна из тысяч версий, но чем больше я в последнее время читаю всяких Канеманов, Ариэли и прочих Талебов, тем больше начинаю сомневаться в силе голой экспертизы.


P.S. Слышал правдивую историю о том, как оценщик триумфально провел обратную связь по чужому отчету с чужими оценками. Всё выяснилось сильно позже, когда все уже были довольны и проект закончился...