talk ppl

Маркетинг против науки: классификация психологических тестов

.
Недавно встречался с CEO одной известной британской психометрической компании. Обсуждали в частности, "чем они отличаются от SHL и других английских монстров". Ответ мне очень понравился - он противопоставил их маркетинговый подход научному сэйчэловскому. Я решил немножко доразвить эту тему и сделать классификацию коммерческих тестов по этому признаку. Мне кажется, она очень точно разрезает пирог надвое. Итак

1) Marketing driven tools (Predictive Index (PI), MBTI, DISC со всеми клонами (1, 2, 3, 4, 5), PDA, Structogram, HBDI, Birkman и т.п.)

2) Scientific driven tools (OPQ 32, 16pf, 16 и 11 ЛФ, NEO PI, WGCTA, Hogan, VMG / NMG, MSCEIT и т.п.)


Получается такой вечный спор физиков с лириками. Разберемся с этими двумя подходами подробнее.

1) Marketing driven tools. Характерные признаки:

  • Жили-были какие-то знаменитые в узкиих кругах праотцы, которые додумались до замечательной модели личности

  • Чаще всего это попсовая адаптация какой-то давно известной психологические модели.

  • Изобрели они это давно, еще через время появился инструмент, который позволяет проводить оценку по этой модели

  • Инструмент чаще несложный, обычно это опросник, а не тест. Время работы с любой методикой не больше 15 мин. (чаще 8-10 мин)

  • "Уже много десятилетий ведущие компании используют этот инструмент" для самых разных целей

  • "Богатые" отчеты - красивые и понятные, хорошо заточенные для чтения непсихологами

  • Агрессивный продуктовый маркетинг, основанный на простоте и красоте решения

  • Нередко в маркетинге этих инструментов встречаются ссылки на устройство мозга, связь с нейропроцессами, которая якобы подтверждает фундаментальность продукта

  • Развитые партнерские программы - продукт хорошо упакован и успешно продается разнообразными ИП и тренинг-провайдерами. Франшизу купить - легче легкого (пример)

  • В стране-родоначальнице подхода имеются неплохие психометрические исследования качества, на которые идет ссылка по всему миру



Теперь обратная сторона медали:

  • Каждая из этих моделей - это недоделанная Большая Пятерка (Big5). Большая Пятерка появилась позднее и в среде реальных ученых, так что прошла мимо отцов-основателей и их не очень заморачивающихся последователей

  • С тех пор как был изобретен инструмент, в психометрике случилось масса хороших событий. Большая часть из этих событий также не коснулась этих инструментов

  • Обратная сторона действительно массового использования - втыкание этих инструментов во все дыры. Они и для развития хороши, и для отбора и найма годятся. Это, конечно, приводит к большой дискредитации психологической оценки в принципе (в общем случае, опросники для отбора использовать не надо!!!)

  • Простота отчетов и самой модели привлекает к этим инструментам "одержимцев" - некритичных людей с горящими глазами, верящих в силу психологии и возможность всех "посчитать"

  • Агрессивный маркетинг отталкивает профессионалов, всерьез разбирающихся в вопросах оценки. Ссылки на банальные нейро-истины (типа правого и левого полушария) выглядят как очковтирательство для лохов

  • Поэтому в партнерских программах чаще участвуют люди, не очень разбирающиеся в предмете. Они слепо верят модели и инструменту, не парятся про его качество, оголтело и настойчиво впаривают его для любых целей, т.к. франшизу надо отбивать

  • Как следствие, производители не парятся про это самое качество и легко переводят тест на 50 языков сразу. Их беспокойство вызывает только качество текста отчета. Эффект Барнума никто не отменял - тут надо напрячься!

  • А надежность и валидность локальной версии не имеет ни малейшего значения (для особо умных имеется технический отчет для оригинальной англоязычной версии).  Вот один из миллионов пруф-линков по теме - TTI - ребята в одну кучку сложили, что Бог послал, и выдают за доказательства валидности (ересь полная)



2) Scientific driven tools. Характерные признаки:

  • Жили-были какие-то серьезные и знаменитые ученые психологи со степенями и реальным научным авторитетом. Путем сложнейших и глубоких научных изысканий они вывели замечательную модель личностных качеств

  • Чаще всего это довольно оригинальное решение, но значительно более трудное для освоения и использования, чем модели из первой группы (классика жанра - 16 факторов Кеттелла)

  • На основе модели был разработан сложный и правильный инструмент, который постоянно совершенствовался и соответствовал всем передовым веяниям в психометрике. В этой группе опросники снова популярнее, но и хитовые тесты встречаются (типа VMG и NMG)

  • Популярность этих инструментов разная, но среди них есть и очень популярные. Правда популярны они скорее в среде профессионалов, которые знакомы с оценкой персонала, и психологов всех мастей

  • Время заполнения этих инструментов стабильно больше -  от 20 минут до 1 часа

  • Отчеты тоже стараются делать "богато", но там много информации про "процентили", "факторы", "шкалы", "ошибку измерения" и т.п.

  • Маркетинг построен на доказанном качестве, психометрических характеристиках и революционных научных достижениях.

  • В качестве референсов чаще используются корреляции с такими же крутыми и авторитетными инструментами, ссылки на нейро-связи встречаются крайне редко

  • Партнерские программы встречаются очень редко. Чаще такие инструменты продаются через представительства или эксклюзивную франшизу (нужно держать качество).

  • Исследования качества инструмента в конкретной стране опережает его выпуск на рынок (не всегда, но часто). Сначала проверяют, как работает, а потом только начинают продавать




Оборотная сторона медали и здесь имеется

  • Модели, на которых основаны тесты, часто перегружены и сложны для понимания. Запомнить их даже после сертификационного тренинга сложно. Значительная часть факторов слипается в голове у реальных пользователей, что несколько "подмачивает" блестящую научную значимость модели

  • Гонка за прорывными психометрическими решениями также сильно обгоняет способности HR к пониманию техно-инноваций. Например, ипсативно-нормативный OPQ 32r - революционное решение, придуманное российско-британским психометристом Анной Браун, понять которое без поллитра может только сильно продвинутый фанат.

  • Эта же экстра-сложность позволяет наводить туман в вопросах качества оценки, где даже продвинутые плавают. Например, те же британцы утверждают, что для нормирования ипсативных опросников нужно не менее дюжины шкал (а лучше 32 :)). А известная российская организация, делающая ипсативные опросники, обходится и 5 шкалами, и в ус не дует. И кто из них прав никто кроме горстки людей во всем мире и не разберет

  • Долгое время заполнения хорошо влияет на качество инструмента. Но это хуже для участников - они устают и жалуются.

  • Отчеты читать труднее. Понять процентили со стенами, учесть ошибку измерения - всё это непросто для непосвещенных

  • Научный крен привлекает к этим инструментам "одержимцев" технократического толка. Критичных, недоверчивых и живущих в параллельных мирах. Правда их намного меньше, чем некритичных фанатов DISC и Structogram

  • Наукообразный маркетинг является серьезной преградой для массовости. Только единицам удается соблюсти баланс и упаковать свои научные прорывы в красивый фантик

  • Заказчиками и партнерами таких инструментов намного реже бывают SMB, индивидуальные предприниматели и проч. Ресурсов требуется много, а отдачу увидеть не так-то просто.

  • Да и необходимость исследований при локализации версий под новые языки и перевод отчетов и мануалов слишком дороги для неискушенных и нефанатов.

______________________

Пожалуй, этот способ деления на "научных" и "маркетинговых" подходит не только для инструментов, но и для компаний, которые их производят и продают (исключение составляет CPP / OPP - большая помойка, где были куплены права и на научный 16pf, и на попсовый Томас-Килманн (TKI) с MBTI в придачу).

Какая из моделей правильнее, сказать непросто. Я про себя понял, что всегда являлся поклонником второго подхода со всеми его плюсами и минусами. Я всегда с пренебрежением относился к первой "маркетинговой" категории. Хотя сейчас, разложив их по пунктам, я стал им более лоялен - такая бизнес-модель имеет свои плюсы.



Если посмотреть на чисто финансовую сторону, то вторая модель явно выигрывает. У крупнейших поставщиков проходят десятки миллионнов тестирований в год. Самые масштабные сделки по слияниям и поглощениям случались именно с "около-научными" компаниями - SHL купили больше чем за 600 млн. долларов, Kenexa была куплена за 1,3 баксов (правда там больше было заплачено за софт, но всё же).

Оно и понятно - покупали их айтишники и консультанты, которые сами технократы и верят в Big Data и Talent Analytics. Они понимают толк в данных и готовы платить за их качество осмысленные деньги.

"Маркетинговые" инструменты и компании оказываются  для инвесторов менее привлекательными (вероятно из-за сходства бизнес-модели с вещами типа MLM). При этом их популярность продолжает расти, а их топы не перестают строить грандиозных планов на будущее.


Короче, холивар во всей красе! Как спор фармабизнеса и народной медицины. Посмотрим, что будет дальше


UPD: вышел Стандарт тестирования персонала - похоже, marketing driven подход теряет очки...