my photo

Экспертная оценка в MMA (смешанных единоборствах)

Американские MMA - одно из самых прогрессивных и бурно растущих движений в современном спорте. Сейчас они демонстрируют очень интересный пример попытки навести порядок с экспертной оценкой. Статья лежит тут (англ.) http://www.foxsports.com/ufc/story/ufc-new-jersey-experiments-with-revolutionary-new-mma-judging-system-102615?cmpid=tsmtw:fscom:ufconfox

В мире единоборств тема судейства крайне болезненная. Думаю, что намного хуже, чем в ассессмент-центре, так как каждый раз оценка является публичной (все видели бой и все видят итоговую оценку). И эта оценка часто бывает крайне неожиданной и спорной.

Donald Miralle/Zuffa LLC

Суть "инновационных нововведений" американцев сводится к следующим простым пунктам:

  1. Посадить судей в звуконепроницаемые кабины. Зачем? Чтобы крики публики не влияли на решения - ведь всегда есть свои фавориты и нелюбимчики, есть земляки и национал-предатели. И реакция публики на их действия может быть никак не связана с тем, что они делают в ходе боя.

  2. Оценку делать только по видео-протоколу. Зачем? Чтобы обзорность у судей всегда была наилучшая и, что самое главное, одинаковая. Сейчас они сидят в разных местах рядом с рингом и часто могут быть на противоположной стороне от событий.

  3. (в неявном виде присутствует) Посмотреть на согласованность экспертных оценок при наличии одинаковых условий по обзорности. Назначение этого пункта скорее исследовательское. Но это, безусловно, самое главное. Пока три судьи не будут выдавать плюс-минус одинаковый скоринг, вся эта лавочка выглядит крайне несерьезно.

Думаю, что специалистам по оценке стоит всерьез интересоваться подходам к судейству спорта. Ведь это тоже по сути своей оценка персонала - просто спортивного. И у них с темой справедливости всё намного жестче и конкретнее. (Пойди выведи вас на чистую воду, если вы неправильно оценили менеджера... Правда уверен, что и такие времена не за горами).

Понимаю, что все эти истории существенно увеличивают стоимость работ. Но в тех сферах, где люди серьезно относятся к результатам оценки экспертов, явно прослеживается тренд в сторону усложнения работы ради повышения качества. Иначе миллионы зрителей в конце могут увидеть вот такую картинку...
Взято из http://bryceedminister.blogspot.ru/

Публичность и открытость - лучшее лекарство от ловкачей-экспертов с метким глазом (писал об этом еще тут http://assessment-ctr.livejournal.com/8645.html)
my photo

Байхем уходит из DDI

В DDI, одной из старейших и крупнейших специализированных оценочных компаний, сменилась топ-команда. В частности, в отставку ушел Билл Байхем (Bill Byham), основатель компании и главный популяризатор ассессмент-центров во всем мире. Его пост займет дочь Тейси Байхем (новость здесь).

Без преувеличения, Билл - это целая эпоха в развитии оценки персонала. Именно он 1970 году написал статью для Harvard Business Review, где понятным языком рассказал про ассессмент-центр и замечательные результаты исследований с его использованием . Те самые проекты в AT&T 1950-60 гг., в которых получились значимые корреляции между АЦ и будущим проф.успехом.
По удивительному стечению обстоятельств :) вскоре после статьи появилась DDI, которая успешно развивалась и стала одним из монополистов на рынке экспертной оценки управленческого потенциала.
В 1973 году прошел первый Международный конгресс по методу ассессмент-центра, который в дальнейшем стал ключевой площадкой по научно-практическому развитию экспертных подходов к оцениванию.
Билл был непосредственным организатором этого и всех последующих 37 (!) конгрессов (на фото он держит табличку вместе с Дугласом Бреем, со-основателем DDI и тем самым человеком, который проводил исследования АЦ в AT&T и американской армии).

.

В 1975 году появилась первая версия руководства по применению АЦ - сейчас доступна уже 6-я версия (см. здесь). И тут Билл был одним из зачинателей и продолжателей этой системообразующей работы.

Он же, к слову, был одним из первых методологов знакомого всем интервью по компетенциям и еще целого ряда современных HR технологий, написал кучу книжек и научных работ. Он же оказался отличным маркетологом: популярность и "безоговорочная валидность" ассессмент-центра - это его рук дело.

В России он бывал несколько раз, в последний приезд в прошлом году на конференцию по HR аналитике. Какого-то сверх-большого бизнеса ему тут сделать не удалось ИМХО, по-моему, он  просто не видел здесь больших перспектив для своих проектов с очень убедительным ценником. Но к РФ и её обитателям относится с симпатией, как мне кажется.


Есть у меня тут одна фоточка с ним - прямо с той самой конференции.

А еще есть такой прям исторический документ - Билл поддерживал наш проект по разработке первого Российского стандарта центра оценки. И хотя развернутую рецензию из него вытрясти не удалось, но зато заполучили вот такой лестный автограф:


Best Standard in the World. Bill Byham


Возвращаясь же к новости о смене руководства, рекомендую очень занятное интервью с Тейси Байхем (можно прочесть здесь).

Как и всегда, особую гордость у сапожников вызывает то, что они сами в сапогах. В DDI решили поломать стереотипы про то, что об уходе нужно говорить всем не больше чем за месяц (чтобы не потерять управляемость и не дезориентировать подчиненных о точке принятия решений). Они анонсировали событие за 2 года до, а дальше кандидаты на топ-позиции работали в двух должностях сразу, занимаясь так называемым "шедоуингом", ходя следом за своими наставниками на все ключевые встречи и выполняя часть работы. Вроде пока кейс оказался удачным - посмотрим, что будет дальше с компанией. Желаю им успехов!
my photo

Неосознанная недокомпетентность

Главное ограничение развития оценки персонала на нынешнем этапе - неосознанная неДОкомпетентность значительного количества ярких и влиятельных профессионалов в HR сфере. Как в том известном квадрате, только с приставкой "до".

Уже тренинги по оценке проходили, с провайдерами десятки раз работали, сами провайдерами поработали, но чего-то главного так и не поняли. Несколько простых следствий (их, вероятно, много):

  1. Вникать в инструментарий не нужно - чё там нового? Всё уже давно известно. Ассессмент центр - это ассессмент центр, 360 - тоже ясно, тесты - тут все вообще прозрачно. Купи нормальный бренд (провайдера / тест) и не парься о ерунде. Думай о пользе для бизнеса / о HR партнерстве / больших данных / о коммуникации результатов.

  2. (снова здорова) "У вас оценка потенциала плохо бьется с текущей результативностью. Нет, понятно, что не должна биться, но как-то нехорошо это. Бизнес не поймет. Команда показывает хорошие результаты, а средние значения ниже остальных - как так?"

  3. Основы статистики - зачем, когда тут данные элементарные? Вод биг дата - это да. (при этом рассчитано среднее по нескольким группам, в каждой из которых выборка не превышает 10 человек; и на основании этого делаются выводы о межгрупповых различиях)


Короче, опасно это очень. Ибо:

  1. В оценке персонала еще не изобрели ни одного точного душемера - весь инструментарий пока слабенький. И ограничений у него больше, чем назначений. Чтобы правильно спроектировать процедуру и ожидать адекватных результатов, нужно залезать в самое нутро каждого из инструментов и делать серьезную ревизию, прежде чем клепать выводы. Нужно знать и уметь применять стандарты (см. 1 и 2). Не хотите это делать сами - нанимайте в команду людей, которые будут разбираться и делать это прилежно.

  2. Да не должен потенциал коррелировать с текущей результативностью. Может, но не должен. Конкурентный и прогностический дизайн исследования - это разные вещи. Если вы используете тесты способностей, а потом бизнес начинает на вас наскакивать про то, что люди на самом деле умные, то умейте держать удар. Не про ум речь, а про РИСКИ при дальнейшем продвижении человека.

  3. Основы статистики придется учить. Бог с ним, с факторным анализом и IRT, но basic statistics нужно понимать и уметь правильно применять. Это базовое "гигиеническое" требование. Как мытье рук перед едой - не обсуждается. Иначе вы из окружающих делаете лохов (или ловкие окружающие из вас) .


Даешь осознанную некомпетентность в массы!
my photo

О моде на копание в компетенциях

Еще лет 7 назад разработка модели компетенций была супер-серьезной историей. Модным было затевать большие проекты с помпой и вовлечением всего персонала сверху донизу. Тогда же шли страшные бурления на тему того, что же есть такое "компетенция".

Cамый мощный исторический документ на тему - это материалы МГУшного круглого стола, который собрал очень репрезентативную тусовку, и результат которого стремился к нулю (исключение - занятная статья-рефлексия, вышедшая в 2014 г.). Обязательно почитайте дискуссию при случае - полифония впечатляет.


(с) ShutterStock

Сейчас маятник качнулся в другую сторону. Мне так кажется. В массе своей и HRы, и вендоры, и даже ученые расслабились и перестали искать точное определение. Каждый стал использовать то, которое больше нравится. Получилось ровно как советовали неглупые голландцы в статье "Что есть компетенция? Конструктивистский подход как выход из замешательства". А именно - забить и использовать то определение, которое подходит к вашему контексту и ситуации.

Правда на этом смелом и безоглядном пути мы слегка переборщили. Что я имею в виду? А то, что модели компетенций стали настолько будничным расхожим предметом, что не только к определению понятия, но и к разработке моделей перестали подходить всерьез. У каждого HR-а на флешке имеется этих моделей в количестве >10 штук. Интернет битком. Есть исключения в крупных компаниях, их немало, но практики в массе своей на эту тему не напрягаются. Зачем делать, если получится на 80-90% то же самое, что у меня уже есть на флешке? Да и вообще всё всем давно известно про эти компетенции.

Что меня тут тревожит? То, что специалисты до сих пор не научились различать две базовые ситуации проектирования компетенций:

  1. Нужна "большая корпоративная история" - от ценностей компании к поведению сотрудников, с вовлечением топов и красивыми коммуникационными плакатами, с массовыми оценочными проектами ради кадрового резерва и параллельного промоушена модели.

  2. Нужно решить конкретную оценочную задачу - отобрать кандидата на должность технического директора завода. Тут "большая история" не требуется, а нужны понятные критерии оценки, которые отличат лучших в конкретной ситуации.

Ну так вот - копипаст в первой ситуации теоретически возможен. Это плохо, но не катастрофа. Ведь тут главное - это вовлечение и идеология, а не кастомизация. Когда у тебя большой масштаб, коммуникация имеет бОльшее значение, чем точность оценки. Звучит как крамола, но это близко к правде. Главное, чтобы большинство поняло и начало работать с компетенциями.



Во второй ситуации копипаст СТРОГО ЗАПРЕЩЕН. Нужно вникать в конкретную ситуацию, подбирать очень точные формулировки, которые отвечают запросу. Брать их нужно из полноценного анализа проф.деятельности - всё как по стандарту центра оценки (см. главу 3.1.2). Коммуникации тут стоят на десятом месте, главное - разобраться в требованиях к конкретной профессии.
______________

Какие следствия имеем из нынешней антимоды на определения компетенций и на их разработку по классике (behavioral event interview, МакКлелланд, все дела)? С одной стороны, быстрота реакции HR на запрос бизнеса. Это ок. Но с другой стороны, полная неготовность разбираться в особенностях ситуации и в конкретной профессии. В итоге, для второй ситуации (оценка на конкретную позицию) часто используются чужие непродуманные модели, в которых нет ни кусочка из сравнения лучших со средними... И модели вполне могут не работать.

Другая не менее тревожная тенденция - деградация полноценного анализа проф.деятельности. Вещь это непростая и нудная: анализ требует и навыков,
и ресурсов, и Культуры работы. На заре развития темы все с остервенением читали Спенсера и Спенсер - там всё по-взрослому написано, и призыв авторов к порядку вполне работал.



Кажется, что нынешний спад интереса к уникальности темы сильно пригасил и желание читать книжки. Мы очутитлись на каком-то промежуточном этапе - массовость есть, а нормальные стандарты качества работы еще до людей не дошли. Проф.сообщество у нас в целом не слишком образованное и любые упрощения воспринимает "на ура". В итоге, массовый специалист по оценке и HR довольствуются малым: спросили у бизнес-заказчика, что ему надо, согласовали драфт откуда-то взятой модели и пошли оценивать. И желание, и навыки правильного проектирования порастеряли.

Очень может быть, что это моё личное ощущение. Ведь, например, аналитический отчет "Центр оценки: современная практика применения в России" показывает вполне утешительные цифры: анализ профессиональной деятельности в том или ином виде проводится в 77,9% случаев (стр. 22). Но я подозреваю, что тут соц.желательность победила правду - трудно публично признаться, что ты не делаешь очевидно необходимого. Или за анализ люди принимают согласование модели с бизнесом в ходе "интервью" - его проводят 88,3% делающих анализ проф.деятельности.

Интересно обменяться мнениями - может это у меня какие-то старперские загоны начались де раньше трава была зеленее? Как обстоят в вашей организации дела с проведением полноценного job analysis для оценки кандидатов на конкретные целевые позиции?
my photo

Time horizon: перспективный конструкт в оценке персонала

В оценке самое интересное - это "ЧТО" оценивать?
Последние полтора года в российских огородах стали пробиваться ростки концепции, которую в народе называют RO или Requisite organization​. Это серьезная теория из области менеджмента, автор Eliott Jaques (Эллиот Жак). То, что тема крутая, можно понять, например, по небольшой заметке в The Economist.


(с) requisite.org

В концепции среди прочего содержится заявка на новый конструкт, крайне важный для оценки и отбора людей. Это так называемый "time horizon" - способность удерживать в сознании определенную временную перспективу. По-другому - способность решать задачи определенной длительности.

Тема эта крайне интересная и перспективная. И при этом опасная. Почему?

Во-первых, она в отличие от многих психологизированных конструктов, абсолютно понятна "бизнес-заказчикам". Может человек решить задачу, которая решается за два года или нет? Всё просто и прозрачно.
Во-вторых, из этого следует, что у каждого "эксперта" найдется, что сказать по этому поводу. Вот, например, недавно вышла статья в "Ведомостях" - там это крайне неаккуратно и спутано написанно, не смотря на то, что Home Credit Bank очень серьезно и профессионально подошел к вопросу. Привожу тупую редакционную картинку, из которой очевидно, что художник вообще не разобрался в вопросе (равно как и журналист с комментаторами):

(с) А. Таранов. Ведомости

Не про IQ речь, не про интеллект и общие способности! Это принципиально иной конструкт.

В-третьих, time horizon НАПРЯМУЮ бьется с задачами орг.проектирования. Time horizon сотрудника должен быть сопоставлен с time span позиции в организации (задачи какой длительности должны решаться в рамках этой должности). Никакие другие конструкты в орг.психологии таким свойством не обладают (ни компетенции, ни способности, ни вовлеченность). Это означает, что реально появляется возможность вести орг.проектирование вместе с отбором, создавать орг.структуры, в которых могут содержаться конкретные требования к людям.

В-четвертых, автор концепции утверждает, что time horizon не развивается усилиями T&D. C каким временным горизонтом стартовал лет в 20 - можешь уже заранее предсказать, до какого горизонта доберешся.


(с) Requisite Organization Institute

На картинке по оси Х отложен возраст человека, а по Y - временной горизонт. Если Вы в 20 лет стартуете, например, с 1 года, то к 70 годам можно дорасти до 10-летнего горизонта :) "А после из прораба до министра дорастешь", короче.

Это, конечно, крайне резкое утверждение, даже немного дискриминационное. С ним хочется поспорить и запросить доказательную базу. К слову, эта база имеется и довольно неплохая (начать можно с книги). Не могу сказать, что меня убедили, но обсуждать там есть чего.


В-пятых, видимая простота истории - только видимая. Так как и сама теория, и способ оценивания конструкта требуют серьезной проработки предмета. Очень серьезной. Для оценки time horizon требуется умение различать разные способы мышления: декларативный, кумулятивный, последовательный, параллельный. Это основополагающая конструкция в модели RO. Давайте разберем их внимательнее:

  1. Декларативный, дискретный (declarative) способ мышления - человек видит набор проблем или приводит набор аргументов, не связанных между собой.

  2. Кумулятивный (cumulative) - человек формирует вывод на основе анализа  и синтеза внешне разрозненных фактов и симптомов. Предлагает логичный вывод, объясняющий происходящее.

  3. Последовательный (serial) - человек создает сложную цепочку рассуждений, где каждый последующий тезис вытекает из предыдущего. Цепочка глубже простого линейного вывода.

  4. Параллельный (parallel) - сценарное моделирование. Человек одновременно (близко по времени) осмысливает разные альтернативные сценарии / цепочки рассуждений.

Эти способы мышления соотносятся с временными горизонтами. Смотрим табличку ниже:




Получается, что уровень должности задается в конечном итоге через "Complexity of information processing". А time horizon (временной горизонт) является его "операционализацией" (одним из внешних проявлений).

Теперь главный вопрос - как это измерять? Ответ - с помощью специально спроектированных интервью, а также опроса непосредственных руководителей кандидатов. Во всяком случае, так рекомендуют делать их гайдлайны. Есть еще идея зайти на тему со стороны психометрики. Мы в процессе разработки пилотного инструмента - уже сейчас очевидно, что дело это крайне непростое.


Завершить тексто хочется оворками и небольшой критикой.

  1. Надеюсь, после прочтения поста стало понянтно, почему модель еще не очень раскрученная. Причина проста - это целостная система, в которой каждое употребляемое слово - это понятние. Причем встроенное в сложные взаимосвязи с другими понятиями. Если хотеть этим пользоваться, нужно грохнуть много месяцев на детальный штудирунг крайне непростых текстов.

  2. По этой причине сама модель не прошла масштабной верификации силами независимых исследователей и консультантов. Многое нужно перепроверять - слишком уж жестко и догматично там многое сформулировано. Фальсификация гипотез - наше всё :)

  3. Вопрос о природе самого конструкта time horizon и способе его измерения также требует серьезной научной работы. Современные когнитивные психологи найдутся, что сказать по поводу 4-х способов мышления. Что не отменяет возможности начинать его использовать в практике и внимательно смотреть за результатами (в России я слышал как минимум о трех компаниях, которые внедряют RO у себя - Home Credit Bank, Северсталь, Свеза).



Где почитать подробнее? На русском серьезных источников крайне мало.

  1. Достаточно подробная статья о Жаке и RO на сайте HRM.ru

  2. Заметка в журнале Esquire - коротко и содержательно

  3. Кусочек есть в статье П. Безручко "Ключевая формула" (к выходу готовится вторая часть статьи, где будет подробнее про оценку)


На английском, конечно, нужно читать базовую книгу Эллиота Жака "Requisite Organization: A Total System for Effective Managerial Organization and Managerial Leadership for the 21st Century". Книга - крепкий орешек, но кто осилит, тот будет молодец.




P.S. Кстати Эллиота Жака называют автором термина "кризис среднего возраста". Умел же человек уверенно распространять свои идеи на все возможные сферы жизни... :)
my photo

Метод Грёнхольма: взгляд оценщика

Приехал на Омский кадровый форум. Организаторы любезно позвали в Омский драматический на "Метод Грёнхольма" (вроде такой же идет в Мск в Театре Наций). Сюжет спектакля - оценка кандидата методом наваливания на него провокационных задачек по мотивам личностных тренингов. И с большим количеством группового давления от ролевых игроков .



По итогам просмотра появилось несколько проф.размышлений:

  1. Драматизьму ассессментам всё же не достает. Нет там глубокой человеческой проблематики. Даже при использовании подходов за гранью этики. Хорошей пьесы на таком материале не сыграешь...

  2. И слава Богу, что это так!! Там и не должно быть глубокой человеческой проблематики. Если в ваших центрах оценки / интервью начинает лезть глубинная человеческая проблематика, Вы вышли за границы разумного. Т.е. за рамки ТЕХНОЛОГИИ. А за её рамками искусство, которое каждый оценщик волен интерпретировать по-своему. Получается неотчуждаемая от головы конкретного оценщика вещь, что в общем случае - зло!

  3. Использование "нефейсвалидных" методик выглядит всё более диким. Переговоры о том, кого скинуть с воздушного шара, чтобы не разбиться всем, кажутся привлекательными только некоторым одержимым тренерам-фасилитаторам, промышляющим на ниве оценки.

  4. Убежденность в том, что в любой групповой динамике человек как на ладони, глубоко ошибочно. Пока не стандартизируешь условия сбора данных, не суйся в оценку.

  5. В спектакле есть эпизод попытки "сведения" оценок. Его убогость столь несоразмерна проделанным усилиям по испытаниям кандидата, что диву даешься. Понятно, что это режисерский и сценарный косяк. Но для проф.целей можно тоже сделать понятный вывод - если не готов серьезно инвестировать в калибровку экспертных оценок, не устраивай экспертную оценку ВООБЩЕ!


Вот как-то так.... По этой пьесе сделан фильм - он легко гуглится. Рекомендовать к просмотру мне сложно - см. пункт 1 проф.размышлений.

А вот видеоролик этого спектакля в исполнении какого-то лысьвенского театра драмы ))
my photo

Фенотипология + центр оценки =

Ну что, начнем год с хорошего? :) Я периодически мониторю сайты компаний, которые занимаются оценкой. И иногда находки доставляют, просто очень...

Итак, услуга в студию. Оценка "без вопросов" - это её название. Услугу предоставляет новосибирская компания HR-trend. Описание таково - "инновационная технология диагностики качеств и способностей человека, основанная на двух научных методах: фенотипологии и видеокомпьютерном психоанализе.

phenotype
(с) РЕН ТВ

Оценка "без вопросов" на основе визуальной психодиагностики позволят за один день «пристально» рассмотреть около 15 кандидатов и выявить только тех, кто четко соответствует профилю Вашей вакансии."

Вообще жара!

И это у ребят, у которых в закромах имеется и ассессмент центр, и 360. Не берусь судить о целебных свойствах фенотипологии, но мешать ЭТО в один флакон с традиционными западными инструментами - явный перебор. "Либо снимите крестик, либо оденьте штаны", как в том анекдоте.

И, конечно, хотелось бы лично познакомиться со специалистом, который в понедельник ассессит, а во вторник фенотиположит. Это прям спецназ от оценки.

Госпожу Свитковскую, ГД компании, можно понять - диверсификация нынче в моде. Но всему есть предел, и эта история больше похожа на расщепление сознания, чем на расширение продуктовой линейки.

Про саму же фенотипологию и видеокомпьютерный психоанализ (я так понимаю, это тов. Ануашвили) судить пока не возьмусь. Но методы эти, мягко скажем, не общепризнанные. Ну и способы продвижения выглядят весьма спорно. Нашел очень показательный фильмец на РЕН ТВ с типа автором типа фенотипологии тов. Лучиным (там кстати фигурирует и центр оценки как одна из альтернатив чудо-методов).



Показательный пример диагностики на 24-й минуте. Вот как решается судьба человека ))
my photo

Области для развития vs Слабые стороны

Заполнял тут 360 градусов на себя и коллег и задумался... Что относить к  "области для развития"? То, что является очевидной проблемой, но при этом вряд ли поправимой? Или то, что вполне можно изменить в себе / другом?

Плюсы первой стратегии понятны - обратная связь становится информативной. Если все согласованно просигналят коллеге о его "слабых сторонах", то есть шанс, что он(а) что-нибудь, да и поменяет. Пусть не то, о чём говорили, но хоть что-нибудь. Минус - умные книжки советуют так не поступать. Типа так:

change

Да и самому кажется, что второй путь вроде логичнее первого. Чего шуметь о том, что не изменить?

Но тут есть подстава. У каждого сотрудника может быть своё индивидуальное представление о том, что можно поменять, а что нельзя. И в итоге фидбэк будет несогласованным - каждый будет петь про свою дуду.

А то и того хуже - весь список может оказаться "слабыми сторонами", а не "областями для развития". Следовательно вообще не имеет смысла что-то отмечать в эту зону, и она окажется пустой.

Дилемма...
my photo

Игры в оценке персонала

HR сообществу всё больше нравится идея использовать игры для оценки. Компьютерные, настольные, серьезные и несерьезные. Хочу авторитетно заявить - это делать можно, но это очень опасная штука. ОЧЕНЬ!



Опасна она по двум причинам:
1) Люди, не разбирающиеся в оценке, могут легко заходить на эту территорию и пудрить людям мозг (таковыми часто являются разработчики игр, айтишники, бизнес-тренеры). Уверенность рассказа об игре и её чудо-возможностях незаметно становится компетентностью в оценке. Чаще это не так.
Мой опыт общения с подобными разработчиками говорит, что они не в курсе про основы основ типа надежности-согласованности, стандартизации и нормирования. И не только не в курсе, но и не считают нужным быть в курсе.


2) Возможность наблюдать яркие проявления людей в ходе какой-угодно деятельности еще не означает, что деятельность эта пригодна для ПРОФЕССИОНАЛЬНОЙ оценки.
Ключевая проблема всех игр (с точки зрения оценки) - высокая вариативность действий пользователей (а следовательно - низкий уровень стандартизации процедуры оценки). Каждый участник ходит по своей "дорожке", и каждую дорожку очень трудно объективно сравнить с соседней. Получается игра в неравных условиях.
А чтобы она была равной, нам нужно иметь гигантские выборки и целую лабораторию аналитиков, которые это будут обрабатывать.



Просто задумайтесь на секунду, почему такой монстр оценочной индустрии как SHL только сейчас начал продавать Serious Games как сервис? А у них на R&D отпущены гигантские ресурсы. Причина проста - это очень дорогая и неоднозначная штука. Надежность у таких инструментов чаще всего ниже плинтуса. А чтобы её поднять, нужно полностью убить веселый gameplay, придуманный сценаристами и игровиками.

Даже у простейшего варианта симуляций - кейс-тестов (SJT) надежность редко поднимается выше 0,6 (по стандарту должно быть хотя бы 0,7).


ВЫВОДЫ:

  1. Если вы не хотите бодать лбом стену, лучше не используйте игры для оценки, особенно для отбора, особенно компьютерные симуляции.

  2. Если всё же невтерпеж, то обязательно привлекайте к выбору и апробации профессиональных оценщиков, не ведущихся на фантик, а умеющих разобраться в начинке.