Как лучше всего оценивать игру: проблема критериев (часть 2)

Вступление

В этой части статьи я хочу уделить внимание ряду технических аспектов оценки настольных игр. При этом, кроме заявленных в первой части статьи вопросов, я также постараюсь рассмотреть три ситуации оценки: а) в маркетинговом исследовании, б) для составления рейтинга (например, на каком либо сайте), в) при написании отчетов.

Но перед этим…

Фидбэк навеял

…хотелось бы коснуться проблемы тематичности/абстрактности настольных игр. Последнее связанно с новыми мыслями, на которые меня натолкнули некоторые комментарии.

В представленном ранее определении (игровая легенда и те способы, которыми она отрабатывается) я смешал понятия тематичности и атмосфености. То есть, я рассматривая их как синонимы, в то время как они обозначают хоть и связанные, но отдельные составляющие игры. Атмосфера (или сеттинг, этот термин я и буду использовать в дальнейшем) априорно задается тематикой игры. С другой стороны, абстрактные игры, не привязанные к определенной теме, также могут иметь свой сеттинг. Примером такой абстрактной игры является печально известный Риск, классический вариант которого можно подогнать под множество различных оформлений. Справедливости ради хочу заметить, что «прокачанные» варианты Риска, например в сеттинге недалекого кибернетического будущего или затерянного в мифах прошлого, не так уж и унылы, как принято считать.

Исходя из этого, я остановлюсь на следующих положениях. А) Сеттинг достаточно сильно (а иногда полностью) зависит от оформления игры, что не отменяет случаев когда сеттинг и игровые техники имеют отдельные двухсторонние связи (в том же классическом Риске получение бонусного количества армий за контроль континентов продиктован скорее реальной логикой гипотетического завоевания мира, чем некими абстрактными правилами). Б) Тематичность в равной степени связана как с оформлением (внешнее выражение – адекватный текст и арты), так и с геймплеем (внутренее выражение – соответствие игровых механик конкретной теме). В этом смысле она намного сложнее сеттинга. Во-первых, она (в качестве некоторой внешней по отношению к игре легенды или реальной истории) предшествует созданию игры. Во-вторых, с большим или меньшим успехом реализуется в самой игре благодаря оформлению и соответствующему геймплею.

Из представленных размышлений логически вытекает одна из возможных типологий игр (это конечно отдельный долгий разговор), связанная с континуумом абстрактные – тематичные, по середине которого находятся по своей сути скорее абстрактные, но хорошо стилизированные в определенном сеттинге игры.

Но что же это значит для оценки? Мое личное мнение, что если и есть смысл вводить такой критерий оценивания как «тематичность», то лишь для игр конкретной категории. Что касается абстрактных игр, можно ограничиться ГОК-ом Бруно (геймплей, оформление, комплексность).

Но все это скорее лирическое отступление, вернемся к анонсированным вопросам. И начнем мы с «ужасающей» схемы 😉

Вариант 1: Маркетинговые исследования и большие схемы


 Данная схема (как и некоторые дальнейшие идеи) позаимствована из статьи Ричарда Оливера «Изучение удовлетворенности потребителей». На самом деле она достаточно простая и я коснусь лишь двух основных ее аспектов.

Во-первых, она состоит из трех частей:

  1. Условия, предшествующие покупке, и сама покупка (predisposing conditions, purchase/consumption).
  2. Процесс формирования удовлетворенности/неудовлетворенности  товаром (post-purchase observations, consumption processing, satisfaction formation).
  3. Последствия (consequences).

Во-вторых, в схеме есть ряд ключевых элементов: ожидания (expectations), субъективное опровержение (subjective disconfirmation) и удовлетворенность/неудовлетворенность (satisfaction/dissatisfaction). Эти элементы составляют причинную модель позволяющую понять особенности формирования удовлетворенности товаром. Ее суть заключается в следующем: у человека имеются определенные ожидания относительно товара, которые он субъективно сравнивает с характеристиками товара уже после приобретения, что в итоге приводит к опровержению ожиданий (положительному, нейтральному или отрицательному) и соответствующей удовлетворенности.

В-третьих, объективному опровержению (фактически объективной оценке) отводится второстепенная роль. Собственно, объективное опровержение может иметь место только в тех случаях, когда товар имеет некоторые физические или материальные показатели, относительно которых имеются ожидания покупателя и которые он может измерить. Например, расход топлива автомобилем. Ожидали одно, получили второе, сравнили, выяснили фактическую величину несовпадения, получилось лучше чем ожидали — хорошо, получилось хуже — плохо.

Как все это касается оценивания настольных игр?

Думаю, ни у кого не возникнет возражений, что оценка игр дело глубоко субъективное. Поэтому именно модель субъективного опровержения должна быть использована в исследовании удовлетворенности покупателей настольных игр. При этом важно не только задать все необходимые вопросы, продиктованные схемой, но и отобрать главные характеристики соответствующего товара, т.е. настольных игр. Как некий минимум можно использовать ГОК Бруно. Ниже приведен пример только для первой составляющей ГОК-а (при этом я использую именно термин «геймплей», как если бы вопросы задавались игрокам с опытом), все остальные по аналогии.

Измерение ожиданий в отношении геймплея

Мои ожидания

относительно геймплея

этой игры были

очень низкими

1 2 3 4 5 6 7

Мои ожидания

относительно геймплея

этой игры были

очень высокими

Измерение геймплея, как воспринимаемой характеристики товара

Эта игра имеет

отстойный геймплей

1 2 3 4 5 6 7

Эта игра имеет

великолепный геймплей

Измерение опровержения ожиданий относительно геймплея

В смысле геймплея

эта игра оказалась

ниже моих ожиданий

1 2 3 4 5 6 7

В смысле геймплея

эта игра оказалась

выше моих ожиданий

Измерение удовлетворенности геймплеем

Я не удовлетворен

выбором этой игры

1 2 3 4 5 6 7

Я удовлетворен

выбором этой игры

Полученные данные анализируются с помощью множественной регрессии, в основном варианте которой в качестве зависимой переменной используется удовлетворенность покупкой, а в качестве независимых — ожидание и опровержение…

Вообще есть много всяких нюансов, связанных с использованием этой схемы, но я ограничился минимумом информации — если кто-то захочет ознакомиться поближе со всей этой «кухней», я могу выслать соответствующий материал на и-мейл.

Вариант 2: Разработка рейтингового оценивания

Как я говорил ранее, для определения рейтинга не подходят простые индексные измерения, то есть показатели, рассчитываемые как среднее значение входящих в них критериев. Не подходят хотя бы потому, что различные критерии имеют различную ценность для каждого конкретного игрока. Конечно же построение индексов повсеместно используется при составлении рейтингов, но если рейтинг серьезный, то и процедуры его разработки соответствующие (в том числе с определением удельных весов отдельных критериев).

Первый вариант решения этой проблемы заключается в использовании одной единственной рейтинговой оценки. На БГГ это просто «ваш рейтинг» с использованием 10-бальной шкалы. Каждый может вкладывать в «свой рейтинг» какое угодно понимание и(!!!) какие угодно критерии. Но здесь есть другая проблема, связанная с неконкретностью самой 10-бальной шкалы.

Во-первых, интерпретация одной и той же величины будет варьироваться от одного игрока к другому. Для меня, как человека достаточно «мягкого» в плане оценки игр 6 балов — это уже низкая оценка и я на БГГ ее ни разу не ставил (честно сказать игр я там оценил немного). Для кого-то другого 6 — это оценка для игры середняка, 7 — хорошей игры, 8 — отличной игры, 9 — гениальной игры, 10 — игры «моей мечты». Поэтому оценки оценками, а что за ними стоит непонятно. А теперь забудьте о том, что вы прочитали в этом абзаце… Добрый человек, известный под ником Романко, показали мне свет истины и таки да, на БГГ все четко — каждый бал детально описан. Перевел я все это следующим образом: 10 — Выдающаяся игра. Всегда хочется в нее сыграть и думаю это никогда не изменится. 9 — Отличная игра. Всегда хочется в нее сыграть. 8 — Очень хорошая игра. Мне нравится в нее играть. Возможно я бы ее посоветовал и в дальнейшем не стану оценивать ее хуже. 7 — Хорошая игра, обычно готов сыграть в нее. 6 — «Ok game», в некотором смысле забавная или занимательная, можно играть эпизодически под соответствующее настроение. 5 — Средняя игра, слегка скучноватая, мне бы было все равно есть она у меня или нету. 4 — Не очень хороша и не впечатлила меня, но при случае могла бы стать предметом интереса. 3 — Вероятно не стал бы играть в это снова, даже если бы меня попросили. Короче плохая игра. 2 — В высшей степени раздражающая игра, никогда не буду в нее играть больше. 1 — Игра, которой необходимо пренебречь. Хотите чтобы я сыграл? Да только через мой труп! Полностью поврежденная игра.

Во-вторых, нам ничего неизвестно о людях, которые голосуют на БГГ… Посмотрим на категории игр и их лидеров на БГГ (здесь я использовал гик-рейтинг, приведенный в каждой из категорий):

Geek Rating Название игры Категория игры  
8.296 Twilight Struggle War Games
8.191 Through the Ages: A Story of Civilization Strategy Games
 7.820  7 Wonders  Family Games
7.805  War of the Ring  Thematic Games
7.680  Time’s Up! Title Recall!  Party Games
7.617  TZAAR  Abstract Games
7.534 Warhammer: Invasion Customizable Games

Небольшое уточнение: в тематических играх я заменил War of the Ring Collector’s Edition на War of the Ring потому, что за вторую проголосовало в десять раз больше человек да и прыжок в 0,357 пункта можно объяснить исключительно как «look, it’s beautiful» 🙂

Данные таблицы показывают направление игровых предпочтений БГГ-шников (спекулятивно конечно, но как рабочая гипотеза пойдет). Соответственно, если я люблю тематичность, войнушки да еще и на уровне цивилизаций, так я и оценивать буду. Коллекционные игры вообще пасут задних… А шахматы! Вы это видели… всего 6.934 пункта и 236 место в общем рейтинге. Пусть мне после этого кто-нибудь укажет на рейтинг БГГ как источник мудрости 😉

Итог такой: к самой системе оценивания на БГГ претензий нет, к местным гикам есть.

Еще проблема. Хоть интегральная оценка как индекс, на основе разных критериев, как уже было неоднократно сказано, является неправильным подходом, она все же информирует нас о важных показателях игры, в то время как интегральная субъективная оценка, пусть и с детализированной шкалой, такой информации нам не дает. Решение этой проблемы очень простое, точнее их два. Можно либо оценить сначала критерии, а уже потом отдельно игру в целом, либо наоборот. На мой взгляд, лучше первой оценивать игру в целом. Дело в том, что во время любого опроса присутствует эффект контекстуальности ответов, заключающийся в том, что отвечая на связанные между собой вопросы респонденты используют информацию о более ранних ответах для того, чтобы отвечать на последующие. То есть нормальный гик, ответивший на конкретные вопросы об отдельных критериях, при последующей оценке игры в целом будет неосознанно в качестве ключевых факторов использовать именно эти критерии. Другие же критерии могут отойти на второй план, хотя бы они и имели важное значение для того или иного игрока. Последнее связано с так называемой «проблемой остатка»: мы можем подбирать различные варианты критериев, но универсальной системы для всех не создать, останется «остаток» специфичный для того или иного игрока. Если же интегральная субъективная оценка идет первой, этот «остаток» наверняка будет учтен.

Вариант 3: Подбор критериев для написания обзоров

Здесь буду предельно краток. Для написания обзора каждый в праве подбирать критерии исключительно из своих предпочтений и видения особенностей составления обзоров игры (Кэп негодует!!!). Тут какие-то верные варианты предлагать, а тем более учить как правильно просто глупо. Соответственно никакие «правильные» рейтинговые оценки или даже хорошо проведенные маркетинговые исследования не указ автору, который пишет обзор.

Заключение

Надеюсь, две части статьи показались интересными хотя бы кому-нибудь, а возможно даже оказались или окажутся полезными. Любая конструктивная критика или уточнения уместны и необходимы. Спасибо, что прочитали 🙂

18 комментариев на «Как лучше всего оценивать игру: проблема критериев (часть 2)»

  1. Dan:

    Насчёт тематичности конкретно риска: wargear (тчк) net — там на базе рисковской механики существует стотыщмильонов различных игровых полей разной степени клёвости/унылости, с возможностью самому создать и добавить новую. В том числе какой-то фанат абстрактных игр там упорно делает каких-то мутантов, не столько благодаря рисковской механике, сколько вопреки ей (например, он использует 0-стронние кубики)

    Насчёт связи темы и геймплея.
    Тут всё просто, на мой взгляд. Надо просто определить: курица или яйцо. Есть игры, где сперва появился сеттинг, потом под него заточили геймплей, а есть игры, где сперва разработали геймплей, а потом на него натянули сеттинг.
    Соответственно в первом случае сеттинг хорошо облегающе сидит на геймплее, но попытки его снять и заменить на другой приведут к тому, что сеттинг придётся отрывать с мясом.
    Во-втором случае сеттинг может болтаться и топорщиться, как не пришей кобыле хвост, но зато легко снимается и заменяется на другой.

      Цитировать  Ответить

  2. Dan:

    Насчёт связи темы и геймплея.
    Тут всё просто, на мой взгляд. Надо просто определить: курица или яйцо. Есть игры, где сперва появился сеттинг, потом под него заточили геймплей, а есть игры, где сперва разработали геймплей, а потом на него натянули сеттинг.
    Соответственно в первом случае сеттинг хорошо облегающе сидит на геймплее, но попытки его снять и заменить на другой приведут к тому, что сеттинг придётся отрывать с мясом.
    Во-втором случае сеттинг может болтаться и топорщиться, как не пришей кобыле хвост, но зато легко снимается и заменяется на другой.

      Цитировать  Ответить

  3. Dan:

    Насчёт тематичности конкретно риска: есть один сайт, ссылку которой не пропускает фильтр — там на базе рисковской механики существует стотыщмильонов различных игровых полей разной степени клёвости/унылости, с возможностью самому создать и добавить новую.

      Цитировать  Ответить

  4. Насчёт оценок: действительно каждый ставит оценку по своим критериам (того же максимума), например, кто-то никогда не поставит игре 10, а кто-то ставит 10-ки налево и направо. У одного идёт серьёзный анализ, у дрогого просто — понравилась, значит 10.

      Цитировать  Ответить

  5. Dan:

    По поводу всяких разных десятибальных, пятибальных и прочих шкал.

    Допустим, ты оцениваешь нечто, что до тебя оценило 1000 человек и средний бал получился 8.00
    Если ты поставишь меньше 8, то слегка уменьшишь рейтинг, если больше 8, то слегка увеличишь. То есть в принципе всё сводится к двум вариантам: опустить рейтинг или поднять.

    Предположим, что игра не понравилась, и ты хочешь опустить. Если ты поставишь 7, то опустишь всего на 0.001, так как имеющиеся уже голоса снижают ценность твоего голоса. Но если тебе хочется, чтобы твой голос всё-таки имел большее значение, ты можешь поставить 1. Рейтинг уменьшится на 0.007 — тоже мало, но в семь раз сильнее.
    Отсюда вывод: выгоднее всего ставить или минимальную оценку, или максимальную.

    Обратите внимание: раньше на ютубе была пятибальная шкала, а теперь стала просто нравится/не нравится.

      Цитировать  Ответить

  6. Serj:

    Dan,

    Нет, ну важно не опустить или поднять рейтинг (что еще за кингмейкинг 🙂 ), а дать свою оценку. И если копать глубже, то расчет среднего значения для порядковых шкал это не есть правильно (кто знаком с мат. статистикой поймет), поэтому для чистоты эксперимента лучше на график смотреть. А нравится не нравится — это решение конечно, но существенная часть информации теряется по причине уменьшения дробности шкалы. И как на основе этой оценки правильно составить общий рейтинг?
    Про сеттинг. Есть игры вообще без сеттинга. Например, шашки, пентаго или тот же ТЗААР.

      Цитировать  Ответить

  7. Dan:

    Один ставит игре свою взвешенную оценку, а другой ставит ставит кол — и перевешивает пятерых-семерых взвешенных. И ведь фиг докажешь, что он мухлюет. Всегда можно сослаться на «таково моё виденье».

    Про игры без сеттинга — это второй класс игр (геймплей первичен), на которые забыли натянуть сеттинг 🙂

      Цитировать  Ответить

  8. Только сложилось прочесть статью..
    Очень хорошо.
    Но исследование есть исследование и беглое прочтение ничего не даст — надо разбираться.. Надо было рубрику назвать «не для ленивых».. (шучу :)).
    ГОК мне кажется вполне разумной триадой критериев, но с учетом особенностей развития настольных игр можно смело говорить и о ГОКТ :). В то же время, я не уверен, что в интегральной оценке должна быть комплексность. Это зависит от геймплея и здесь балом должна править именно игровая механика. В общем, «кэп» при своей оценке ориентируется на ГО :).

    Насчет объективных критериев для отдельных индивидуумов — то все просто реализовано «рейтингами единомышленников :)» — как на фантлабе, например. Мне кажется, что роль субъективной рекомендации значимого человека важней порою самых универсальных рейтингов.и вот в «рейтинге единомышленников» это неплохо реализовано. Что-то вроде этого наверняка намечается у Тесеры, но там схожесть анализируется по коллекции.(похоже), а стоило бы по оценкам :).

    Напоследок, предложу взять для анализа несколько известнейших игр (можно это развить и в статье при желании). Например, оценить шахматы, «монополию», «сумеречную борьбу» и «спуск» (десент). Мне интересно каковыми будут выводы интегральной оценки :). Ведь так и не увидел её практического применения :).

    To Dan:
    То, что комментарии резались — сорри. У меня не было времени зайти на блог проверить очередь. «Отпустил» один из них, в котором вроде все.

      Цитировать  Ответить

  9. я обязательно прочту, как только появится время.. )

      Цитировать  Ответить

  10. Серж:

    smilek,

    Про клуб единомышленников. Как по мне, было бы неплохо, если бы каждый оценивал игры той категории, которые ему по душе. Например, если мне изначально не нравятся абстрактные игры (на самом деле это не так), то и оценивать мне их не стоит. Phobosis у Тапилина на сайте это описал(-а?). Как бы надо быть в теме и ориентироваться в соответствующих играх, чтобы адекватно их оценивать. Тогда действительно получиться настоящая гик-оценка.
    ГОК или ГОКТ или ГО нужны больше для описания особенностей игры. Например, Старкрафт — тематичный, с хорошим геймплеем и оформлением, а также имеет высокий уровень комплексности. И все! А интегральная оценка дается отдельно и показывает насколько игроку нравится игра. Например, при всех достоинствах Старкрафта ему можно поставить лишь «6» (это неплохая игра), только по той причине, что человеку не нравятся игры про космос или очень комплексные (уже не описание, а ИМХО). С другой стороны, я согласен что суть игры это ГО.
    Про оценку… Сумеречную борьбу я как раз ПнП-ешу. Манки жжет 🙂 Кстати вопрос по жетонам имеется, напишу на мыло. Практическое применение можно попробовать… Заодно и сам на каком-то варианте оценивания остановлюсь. Не обещаю что скоро… Начать можно с Сумеречной борьбы. Ты бы тоже мог поучаствовать 🙂 Два варианта было бы.

      Цитировать  Ответить

  11. romanko:

    Каждый может вкладывать в «свой рейтинг» какое угодно понимание и(!!!) какие угодно критерии

    Неудачные интерфейс похоже скрывает тот факт, что у каждого уровня рейтинга на БГГ есть довольно детальное определение http://img529.imageshack.us/img529/9194/bggrating.png.

      Цитировать  Ответить

  12. Серж:

    romanko,

    спасибо, внесу исправления в статью

      Цитировать  Ответить

  13. Serj:

    исправлено!

      Цитировать  Ответить

  14. Моё мнение на счёт оценки игр:
    1) Хорошо почитать отзывы и коменты по игре. А так же фотки и правила. «+» Так можно узнать тонкости геймплея и различные косяки. «-» Уходит много времени на чтение, многие коменты являются пустышками (т.е. НЕ дают интересующей информации).
    2) Комплексная оценка по нескольким категориям (геймплей, оформление и прочее). Т.е. сразу несколько рейтингов. Причём отображать нужно в процентном соотношении ответы по каждой группе (т.е. плохо ответило столько-то %, хрошо %, супер %). «+» Быстрое получение информации по игре (менее богатой чем в 1), но с меньшими усилиями).»-» Народу придётся тыркатьсчя по нескольким шкалам — многим лень.
    3) Объединение 1) и 2) — кому что нужно, тот то и посмотрит : ) Одно другое дополняет!!!

      Цитировать  Ответить

  15. Серж:

    Atsukawa Toshiro,

    На БГГ график рейтинговых оценок можно глянуть (т.е. % соотношение).

      Цитировать  Ответить

  16. «Про клуб единомышленников. Как по мне, было бы неплохо, если бы каждый оценивал игры той категории, которые ему по душе.» — пока читала, мою голову сверлила та же мысль.

    а вообще… самым разумным с точки зрения оценивания (и приобретаемого при этом игрой рейтинга) возможно действительно предоставить возможность оценить 3 позиции ГОК и каким-то образом вывести из этих трёх оценок некое среднее. потому что настольщик при выставлении оценки не отдаёт себе отчёта, почему он ставит именно такой балл. для этого ему нужно нехило так пролопатить сознательное, бессознательное, учесть в этот момент своё физическое состояние, настроение, проанализировать свой темперамент и влияние всех этих факторов на выставление оценки 🙂 что конечно никто находящийся в своем уме не делает. но вот при оценке КОНКРЕТНЫХ критериев субъективность конечно наличиствует, но появляется некое смещение в сторону объективности.

    ну и всё-таки оценивать игры близкой категории. опыт «общения» с играми любимой категории намного выше, глубже и разнообразней, соответственно и объективность опять таки растёт.
    ну я вот как-то так думаю…

    и Спасибо конечно за статью! 🙂 пешите исчо, онолитег 🙂

      Цитировать  Ответить

  17. Серж:

    пожалуйста 🙂
    следующая статья будет полуаналитическая-полуобзорная

      Цитировать  Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *