prodGI

Делаем тестовое на продюсера от Ильи Еремеева (Game Insight)

  • Facebook
  • Twitter
  • VKontakte
  • LinkedIn
  • Email
  • RSS

Создатель продуктового чатика, продюсер Game Insight и просто крутой специалист расшарил тестовое задание на позицию продюсера. И понеслась… Я решил проанализировать его и выполнять прямо в блоге, вдруг кому полезно будет =)

Ссылка на тестовое

Илья сразу предупредил, что позиция закрыта, так что тестовое действительно помогло компании решит важную бизнес задачу.

Некоторое время назад я искал продюсера и под эту задачу составил интересное тестовое задание которым вас тут немного заинтриговал. Продюсера я тогда нашел и могу сказать, что задание рабочее. Теперь готов поделиться им.

Поиск продюсера дело нетривиальное и тут как нигде важен опыт и профессиональные достижения. Но кроме них важно и общее структурное мышление, адекватность суждений, широта кругозора, умение раскрывать свою позицию по неоднозначным вопросам и способность решать задачи в условиях недостатка данных. Что данное задание, на мой взгляд, отлично проверяет. Или можете спросить что-то из этих вопросов прямо на собеседовании. В крайнем случае, найдете себе игрового журналиста.

Ну что же, поехали =)


Условие выполнения тестового задания

  • Задания не имеют однозначного правильного ответа и оцениваться будет ход мыслей, логичность выводов и способность аргументировать свои решения.
  • Все задания по гипотетическим примерам, если вам не хватает информации для решения — вы можете дополнить ее самостоятельно, указав это в ответе.

Задание 1

Игра c высоким LT игрока в оперировании 2 года. Проект зашел в тупик, никакие нововведения и улучшения не улучшают показатели, органика падает. Дизайнеры предлагают радикальное изменения механик и баланса, которые теоретически могут переломить ситуацию.

  1. Какие последствия могут быть у такого действия?
  2. Какие факторы нужно учесть и как принять решение о внесении или отказе от изменений?

Задание направлено на проверку опыта операционного менеджера. Очевидно, продюсер должен иметь опыт выпущенных, успешных, зарабатывающих проектов. Ответы покажут, от чего отталкивается специалист, принимая решения в работе, причинно следственные связи из бэкграунда оперирования проектами.

Ответы

На хай левеле последствий может быть 3:

  1. KPI проекта улучшатся
  2. KPI проекта ухудшатся
  3. KPI проекта не изменятся

Какой вариант вероятнее? Давайте рассуждать.

Радикальные изменения игровых механик и ребаланс игры отрицательно скажется на критической доле core-аудитории игры. Ведь именно старые механики обеспечивают высокий LT — 2 года! Это «ничерта себе» live time! Тут даже малейшее изменение может привести к фатальным отвалам. У игорков выработаны привычки, и заходят они в игру не для того, чтобы их менять.

С другой стороны — падает органика. Речь идет о новых игроках (инсталлах). Проблема явно в ASO и вероятно в самой игре. Рынок динамичный и сильно меняется. Если игра не соответствует его стандартам хотябы по одному из следующих параметров, тогда про масшатабировании больше можно не мечтать.

  • арт, звук, ui, ux, fps — не соответствуют (уже) планке качестве на рынке
  • механики AERM устарели и нуждаются не в доработке, а в замене (привет лутбоксы)
  • сеттинг игры устарел и более не актуален
  • движек игры устарел и практически умер

Также могут быть другие факторы, типа

  • на рынке конкурент проводит агрессивную маркетинговую компанию (привет суперселл)
  • движок больше не поддерживаться в сторе (привет флеш)

Но вернемся в вопросу: так как дизайнеры предлагают менять механики и баланс — что минорно повлияет на органику (так как для оценки этого изменения  надо уже проинсталиться), и критично отразятся на старых игроках — наиболее вероятный исход — УХУДШЕНИЕ KPI. Так что — ОТКАЗ. Лучше проанализировать ситуацию и сделать актуальный сиквел.


Задание 2

Студия, до этого занимавшаяся играми в жанре сити билдеров предлагает питч нового хардкорного проекта. Как оценить питч и какие факторы учесть при решении о гринлайте?

Данное задание направлено на проверку критического мышления и ваших скилов, как предпринимателя. Как вы относитесь к деньгам в первую очередь, и к инвестиционым деньгам во вторую. Ответ покажет, питчились ли вы когда либо, готовили ли питчи под инвестиции, получали отказы или гринлайты.

Ответ

Хардкорные проекты — это всегда глубоко уровневое понимание рынка, ЦА, особенностей сочетания сеттинга и механик. А это не 1-2 года экспертизы не просто в геймдеве, а имено в нише нового продукта. Сити билдеры, несомненно, хорошая ниша, с большой ЦА. Но данные в этом жанре не коррелируют с хардкорщиной.

С другой стороный, оценка питча — она практически неизменна, и не важно, питчите вы новый блокчейн проект, или просите денег на автозаправку в поле. Трекшен, экспертиза, кондиции команды, бюджет, сроки/планирование, риски. Отдельно я бы послушал, какой бенчмаркинг сделали перед питчем, как спланирован препрод, и какие точки не возврата есть в плане. И, конечно же, через сколько (в $) будет понятно, жизнеспособна ли идея.

С другой стороны — билдеры продолжают зарабатывать, зачем вообще рисковать, если можно уже сегодня увеличить доходы компании?


Задание 3

В казуальной мобильной игре с аудиторией — женщины 35+  7% платящих, ARPPU $10 и MAU 300 000. Продюсер проекта предлагает внедрить рекламную монетизацию.

  • Стоит ли это делать?
  • Какие могут быть последствия такого решения?

Задание с конкретными данными по ЦА и проекту покажет, знаете ли вы эту аудиторию, их поведенческие свойства. Опять таки, будет ясно, как вы принимаете критические решения в операционной деятельности.

Ответ

7% платящих — это хороший показатель, ARPU $10 — средний. Наша игра — казуалочка, где видео реклама точно зайдет и будет востребована. Дамы за 35 легко кликают на рекламу, у них много свободного времени и мотивации получить ревард.

Но! Надо ли это нам? MAU не большой, нормальных денег не будет, даже если мы видео рекламу сделаем нативную. Точно видео рекламой мы уменьшим долю платящих юзеров, так как игроки легко примут альтернативу инампам в виде видео)) Учитывая, что тут 7% PU — эта метрику надо оберегать.

Но! есть проверенное решение:

Нужно посчитать до какого дня жизни конвертится 90% игроков (делают первый платеж), и включать видео рекламу только для безплатников, и только с этого дня. С паршивой овцы хоть шерсти клок.


Задание 4

Студия запускает новый оригинальный проект в soft launch, на какие параметры стоит обращать внимание в первую очередь и как оценить результаты запуска?

Ваш ответ покажет, был ли у вас опыт SL, понимание стратегии запуска продукта.

Ответ

Подразумевается, что продукт готов, а значит у него был полноценный гринлайт, у проекта (с учетом всей его «оригинальности») есть целевые KPI. В моем блоге много заметок на эту тему, об этом я рассказывал на докладе в прошлом году на Game Gathering. Если коротко:

  1. У софтлонча должны быть стадии, со своими KPI и бюджетами. Например
    1. тест первого впечатления, вовлечения (сеттинг, ux…)
    2. тест механик, краткосрочного удержания в игре
    3. тест монетизации, механик долгосрочного взаимодействия с игроком
    4. тест виральных фичей
  2. Для каждой стадии должна быть выбрана наиболее подходящая аудитория исходя из правила: цели — стоимость UA

Дальше все просто, если есть понимание стратегии и KPI, заливаем людей, смотрим на метрики — принимаем решение жить или умереть.


Задание 5

В хардкорной игре в результате изменений баланса ARPPU вырос  на 60%, но пропорционально упала конверсия в платящих. Общий гросс остался неизменным. Можно ли считать данные изменения положительными?

Задание покажет, как вы рассуждаете, понимаете ли как монетизацию игры, так и аналитические навыки. Опять таки, задача про KPI. Также мы увидим, разбирается ли специалист в особенностях хардкорной аудитории.

Ответ

Первая особенность хардкорщины — Retention. Он отличается тем, что уже на 14 день отсекается большая часть игроков, но те что остались — долго и нудно играют, образовывая core. Вторая особенность — высокие монетизационные KPI у core-аудитории. Они хорошо дорастают до китов, и средний месячный чек от месяца к месяцу не меняется.

Соответственно — если выросло ARPPU и упала доля плательщиков, то вероятнее всего еще и ухудшился ретеншен. Именно за счет отвалившихся игроков и снизилась конверсия. В зависимости от типа проекта это может быть как хорошо, так и плохо

  • Хорошо — при тех же деньгах, меньше нагрузка на сервера и саппорт-отдел
  • Плохо — в игре упало DAU и игрокам сложно найти соперника для матчмейкинга

Если у вас не мультиплеерная игра, типа Клеш Рояля или PUBG — то вы в выигрыше.


Задание 6

В мидкорной игре отличный ретеншен, но крайне низкая конверсия в платящих.

  1. Почему так может быть?
  2. Как проверить ваши гипотезы?
  3. Как исправить обнаруженные проблемы?

Теперь задание на проверку знаний в мидкорной нише, ее KPI и работу AERM механик.

Ответ

Тут — AERM и KPI-менеджмент. В вашей игре хорошее удержание — вы молодец, механики удержания работают как надо. А вот монетизация ни к черту, и как только вы настроите нормально баланс, пейволы, а механики конверсии, ваш ретеншен снизиться значительно. И вот, вы уже не молодец. )))

Отвечая на вопросы, буду краток (потому, что реально долго делать тейстовое ради блога=)

  1. Плохо сбалансированы AERM, баланс, экономика, дефициты. Механики монетизации работают слабо.
  2. Нужно менять каждый из этих пунктов, а обновление выливать сплитом. Смотреть на конверсию и ретеншен.
  3. Ребаланс и тюнинг монетизационных механик. Так как это мидкор, то придется затронуть и серверную логику.

Задание 7

Исследование рынка обнаружило 2 потенциальные возможности для нового продукта.

  1. Продукт, на рынке с высокой конкуренцией, широкой нишей и экспертизой команды в подобных играх.
  2. Продукт на практически свободной нише но более узкой потенциальной аудиторией и отсутствием опыта команды в этом жанре

Какой продукт стоит разрабатывать и почему?

Опять таки проверяем вас как бизнесмена, как Product owner. Как вы оцениваете риски и потенциальные выгоды.

Ответ

В первом случае в рисках — только борьба за привлечение игроков. И этот риск можно покрыть деньгами. В плюсах все остальное: широкая ниша и хорошая команда, в данном примере.

Во втором случае в рисках — это ниша не ок, и команда не в тему. Вы не можете повлиять на аудиторию (либо это ооооочень дорого — я про «создать спрос»), а команду с нуля собирать можно под любой вообще проект. В общем риски не контролируемы. А плюс — не занятая ниша, не достаточный для того, чтобы начать работу по проекту.

В итоге — 1й вариант. Пилим еще один матч3 =)


Задание 8

В казуальной игре отличный ретеншен первого дня, но очень низкий ретеншен 7 и последующих дней.

  1. О каких проблемах это может говорить?
  2. Предложите варианты повышения ретеншена 7+ дней.

Тест покажет, на этот раз, ваши знание в казуалочках. Тот же KPI-менеджмент в AERM-матрице.

Ответ

Денежка в казуалках зарабатывается далеко не в первую сессию, так что вам надо позаботится об удержании. Если у вас на 7 день показатели не утешительные вам надо подумать над механиками долгосрочного удержания (для казуалок типа матч3 — это особый фокус), над постановкой среднесрочных и долгосрочных целей игроку, и конечно же над количеством контента. Еще может быть вы совсем нуб, и сложность наступает сильно быстро, что игроки просто уходят!

Критически смотрим на механики удержания, тюним их. Проверяем, как именно мы сливаем игрока, есть ли возможность пройти пейвол без оплаты. Пересматриваем пирамиду целей, заполняем пробелы.

Все в бэклог, тюнится за 1-2 спринта — если не затрагивать кор (инструменты слива), и 3-4 итерации — если ломаем проигрыватель,  и собираем выигрыватель.


Задание 9

Студия запустила новый продукт в жанре, в котором у нее уже есть линейка очень популярных продуктов. Показатели новой игры ниже, чем показатели топовых игр в портфолио на 20%. Нет возможности покупать трафик с CPI<LTV игры.

  1. Что стоит делать в такой ситуации?

Задача на стратегию запуска, KPI софтлонча. И, на сколько я понял из условия, на SDD.

20% нужно, чтобы главное условие LTV>CPI было выполнено (для GL). 20% это вполне посильная задача для виральных механик. Нужно, чтобы при помощи социальных фичей игроки звали друзей. Таким образом, снизив CPI, мы получим удовлетворяющие условия для запуска. Вообще, вся 4я фаза мягкого запуска, она про снижение CPI за счет Social Features.

Есть еще один способ. Можно стабильно срезать косты с UA: недотрек, анти фрод дадут еще порядка 10-15% разницы от CPI =)


Задание 10

В мидкорной игре, в которой возможно покупать трафик с CPI<LTV были проведены изменения, которые привели к недовольству пользователей и ретеншен 30 дня упал на 20%. Но при этом, повысилась конверсия и ARPPU и LTV остался неизменным.

  1. Можно ли считать эти изменения позитивными?

Вопрос про оперирование и отношение с аудиторией. Не всегда снижение нагрузки на сервер стоит гнева и 1 звезды в сторе.

Ответ

LTV остался неизменным — ключевая фраза. Т.е. из-за изменений мы больше зарабатывать на стали. Что получили? Более низкие операционные расходы (которые меркнуть на фоне всего бюджета мидкор-проекта) с одной стороны, и гнев пользователей с другой. Это не казуальщина, где аудитория огромна. Тут надо беспокоится за каждого игрока.

Это изменение негативно. Нужно вернуть все, как было до обновления. Извениться перед игроками, и подарить им ништяки из мета гейма.


Задание 11

В мидкорной игре с высоким ретеншеном и низкой конверсией в платящих была полностью переработана мета составляющая. После этого, показатели ретеншена и монетизации значительно не изменились.

  1. О чем это может говорить?
  2. Какие стоит предпринять дальнейшие действия?

Тест покажет, понимаете ли вы AERM, а именно какие фичи в матрице на что влияют .

Ответ

Во первых — «2йка» продюсеру. Если у проекта плохая монетизация, зачем команда занималось метой (если мета не продает, а тут видимо так)?

Как и в одном из предыдущих заданий — речь идет о балансе между сложностью и удержанием. Тюним баланс, и монетизационные механики.


Задание 12

Вы приходите в качестве продюсера на новый проект в жанре, который вам хорошо знаком. Проект в оперировании около года и его показатели слегка ниже удовлетворительных. Каковы будут ваши первые действия? Как вы будете строить стратегию развития продукта.

Ваш ответ покажет, на сколько ваш опыт соответствует ожиданиям компании в плане LiveOps и среднесрочном планировании. Задача на приоритеты, задача на бизнес ценности.

Ответ

Опредиляемся на какой стадии продукт, и собираем основу для приоретизации. Я бы взял ряд Фибоначчи (да, это тоже есть в моем докладе про KPI-менеджмент). Затем построил бы планы, согласно выбранным ценностям, основываясь на слабых KPI.

Так как проект уже в оперировании, нужно понимать, что в работу вначале пойдут задачи, которые можно быстро и просто сделать и получить максимальный прирост KPI.  И только потом браться за глобальные переделки и сложные доработки.


Задание 13

Вы решаете начать разработку новой игры. Как выбрать жанр и сеттинг, чем вы будете руководствоваться?

Ну вот наконец, Илья задал вопрос, о предпочтениях соискателя. Тут станет ясно, какие цели у специалиста, какие амбиции, и чем он руководствуется при их достижении.

Ответ

Продюсеров я повидал не мало. Кто-то идет делать игру мечты (упс), кто-то идет учиться, получать экспертизу, кто-то идет зарабатывать, а кто-то хочет долю в компании от профита своего проекта.

Для каждой цели — свой выбор. И свой я сделал =)


Послесловие

  1. Это было на одном дыхании, быстро, от души и прямо в блог. Сразу прошу прощения за очепятки и формулировки. Тут главное смысл. На это ТЗ потратил  2,5 часа.
  2. Понимаю, что этим постом навлекаю на себя волну критики, типа «Саша, ты не прав, ты не шаришь». За любую консруктивную критику буду благодарен. Именно критика, в данном случае, и будет фидбэком на мои мысли.
  3. Если вам будет полезна эта заметка — то, не поленитесь и сделайте доброе дело
    1. ЗАЙДИТЕ по ССЫЛКЕ
    2. Поставьте плюсики на свое усмотрение и в новые скилы AERM и KPI-Management

До встречи на DevGAMM.