Daten und Design: Helden-Performance unter der Lupe
Mit dem Start der ersten Beta hatte das Designteam einige ganz bestimmte Aspekte des Spiels im Auge. Wir konnten beobachten, wie die Community zum ersten Mal Sojourn angespielt und die Überarbeitungen von Sombra, Bastion, Doomfist und Orisa ausprobiert hat. Wir wollten wissen, wie diese Helden in der Beta abschnitten, und zur Not mit schnellen Änderungen reagieren, falls sie sich als zu schwach oder zu mächtig herausstellten.
Bei unserer Einschätzung der Leistungsfähigkeit von Helden schauen wir uns sämtliche kompetitiven Ränge und Spielniveaus sowohl zusammen als auch separat an, damit wir den deutlichsten Eindruck bekommen, wie die verschiedenen Segmente der Spielerschaft auf den aktuellen Zustand des Spiels reagieren. Spieler*innen auf den höchsten Rängen stellen die Grenzen des Spiels auf die Probe und entdecken oft die mächtigsten Fähigkeiten und Strategien viel schneller als andere Spieler*innen. Auf niedrigeren Spielniveaus tun sich manche Spieler*innen aber oft schwer mit bestimmten Helden und Spielstilen. Daher ist es uns wichtig, bei Entscheidungen über die Spielbalance an alle Spieler*innen zu denken. Rangspezifische Analysen sind ein wichtiger Teil unserer Arbeit mit Daten, aber die Daten in diesem Blog stammen aus allen Spielniveaus der Beta.
Quantifizierung von Interesse: Metriken zur Bestimmung der Beliebtheit von Helden
Zur Bestimmung von „Leistungsfähigkeit“ begnügen wir uns nicht nur mit einem einzelnen Blickwinkel. Wir haben mehrere verschiedene Metriken, die das Thema Performance aus allen möglichen Richtungen beleuchten. Die erste dieser Metriken ist die Verwendungsrate: sie misst, wie oft ein Held anteilig an der Gesamtzeit aller Matches gespielt wird. Wenn zum Beispiel Sojourn von einem Team für fünf Minuten eines zehnminütigen Matches gespielt wurde, beträgt ihre Verwendungsrate 50 %. Wo wir gerade bei Sojourn sind, ihre Verwendungsrate war während der ersten Wochen der Beta sehr hoch, hat aber mit der Zeit stetig abgenommen.
Sojourn erreichte fast 80 % Verwendungsrate, was für Schadenshelden unglaublich ist. Ana hatte ebenfalls eine sehr hohe Verwendungsrate während großen Teilen Beta, aber das ist für sie auch im Live-Spiel nicht ungewöhnlich. Orisa und Doomfist – beides Tanks, die tiefgreifende Änderungen erfahren haben – wurden während der Beta ebenfalls intensiv gespielt.
Die Verwendungsrate eignet sich hervorragend als absolute Messlatte, um das Spiel aus genau der Perspektive zu sehen, die Spieler*innen erleben. Zu Beginn der Beta war Sojourn die meistgespielte Heldin. Zu diesem Zeitpunkt war Sojourn während mehr als der Hälfte der Gesamtspielzeit in der Beta in beiden Teams vertreten. Allerdings gibt es noch einiges mehr an Kontext, der bei der Verwendungsrate berücksichtigt werden muss. Sojourn wurde in der Beta sehr viel gespielt und ihre Verwendungsrate wird sogar noch beeindruckender, wenn man bedenkt, unter wie vielen Schadenshelden man im Spiel verglichen mit anderen Rollen auswählen kann.
Um die Verwendungsrate vor diesem Hintergrund der ungleichen Rollenverteilung zu betrachten, benutzen wir eine weitere Metrik, die wir gewichtete Verwendungsrate nennen. Die gewichtete Verwendungsrate misst, wie oft ein Held im Verhältnis zur Anzahl der Helden der jeweiligen Rolle gespielt wird. Um noch genauer zu sein: Wir nehmen die rohe Verwendungsrate jedes Helden und teilen sie durch die Verwendungsrate im Gleichgewicht der jeweiligen Rolle – also die Verwendungsrate aller Helden einer Rolle, wenn alle Helden gleich häufig gespielt werden. Daraus ergibt sich der letztendliche Wert, den wir uns angucken, nämlich das Verhältnis zwischen der Verwendungsrate des Helden und dieser Gleichgewichtsrate. Am Beispiel von Sojourn können wir sehen, dass sie in der Frühphase der Beta alle anderen Helden in Sachen gewichteter Verwendungsrate um unglaubliche Längen abgehängt hat.
Die gewichtete Verwendungsrate zeigt uns genauer an, wie es um das relative Interesse an neuen oder überarbeiteten Helden wie Orisa und Doomfist bestellt ist, verglichen mit Helden wie Ana, die bereits sehr beliebt sind. Zum Beispiel war Sojourns Höchststand bei der gewichteten Verwendungsrate das Sechsfache des Normalwerts, was bedeutet, dass sie mehr als sechsmal so häufig gespielt wurde als die Gleichgewichtsrate für Schadenshelden. Orisa und Doomfist haben zwar nur die mittleren 40 % an roher Verwendungsrate erreicht, aber mit der gewichteten Verwendungsrate wird klar, dass die beiden so attraktiv für Tankspieler*innen waren wie Ana für Unterstützerspieler*innen.
Heldenbalance: Wie Daten und Feedback Änderungen bewirken
Unser Team hatte für die PvP-Beta ein klares Ziel: Wir wollten, dass sich alle Helden toll spielen, ohne dass es frustrierend ist, wenn man gegen sie antritt. Durch unsere Analysen der Verwendungsraten wurde schnell klar, dass wir dem ersten Teil dieses Ziels schon sehr nahe waren, weswegen wir unsere Bemühungen auf die Spielbalance ausgerichtet haben. In die Entscheidung, wie ein Held am besten ausbalanciert wird, fließen Informationen aus einer Menge von Quellen ein, sowohl reine Daten als auch andere Arten von Informationen. Zum Beispiel hat beständiges Feedback von UnterstützerSpieler*innen zur Überlebensfähigkeit dieser Rolle während der Beta viele der Änderungen an Unterstützern im Balance-Update vom 5. Mai direkt beeinflusst.
Spielerfeedback ist oft das erste Signal, dass eine Balanceänderung nötig ist, und Daten können ebenfalls helfen, diese Entscheidungen zu treffen. Eine weitere Methode zur Einschätzung der Leistungsfähigkeit von Helden ist, sich die Siegesraten auf bestimmten Karten anzuschauen. So wie Overwatch aber gestrickt ist – nämlich mit der Möglichkeit, den Helden während eines Matches zu wechseln –, spiegeln die Siegesraten pro Karte nicht unbedingt die tatsächliche Leistung eines Helden wider. Wenn jemand für die Hälfte eines Matches Sojourn spielt und das Team auf der Karte gewinnt, sollte das in der Siegesratenberechnung als vollständiger Kartensieg zählen? Nein!
Keine Sorge, dieses Szenario ist erst der erste Schritt in unserem Prozess, die Siegesraten festzuhalten. Um bessere Daten zu erhalten, teilen wir die Siegesraten in Segmente auf, indem wir uns anschauen, wie lange ein bestimmter Held auf einer Karte gespielt wurde. Sagen wir, im eben erwähnten Szenario mit der halben Kartendauer hat die Karte zehn Minuten gedauert und Sojourn wurde für die Hälfte dieser Zeit gespielt. Sojourn hätte damit einen „Siegesbruchteil“ von 0,5 für diese Karte erhalten, da sie für fünf von zehn Minuten gespielt wurde. Wäre die Karte als Niederlage für das Team ausgegangen, hätte Sojourn einen „Niederlagenbruchteil“ von 0,5 erhalten.
Um diese Bruchteile in Siegesraten zu umzurechnen, addieren wir zunächst alle Siegesbruchteile von Sojourn auf allen gespielten Karten. Dann teilen wir die Summe der Siegesbruchteile durch die Anzahl aller Bruchteile von Sojourn – Siege wie Niederlagen. Mit diesem Prozess erhalten wir eine Siegesrate, die viel besser widerspiegelt, wie ein Held abschneidet, und außerdem dem Wechseln von Helden Rechnung trägt.
Eine Schwachstelle dieser Berechnung ist, dass sich die Siegesrate eines Helden, je mehr er gespielt wird, mit der Zeit immer weiter an 50 % annähert. Genau diese Situation hat sich während der Alpha abgespielt, in der Sojourn unglaublich mächtig war und intensiv gespielt wurde. Und da Sojourn in beiden Teams vertreten war, hat sich ihre durchschnittliche Siegesrate kaum von 50 % wegbewegt, obwohl sie übermächtig war. In einem Match, in dem beide Teams eine Sojourn haben, muss schließlich ein Team gewinnen und eins verlieren.
Wir begegnen diesem Problem, indem wir dieselbe Berechnung der Siegesratenbruchteile auf die Zeitabschnitte anwenden, in denen nur ein Team den entsprechenden Helden enthalten hat. Wir nennen das den „ungespiegelten“ Zustand. Indem wir uns die ungespiegelte Siegesrate ansehen, können wir herausfinden, wie eine Heldin wie Sojourn – die eine gespiegelte Rate von über 50 % erreicht hat – abschneidet, wenn das gegnerische Team keine Sojourn enthält. So können wir ihre Siegesrate weiter vom 50 %-Wert differenzieren.
Das reicht jetzt aber an Erklärungen zu Siegesratenberechnungen. Sehen wir uns mal an, wie sich ein paar ungespiegelte Siegesraten mit der Zeit verändern:
Diese Grafik zeigt die ungespiegelten Siegesraten von Helden während der Beta und warum Daten nur einer von mehreren Faktoren bei der Entscheidungsfindung zur Heldenbalance sind. Manche Spieler*innen könnte es überraschen, dass Orisa so niedrig oder Symmetra so hoch angesiedelt ist. Diese Metriken werden erst wirklich nützlich, wenn man mit einem guten Verständnis für den Kontext, aus dem sie stammen, an sie herangeht.
Nehmen wir Symmetra als Beispiel. Sie hat sowohl in der Beta als auch im Live-Spiel durchgängig eine der höchsten Siegesraten, da sie tendenziell in Situationen gespielt wird, in denen sie sehr wahrscheinlich gewinnt, wie etwa der Verteidigung des ersten Punkts einer Karte. Symmetra-Spieler*innen haben außerdem eine höhere Wahrscheinlichkeit, sehr schnell auf einen anderen Helden umzusteigen, wenn sie den Eindruck bekommen, sie könnten das Match verlieren. Dadurch wird ihre Siegesrate zusätzlich positiv beeinflusst.
Wenn wir dieselbe Analyse umgekehrt auf Sojourn und Orisa anwenden, erhalten wir ein besseres Verständnis dafür, warum ihre Siegesraten niedriger ausfallen, als man erwarten könnte. Spieler*innen waren in der Beta begierig darauf, sie zu spielen, aber niemand kannte sich mit ihren neuen Heldenfähigkeiten und Spielstilen aus. Dadurch haben sich Spieler*innen selbst in aussichtslosen Situationen für die beiden Helden entschieden, in denen es von Vorteil gewesen sein könnte, zu einem anderen Helden zu wechseln. Schließlich ist es nicht so einfach, nach nur ein paar Stunden mit Sojourn so effektiv zu sein wie ein GegenSpieler*innen mit Hunderten von Stunden als Soldier: 76.
All dieser Kontext und die Fülle an Daten machen den Entscheidungsprozess, welche Helden bei Balanceänderungen ins Visier genommen werden sollen, äußerst komplex. Die Eingriffe bei Sojourn bestanden aus einer geringen Abmilderung der Änderungen, die wir ihr während des Alphatests verpasst hatten, als ihre Siegesrate fast so weit über 50 % war, wie sie aktuell darunter liegt. Orisa bleibt vorerst noch unangetastet, da es noch unklar ist, ob sie selbst schwach ist oder die Spieler*innenschaft noch nicht sehr gut mit ihr umgehen kann. Wir vermuten, Letzteres ist der Fall. Schließlich kennen wir alle jemanden, der in der Beta mit Orisas neuem Design links und rechts Gegner plattgewalzt hat. Das heißt aber nicht, dass zukünftige Änderungen für Orisa und Doomfist nicht in Erwägung gezogen werden. Die Änderungen an Soldier: 76 waren das Resultat einer gesunden Mischung aus Daten und Community-Feedback. Sombra erhielt ebenfalls eine Anpassung ihrer Bewegungsgeschwindigkeit, um die unbeabsichtigte Synergie beider Helden mit der neuen passiven Fähigkeit für Schadenshelden auszugleichen. Die anderen Helden, die von den Änderungen am 5. Mai betroffen waren, wurden einem ähnlichen Prozess unterzogen.
Stimulus und Reaktion: Die Resultate unserer Updates und ihre Auswertung
Hier beginnt der spaßige Teil. Genau wie bei den Zielen zu Beginn der Beta wollten wir jetzt die Resultate unserer Balanceänderungen analysieren. Es ist wichtig, sich vor Augen zu halten, dass die Veränderungen der Siegesraten aus einem begrenzten Pool an Betaspieler*innenn stammen, die in einem nicht-kompetitiven Modus spielen. Aber trotzdem können sie uns gute Dienste leisten, schnell festzustellen, ob sich unsere Balanceänderungen bemerkbar gemacht haben. Hat die Änderung an Soldier: 76 ausgereicht, um seine Siegesrate etwas zu zügeln? Hatten die Änderungen an Unterstützern den gewünschten Effekt, Helden wie Zenyatta zu helfen, die Schwierigkeiten hatten? Finden wir es heraus, indem wir die Siegesratengrafik auf mehrere Tage ausweiten, angefangen bei den Unterstützern:
So gut wie alle Unterstützer, die Balanceanpassungen erhalten haben – einschließlich des behobenen Fehlers an Mercys Valkyrie – konnten eine unmittelbare Veränderung ihrer ungespiegelten Siegesrate verzeichnen. Einzige Ausnahme ist hier Baptiste, der erst in einem späteren Betapatch Änderungen erhalten hat. Das bedeutet, dass die Änderungen weitestgehend die beabsichtigten Effekte erzielt haben! Allerdings waren die Auswirkungen bei keinem Helden so groß wie bei Zenyatta, dessen Siegesrate sich um etwa 5 % erhöhte. Wir haben in der Vergangenheit festgestellt, dass sich Änderungen an den Trefferpunkten von Helden am drastischsten auf ihre Siegesraten auswirken, weshalb der Sprung bei Zenyatta keine große Überraschung war. Wir behalten Zenyattas neu erlangte Macht (wie auch seinen Schnapptritt) genau im Auge. Schauen wir uns als nächstes die Tanks an:
Abgesehen von Roadhog haben Tanks relativ geringe Balanceänderungen erhalten, was sich in entsprechend kleinen Änderungen an den Siegesraten niederschlägt. Roadhog und Wrecking Ball konnten sich über Verbesserungen von 1–2 % bei ihren Siegesraten freuen, da wir diesen beiden Helden helfen wollten, ihren Platz im neuen 5v5-Format zu finden. Zu guter Letzt, die Schadenshelden:
Es besteht kein Zweifel, dass Soldier: 76 ordentlich die Nerf-Keule zu spüren bekommen hat. Seine Siegesrate ist durch drei separate Änderungen um 6 % gefallen. Sojourn hingegen hat sich von einer niedrigen Siegesrate von 42 bis 43 % auf eine beachtliche Rate von 44 bis 45 % aufgerappelt. Sombras Anpassung war eher eine Rekalibrierung, um die Interaktion zwischen Bewegungsgeschwindigkeit erhöhenden Fähigkeiten und der neuen passiven Fähigkeit für Schadenshelden auszugleichen. Daher blieb ihre Siegesrate mehr oder weniger unverändert.
Gameplay-Philosophie: Mit Daten und Community-Beteiligung ein Spiel entwickeln
Dieser Prozess aus Änderungen, Beobachtung, Analyse und neuen Änderungen ist ein endloser Balance-Kreislauf. Mit dem Aufkommen neuer beliebter Strategien können neue Helden ins Rampenlicht rücken und sich wie aktuell Soldier: 76 vom Rest absetzen. Mit jedem neu veröffentlichten Helden und jeder Überarbeitung müssen wir bereit sein, Änderungen durchzuführen, damit sie weder zu stark noch zu schwach sind. Bei jedem unserer Eingriffe werten wir konstant aus, ob sie effektiv waren oder noch nicht weit genug gegangen sind. Wenn euer Lieblingsheld noch keine Änderung erfahren hat und ihr der Meinung seid, er könnte eine vertragen, dann hoffen wir, dass die hier vorgestellten Datensätze einige der Faktoren beleuchten, die wir bei der Heldenbalance berücksichtigen, und euch Vertrauen zu unserem Prozess geben. Spielbalance ist kein Sprint, sondern ein Marathon und es erwarten uns noch viele weitere Heldenanpassungen in der Zukunft. Wir sehen uns in der nächsten Beta!
