Det er lett å forstå hvorfor små indiespill av og til blir dårlige. Enten konseptet er dårlig forklart eller spillet lider av dårlig design, skyldes det ofte at utvikleren ikke har penger eller tid til å gjøre tilstrekkelige brukerundersøkelser.
Desto mer forunderlig er det at større spill, med store forlag i ryggen, av og til ender opp med å bli dårlige til tross for at de har store ressurser. Burde ikke de - med all sin grundige testing og kontinuerlige innsamling av tilbakemeldinger - ha kunnet forutse det?
Tidligere i år snakket Gamereactor med Jonathan Bonillasm, som jobber for Nordisk Games og har nesten ti års erfaring med brukerundersøkelser. Ifølge Bonillas er den enkleste forklaringen på mislykkede brukerundersøkelser at de ansvarlige for spillet av og til nekter å lese skriften på veggen:
"Jeg støter på egoistiske kreative direktører som ikke vil tro på dataene. De er helt imot det og vil ikke endre noe som helst. Du prøver å bygge opp tillit, du prøver å snu det, men uansett hva du gjør, vil de ikke tro på deg eller ha noe forhold til brukerundersøkelser.
Som oftest er det ikke en enkeltpersons feil at et spill blir en flopp til tross for mange tester, men det har å gjøre med ledelsesproblemer, ulike kreative visjoner eller begrensninger når det gjelder tid og penger. Faktorer som kan være vanskelige å håndtere i store prosjekter. Og brukerundersøkelser er selvsagt ikke bare en magisk formel som gjør alle spill bedre. Svarene - enten de er kvalitative eller kvantitative - må fortsatt sorteres, og de relevante endringene må implementeres av utvikleren.
Jonathan Bonillas jobber for Nordisk Games, som blant annet står bak Supermassive Games.
Risiko for lekkasjer
For teamet som utfører selve brukerundersøkelsene, er det også mange elementer å ta hensyn til, forklarer Bonillas. Først og fremst må testerne være godt informert, for det hjelper lite om de gir tilbakemeldinger om vanskelighetsgraden hvis utvikleren er ute etter å forbedre brukergrensesnittet. Et annet viktig element er å bygge tillit mellom teamet som utfører brukerundersøkelsene, og utvikleren, hvis tilbakemeldingene og testingen ikke gjøres internt. Til slutt er det også viktig å begynne tidlig, mens endringene fortsatt kan tas i bruk relativt enkelt.
Dette åpner imidlertid opp for et nytt problem. Ved tidlig spilltesting kan detaljer om spillet risikere å lekke ut, noe som kan føre til problemer senere når det gjelder å skape hype eller håndtere forventninger.
"Det er mange utviklere jeg har jobbet med, som ikke vil gjøre brukerundersøkelser fordi de er redde [for lekkasjer]. Ærlig talt, det er en frykt du virkelig må komme over. Du kan spørre deg selv: "Hva er vi mest redd for?". Er vi redde for at spillet skal lekke, eller er vi redde for at spillet skal være dårlig?", sier Bonillas.
Når det er sagt, kaller Bonillas lekkasjer "en stadig eksisterende bekymring", og forklarer at det ofte iverksettes tiltak i form av strenge NDA-er (Non Disclosure Agreements), at telefoner legges i skap under testøkter og så videre. Men som han forklarer, er det få spillere som tester for å skape problemer, og i løpet av sin ni år lange karriere har han bare opplevd to tilfeller av lekkasjer fra brukerundersøkelser.
Baldur's Gate III er kanskje det mest kjente spillet som har blitt lansert i Early Access.
Early Access og kreativ kontroll
I løpet av de siste fem årene har det dukket opp en ny måte å teste spill på som på sett og vis omgår både tradisjonelle brukerundersøkelser og risikoen for lekkasjer. Early Access, som lar spillerne kjøpe en uferdig versjon av et spill, kan bidra til å finansiere produksjonen og gi verdifull tilbakemelding. Men det er ikke akkurat en skuddsikker metode.
"Jeg synes Early Access er en god metode hvis du ikke har penger til brukerundersøkelser", sier Bonillas og ler. "Men det som er vanskelig med Early Access, og den eneste virkelige ulempen, er at tilbakemeldingene kan komme fra allekanter. Og de kan være veldig uoversiktlige. Dessuten må noen sortere alle disse dataene. Det tar mye tid og krefter."
Early Access peker også på noen av de mer generelle bekymringene knyttet til brukerundersøkelser generelt. Kan utviklerne risikere å miste den kreative kontrollen over spillet sitt hvis de hele tiden får tilbakemeldinger? Og vil de bli nødt til å lefle med publikum?
Jonathan Bonillas forklarer at dette sjelden er tilfelle, ettersom brukerundersøkelser ofte er rettet mot å forbedre spesifikke elementer i spillet, sammenlignet med mer generelle markedsundersøkelser som prøver å identifisere hva som er populært eller trendy for øyeblikket. Men som han avslører med en anekdote, hender det at utviklere tar tilbakemeldingene for mye til seg. En gang var det et lite studio som etter å ha blitt presentert for brukerundersøkelser rett og slett droppet det eksisterende konseptet og utviklet et helt nytt spill!
Når tilbakemeldinger fra fans og spilltestere ignoreres, blir produktet sjelden bra.
Reddet av markedsføring
Som et siste spørsmål spurte vi Jonathan Bonillas om han noen gang hadde jobbet med et prosjekt der alle tilbakemeldingene fra brukerne var negative, men der spillet likevel ble godt mottatt av spillerne. Kanskje ikke overraskende svarte han nei, men han avslørte at et spill noen ganger likevel kan selge godt selv om tilbakemeldingene fra testerne har vært overveiende negative.
"Det finnes spill jeg har jobbet med der vi visste at det kom til å bli dårlig, men der markedsføringen er så god at det likevel selger fem millioner enheter. Noen ganger ser selskapet på det som en lettelse. "Flott, vi solgte det, vi fikk pengene tilbake og tjente litt penger. Vi visste at det kom til å bli søppel, men vi fikk i det minste pengene tilbake. Noen ganger er det slik, spesielt med de store budsjetttitlene. Og det suger, for det motiverer meg ikke", forklarer han og ler.