Gå till innehåll

Livet som testare är extra svårt vissa dagar. Som när man har för uppgift att dammsuga användarfeedback och hitta buggar att återkoppla till utvecklarteamet.

Det finns förvisso inget bättre än engagerade användare som lägger ner timmar av sin tid på att hitta och rapportera buggar. Grejen är bara den att vissa har problem med språket, medan andra inte riktigt förstått konceptet "buggrapportering".

Nedan tänkte jag lista exempel ur verkligheten, alla rapporterade den här veckan.

Först kom det en buggrapport som såg ut som följer:

My friend said me you must get the code when you over registration, on your email and I didnt get the code,help me please Sad my friend didnt get donate.

Buggrapporten kunde tänkas vara otydbar till en början. Jag lyckades dock gissa rätt i att det handlade om ett erbjudande vi hade skickat ut till våra betatestare i ett mail. Den här personen var inte en betatestare och hade då inte fått mailet. Buggen var ingen bugg och saken är ur världen.

-----------

Nästa blev en klar favorit. Google Translate-språket gjorde inlägget väldigt poetiskt.

Kind time of days.

Played the player - SomeGuy (7lvl) then has pressed on will update Account has entered the password and mine Account the empty... How to return the player?

Är det någon som känner till det språk som hälsar med "kind time of days"? Det är ju klockrent.

-----------

Den här buggrapporten var också svår att glömma, story-element i en rapport var ett nytt inslag i mitt arbete.

On a special mission is the play now button
for example its just sometimes to see
and why must i refresh the page to see it?
Its a Conspiracy against me xD

-----------

Annars ser tyvärr en rätt stor del av användarrapporterna som följer:

okey it don't do it any more everything is working now

Coolt, varför en ny rapport om det funkar?

Any news about the bug??

Which one dude? Jag är ingen tankeläsare.

That is all. Fix please.

Med rubriken "Can't login". Självklart.

What the hell is it?

C:\Documents and Settings\백동민.중국산컴퓨터\바탕 화면\배히오류

LOL

Den här var faktiskt lite rolig. Och jag har ingen aning heller.

-----------

Så, för att sammanfatta. Om du testar en konsumentinriktad tjänst, var beredd på att ta kontakten med dina kunder. Och det är inte alltid de är så tydliga med vad de vill. I de här fallen löste det sig genom några enkla frågor, i och med att jag känner till många av systemets buggar så kan jag även hjälpa användarna på traven. Och kunden har ju alltid rätt.

5

Battlefield Heroes: Gunners

Så, vad har jag egentligen gjort det senaste halvåret? Jo, det här. Det känns bra att faktiskt kunna visa upp ett resultat. Battlefield Heroes-sajten har varit kul att arbeta med. Satt och kollade på hur vi utvecklat designen sedan första utkastet, och visst har man kommit långt.

Nu är vi ju långt ifrån klara. Det är fördelen med att jobba agilt. Det går alltid att releasa, att visa upp vad man faktiskt gjort hittills. Men mer finns att göra, och vi arbetar med sajten dagligen.

Missa för övrigt inte chansen att spela Battlefield Heroes, vi har lämnat "invite only"-stadiet, så nu är det bara att klicka och köra. Utan kostnad.

Till sist måste jag tipsa om den nya trailern. Jag skäms nästan över det faktum att jag tycker att den är oerhört rolig. Men har man växt upp med 80-talets tecknade serier är det svårt att låta bli att charmas. Dagens kids jämför med Pokémon och Dragon Ball Z, men vi som ligger runt de 30 vet bättre.

För övrigt. Lägg till "Nasman" som vän så kan vi lira några rundor.

Update:

Buggiga releaser. Det som tidigare var mest ett datorspelsproblem är numera ett generellt spelproblem, och vi ser det allt oftare. Jag talar givetvis om nya spel som släpps ut i butikerna, bara för att direkt stöta på patrull där någon viktig funktionalitet slutar fungera och panikpatcharna börjar hagla.

Det är som om man inte testar spel innan release längre. Sanningen är dock exakt den motsatta. Faktum är att spel numera testas mer än någonsin förut. Ett spel får idag lätt några tiotusen testtimmar loggade, det analyseras som aldrig förr och man upptäcker exceptionellt fler buggar än tidigare. Problemet är dock att allt det här sker via testautomatisering.

Låt mig först tillägga att jag är ett stort fan av testautomatisering. Nya verktyg och metoder ger oss chansen att testa mjukvara på sätt som vi aldrig kunnat drömma om tidigare. Vartenda pixel vänds upp och ner, varenda möjlig väg genom ett spel utforskas och analyseras, varenda rad kod nagelfars och optimeras. Men bland alla siffror, grafer och rapporter drabbas vi av en övertro till tekniken.

För faktum är att inget test är bättre än dess testfall. Inget script är bättre än dess kod. Och sist men inte minst, ett automatiserat test är toppen på att upptäcka maskin- och kodtekniska problem – det kan dock aldrig ersätta ett tränat öga och erfarenhet.

Och det är här kvalitetssäkringen inom spelbranschen tappat tråden. Det är ju väldigt mycket billigare att låta ett program köra automatiska tester än att låta några hundra studenter sitta och spela någon sekvens sönder och samman. Det är billigare att förlita sig på en rapport från en automatiserad testsvit än att låta ett team professionella testare specialgranska ett spel för att sedan skriva en egen rapport.

Och resultatet? En förlust i förtroendekapital, dålig PR och kostsamma operationer efter release.

Jag hoppas och tror att kvalitetssäkringen inom spelbranschen är inne i en tillfällig dipp. Det tordes inte dröja länge förrän spelutvecklare kommer fram till att en kombination mellan testautomatisering och den mänskliga erfarenheten är den bästa lösningen. Och då ser jag en ljus framtid för högkvalitativa nöjesupplevelser.

Till dess verkar det dock som att vi får vänja oss vid tanken på att patcha våra nyinköpta spel dagarna efter release.

6

Jag vill inte ta åt mig äran egentligen... och jag vill absolut inte bygga upp några missplacerade illusioner. Men faktum är att Battlefield Heroes-sajten gick ner minuterna efter publiceringen av min utvecklarprofil och fakta kan man inte bestrida.

Så, till mina fans vill jag bara säga, tack.

Nåja. Om någon är intresserad av min mer nördiga sida är Battlefield Heroes-intervjun hett stoff.

Sen borde jag anat att just den bilden av alla skulle användas. När någon frågar efter en bild nästa gång ska jag inte hänvisa till facebook. Nu bekräftar jag ju bara folks fördomar om att testare är pårökta hippies som bara sitter och leker hela dagarna.

...För det är ju faktiskt det vi gör!

Har du ibland funderat på en liten ändring av din webblösning men inte riktigt orkat? Man vet ju hur det är, det gäller att testa lokalt, man kanske behöver publicera om, en liten ändring kan leda till mycket arbete. Inte om du är lite lurig. Klistra exempelvis in denna snutt kod i ditt adressfält:

javascript:document.body.contentEditable='true'; document.designMode='on'; void 0

Nu är den webbsida som du kollar på fullkomligt i denna händer, eller rättare sagt, den kopia av webbsidan som ligger lokalt på din hårddisk. Jag lekte lite med Aftonbladets hemsida i demonstrationssyfte, som synes på bilden ovan. Du kan även flytta runt på bilder och allmänt ha det riktigt trevligt. Sen är det bara att klicka på F5 för att allt ska bli som normalt igen.

Låt oss gå vidare. Vad händer om du hittar en bugg som är svår att beskriva i text men som du ändå vill ha hjälp med? Ta en skärmbild är givetvis svaret. Enklast görs detta med excellenta verktyget Greenshot. Så fort du trycker på "Print Scrn" startar verktyget upp och du kan välja vilken del av en webbsida du vill ta en bild på, nästa steg är att spara din bildsnutt, vilket Greenshot sköter själv alldeles utmärkt.

Ibland händer det säkert att du vill testa din maillösning. Användare ska kunna skriva upp sig på din sajt och få hem ett mail med uppdateringar. Hur kan du vara säker på att det här funkar? Jo, genom att prova själv givetvis. Du kanske vill testa med fem eller tio epostadresser, jobbigt värre. Inte om du har Gmail. Här finns nämligen en finurlig funktion för utvecklare.

Säg att du har epostadressen namn.efternamn@gmail.com. Lägg till ett +test1 så får du plöstligt en ny adress att testa med. Så här: namn.efternamn+test1@gmail.com. Du kan egentligen få till vad som helst i suffixet: +12, +jajajaja, +funkardetta - bara din fantasi sätter gränserna. Och vips har du en ny mailadress för varje testtillfälle. Om du är lagom duktigt på att koda kan du säkert få till en automatlösning till och med. Alla mail hamnar i din originalinbox.

Slutligen kan jag tipsa om ett aningen mer avancerat verktyg. Säg att du har ett scenario som du brukar köra om och om igen. Varför inte automatisera detta? Enklast gör du det med Selenium IDE, ett tillägg till Firefox. Installera bara Selenium IDE, starta upp programmet, och lägg märke till hur det kommer att spela in ditt surfande och lagra det i ett skönt script. Viola! Nu slipper du köra igenom samma flöde för hand om och om igen.

Överkursen här är att spara ditt script i PHP, Java, .Net, Ruby eller vad det må vara. Detta sköts av Selenium IDE med två klick. Och sedan kan du få till en kombination med Selenium RC på en testserver för att köra med väldigt snygga, effektiva och automatiserade webbtester.

Det här är lite av vad jag gör just nu på jobbet. Om alla webbtjänster hade tagit sig lite tid att testa så hade vi alla sluppit de där obehagliga beta-taggarna på var och varannan webbsajt.

Morgonen spenderades med en föreläsning av Exploratory testing-gurun och agilefantasten James Bach. En fantastisk talare och inspiratör.

En testare som alla oss andra egentligen, med en enda stor skillnad. Bach säger det bäst, det som särskiljer honom från oss är hans förmåga att sätta ord på det han gör. Och som retoriker är han svårslagen.

James Bach är inte så kontroversiell som man kan tro. Han avskyr V-modellen och tycker att ISTQB-certifieringen är slöseri med tid. Hans argumentation har dock sina poänger, ur testsynpunkt det vill säga, och det är det jag faktiskt är intresserad av.

Efter föreläsningen är jag mer övertygad om än någonsin att det bästa för branschen är agil utveckling och test. I en perfekt värld kan man skriva krav, specca, designa, koda felritt och sen testa för att bekräfta att så är fallet. Men världen är inte perfekt. Ju förr företagen inser detta desto bättre. Med en agil arbetsmetod är man beredd på förändringar, ja, man förväntar sig sådana till och med - och med test med i leken från dag ett ser man dessutom till att inte tappa kundfokus.

Den som är intresserad av att försöka förstå varför agil utveckling och test är ett kraftfullt vapen borde verkligen lyssna på James Bach, vilket för övrigt är ganska lätt då Bach är en flitig bloggare.

5

Jag kan väl börja med att göra lite som TDH och Xboxflickan och visa upp min nya 360-avatar.

Sen kan vi ta det ett steg längre och recensera uppdateringen av Xbox 360:s gränssnitt, det som så populärt kallas NXE. Första intrycket är positivt, det är smidigare att navigera bland menyerna och konsolen känns snyggare. Går inte riktigt med på att en sketen uppdatering plöstligt ger mig en 360-och-en-halv, men visst, det är en rätt okej förbättring. Ingen bra sådan dock, och jag ska förklara varför.

Den första och riktigt stora fallgropen är buggigheten i systemet. Det är ofattbart att man släpper ett gränssnitt, det första ting en användare kommer i kontakt med, som är så pass dåligt testat och kvalitetssäkrat. Min konsol hann hänga sig tre gånger, en gång i introduktionen när jag skulle acceptera användaravtalet, andra gången när jag bläddrade i min vänlista, och tredje gången när jag tog en bild av min avatar för att använda som gamer card-bild. Det hade varit rent vansinne med de här problemen om de varit mina första intryck av konsolen, snacka om att lämna tillbaka en fallerad produkt och kräva pengarna tillbaka...

Den andra fallgruppen är avatar-systemet. Det gör ont i mitt hjärta att se vilket enormt plagiat det är. Det spelar ingen roll vad Rare eller Microsoft säger, för min del räcker det med att lyssna på avatar-låten för att jag ska bita ihop och kräva en stämning. Det är galet oattraktivt att sno idéer så skamlöst som det görs här. Jag gör det bästa av situationen och ser till att använda min avatar, nu när den ändå finns där med ingen möjligthet till avinstallation. Men seriöst Microsoft... hoppas åtminstone att ni har lite dåligt samvete.

Annars är det här en obligatorisk uppdatering, spelar ingen roll vad man tycker om den, om man har en uppkopplad konsol så kommer man förr eller senare att tvingas uppdatera. Och då antar jag att min recension inte spelar någon som helst roll.

Idag känner jag mig smutsig. Var på ett heldagsseminarium med det IT-klingande namnet "Automating Software Quality". Förmiddagen gick bra. Olika föreläsare, tillräckligt insnöade för att vara intressanta, och ett par nya tankar om automatisering.

Eftermiddagen däremot blev en smärtsamt uppenbar sponsrad fasad för Borlands programvara. Något pinsammare har jag inte varit med om den här månaden. Tre föreläsningar på raken där man endast gick genom Borland-lösningar och poängterade varför de var guds gåva till folket. Så fort det ställdes lite obehagliga frågor kom den frågvise personen att omringas av tre personer med varsin mikrofon där evangeliet förkunnades.

Det kändes väckelsemöte. Det kändes maffia. Och framför allt oerhört pinsamt, genomskinligt och smutsigt. Vi hann fundera på vem som betalat för lunchen, under eftermiddagen fick vi sannerligen veta det.

Bonusfakta. Vi var det enda företaget på plats som hade skickat fler kvinnor än män. Sånt gör mig stolt.

1

Jag har idag genomfört ett prov för möjligheten att bli certifierad testare enligt ISEB/ISTQB. Alltså Information Systems Examination Board / International Software Testing Qualifications Board för dig som inte visste det.

Det är någonting med IT-certifikat som är väldigt underhållande. Ju krångligare förkortning, desto bättre, jag tror att det är en dold branschstandard.

Provet alltså. Jo, jag vet faktiskt inte riktigt hur det gick. Säkert bra. Men provets utformning gör en osäker. Och det gillar jag inte alls. Upplägget är lite som den gamla körkortsteorin. Det är inte ens kunskaper som alltid testas, rätt ofta smygs det in frågor som mest är designade som ett pusselmoment värdigt gamla Zork.

Vi snackar om dubbla negationer, svar där man ska hitta det som är mest sant eller är mest sannolikt, eller så ser man ordlekar man ska reda ut och annat gott och blandat i samma anda. Det är precis som om det är meningen att vi hoppfulla kandidater ska straffas för att provet är utformat efter ett flervalsalternativform (nu har jag hittat på ett nytt ord, va?). Ett av alternativen är ju faktiskt rätt, och då gäller det att krånga till själva frågeställningen för att göra det lite svårare för oss.

Jag undrar om alla anglofila prov beter sig likadant? Att det inte är kunskaperna i sig som kommer i centrum, utan mer ens förmåga att knäcka provskribenternas hemliga kod.

Det är inte rätt.

3

Fordonet hittas på banan med den första Scarab-fighten och kan endast låsas upp vid co-op. Du och din polare behöver hoppa in i containern, sedan måste ni tippa över skiten för att till slut hoppa samtidigt. Och vips kan ni flyga runt i det senaste fordonet i Halo 3:s arsenal.

Speltestning rules. Särskilt när den missar en sån här bugg.

%d bloggare gillar detta: