Inför seminarium 2

Till detta seminarium har vi läst två kapitel. 

Kapitel 13

Detta kapitel handlar om evaluation, alltså utvärdering. Utvärdering har många syften och kan utföras i olika stadier av utvecklingsfasen.  

Ett vanligt syfte med utvärdering inom HCI är att undersöka hur väl produkten uppfyller konsumenternas krav och önskemål. Man vill därför utvärdera vissa viktiga aspekter av produkten, som exempelvis hur lätt eller kul den är att använda. Var man utför utvärderingen beror helt på vad som ska undersökas. Vanligen utförs den i  ”laboratorier” då man ofta vill kontrollera mycket av utvärderingen men det kan också utföras i så kallade ”wild setting” eller ”living laboratories” i syfte att fånga en mer naturlig användning av produkten. Utvärdering är viktigt under hela utvecklingsprocessen för att identifiera problem, för att sedan lösa de och sedan återigen utvärdera förändringarna. Detta är alltså en iterativ process.

Det finns tre huvudsakliga kategorier av utvärdering:

·      Controlled setting involving users

Tillåter att utvärderaren kontrollerar insamlingen av data. Detta genom experiment, observationer, intervjuer och enkäter som sker i kontrollerade miljöer så som i ”laboratorier”. Exempel på när denna typ av utvärdering är lämplig är när man vill undersöka ifall en produkt är tillräckligt väl anpassad och användbar för den avsedda användaren.

·      Natural setting involving users

Är relevant ifall syftet med utvärderingen är att fånga en naturlig användning av produkten. Detta utförs genom att minimera utvärderarens kontroll och hämta in data som sker så spontant som möjligt. Denna typ av utvärdering utförs ofta i så kallade ”wild settings”.

·      Any setting not involving users

Utförs genom att utvärderaren modellerar hur en produkt troligtvis kommer att användas.

Det finns för- och nackdelar med samtliga utvärderingsmetoder. Fördelen med kontrollerad utvärdering är att man får konkreta svar på frågeställningarna man har. Det är därför lättare att dra slutsatser kring datamängden man samlar in. En fördel med att ha en mer spontan utvärdering är att man har större chans att fånga hur produkten faktiskt kommer att användas. Man kan även identifiera problem som man tidigare aldrig tänkt på genom att ha en mer öppen approach. Alla dessa metoder kan med fördel kombineras.

I utvärderingsprocessen bör man tänka på hur vinklad, giltig och trovärdig utvärderingsdatan är.  

Kapitel 15

Kapitlet handlar om utvärdering genom inspektion utan närvarande av användaren, och fokuserar mest på så kallad heuristic evaluation. Heuristic evaluation utförs genom att insatta personer, experter, utvärderar en typ av produkt utifrån deras kunskap och erfarenheter. De har ofta kunskap om problem som ofta förekommer hos liknande produkter. En expert kan ofta komma med viktiga insikter som utvecklaren inte tänkt på.  

Analytics är en annan metod för utvärdering som handlar om att kartlägga användarens användning av produkten. Denna kartläggning sker ofta till en mycket stor utsträckning och genererar en stor datamängd, ofta utan användarens kännedom. Denna stora datamängd kan sedan analyseras för att ge en bra bild av hur produkten används.

Predictive models är en annan metod för utvärdering och bygger på att genom användning av formler kunna förutsäga hur produkten kommer att användas.

Det jag tar med mig från detta kapitel är hur iterativ utvecklingsprocessen är. Eftersom utvecklaren hela tiden identifierar nya problem och krav bör man gång på gång återkomma till tidigare arbete för att utvärdera och förbättra det för att till slut få fram en så bra produkt som möjligt. För att uppnå detta bör man utvärdera produkten med så många metoder som möjligt för att både få en kvantitativ, kvalitativ, kontrollerad och okontrollerad datamängd.

Att utvecklingen är iterativ har jag även märkt i praktiken då vi ofta inom gruppen har återgått till gamla diskussioner då vi kommit på en förbättring. Detta är något som jag förväntar mig att vi kommer fortsätta att göra.

Fråga till seminariet: Vilken utvärderingsmetod är mest relevant och rimlig för vår produkt? Min tanke är att en öppen utvärdering, det vill säga okontrollerad skulle vara mest intressant för vårt projekt då det är viktigt att få en bild av hur vår produkt, interaktiv skärm eller knappsats faktiskt skulle användas ifall den fanns i parken. Skulle människor kanske tröttna på den efter första knapptrycket? Efter att ha fått en uppfattning skulle man kunna utföra en kontrollerad utvärdering för att kunna testa sina hypoteser och konkret förstå varför produkten exempelvis är tråkig, genom mer djupgående intervjuer eller enkäter.

Kan man på något sätt inkludera utvärdering i själva produkten? Alltså försöka ”tvinga” användaren utvärdera produkten som en typ av kontrollerad utvärdering.