Wisten jullie dat Metrixlab een echte (dat wil zeggen taakgestuurden) kwantitatieve usability variant heeft die al voor heel veel opdrachtgevers wordt ingezet? Ik heb er zelf in elk geval hele positieve ervaringen mee opgedaan!

Tekenen van een kadertje zou best een aardige aanvulling zijn inderdaad, ik merkte dat ik die neiging ook al had toen ik de tool gebruikte.

@Paul: Beter lijkt mij dan om de gebruiker meer vrijheid te geven in de toekenning van groen of rood. Bijvoorbeeld als ik een menu positief wil beoordelen, dat ik daaromheen een groen kader kan tekenen.

Yvonne: Ik deel je kritiek, met 1 verschil. Deze tool kan extreem goedkoop zijn en kan voor sommige dingen misschien winnen van enquetes en de andere methoden die je noemt. Dat iets + of - is, is ook een voordeel: je hebt minder te analyseren. Ik ben er ook nog niet uit, maar we moeten oppassen het niet te snel af te schieten (deed ik ook eerst) omdat het niet binnen bestaande toolsets past ofzo :).

Marielle: goede suggesties, die ik ook deel. Als je een grote gebruikersgroep hebt kun je natuurlijk in 1 keer 20 vragen stellen, maar elke persoon maar 1 vraag stellen om toch veel feedback te krijgen. Misschien kan de tool dus het beste als inspiratietool gebruikt worden: waar moeten we op focussen in “echt” (kwalitatief) usability onderzoek?

Stefan: OK goede insteek, welk probleem (van de usability onderzoeker) lossen we op? How about: “Welk onderdeel van onze site/template/concept moeten we het eerst aanpakken”? Ik zeg ook nadrukkelijk dat niet wellicht niet de methode is om een heel concept te beoordelen, misschien is het voor andere deliverables beter?

Ik ben het met je eens dat je vroegtijdig in het proces vooral kwalitatieve feedback nodig hebt. Maar misschien kun je hiermee wel je kwalitatieve feedback toetsen, of bepalen waar je kwalitatieve feedback voor nodig hebt?

Tim: Dat geldt uiteraard voor elke onderzoeksmethode: het moet wel zuiver zijn. Ik denk dat we het hier simpel moeten houden, dus ook slechts simpele (incomplete) conclusies kunnen trekken.

Wat mij betreft kan geen enkele usability methode op zichzelfstaand worden ingezet, maar moet er altijd worden getoetst en gewogen om te bepalen wat de methode waard was. Wel top al deze feedback, keep it coming!

Hebben jullie nog suggesties voor elke vraag ik bij een van de templates zou kunnen stellen?

Misschien is het leuk als Paul Veugen onze tool ook meeneemt in zijn onderzoek? Ook andere opmerkingen of ideeën voor pilots met Tag-it zijn natuurlijk welkom. Zie voor meer info onze weblog: http://www.ruigroknetpanel.nl/weblog/482. Verder ben ik benieuwd wat je verder nog tegenkomt met de pilot met jullie tool!

Allen: Bedankt voor de input. De format zoals hij nu online staat voor het beoordelen van Blackboard is een eerste concept. Op basis van de feedback die we ontvangen zullen we een testcase maken voor Eduhub.

Tim: Sturende vragen moeten inderdaad vermeden worden. Wel kun je de gebruiker vragen om specifieke eigenschappen van een concept te beoordelen. De gegevens die je dan verzamelt zijn eenvoudiger te interpreteren, dan wanneer je om een meer algemeen oordeel vraagt.

Een Plus-Minus-evaluatie bij teksten wordt vaak gecombineerd met een toelichting van de gebruiker op zijn positieve en negatieve beoordelingen. Dat zou in dit geval ook eenvoudig gerealiseerd kunnen worden, door na afloop van de beoordeling per punt om een toelichting te vragen of de gebruiker een categorie (vb vormgeving, duidelijkheid, content, etc?) te laten toewijzen aan ieder punt.
Ik vraag me echter af of de methode in een zeer basic vorm, door een algemeen oordeel of een oordeel over een deelonderwerp, ook bruikbaar is voor het opsporen van drempels door/voor gebruikers in een vroeg stadium van ontwerp.

Suggesties ter verbetering:

- Clustering op basis van de gegeven beoordelingen (dus niet als in het datamap-voorbeeld). Punten met een zelfde verdeling aan plussen en minnen horen tot één gebied.

- Met een algemene vraagstelling (”positieve en negatieve punten”) is de methode alleen geschikt om te achterhalen welke onderdelen nader bekeken moeten worden, omdat ze negatief beoordeeld worden of omdat de spreiding tussen verschillende gebruikers groter is dan verwacht.

- Met specifiekere vragen kom je tot makkelijker interpreteerbare gegevens. Veel vragen uit de standaard usability enquêtes kun je zonder al te veel moeite omzetten naar een vorm die je met groene en rode punten in een plaatje kunt laten beantwoorden. Dit kan zelfs heel specifiek (”wat vind je van het kleurgebruik/de leesbaarheid/de relevantie?”)

- Omdat het een redelijk snelle methode is, kun je behoorlijk specifiek testen. Je test dan met verschillende ontwerpen, die steeds iets verschillen (bijv. menustructuur, lettergrootte, kleurgebruik). Variantie-analyse levert dan effecten en interacties van verschillende manipulaties. Omdat je dan kijkt naar within-subject effecten, heb je minder last van onderlinge verschillen tussen proefpersonen (de één zal waarschijnlijk meer punten zetten dan de ander of meer naar groen neigen).

Deze aanpassingen gaan wel weer ten koste van snelheid en gemak.

Maar zoals de methode bedoelt is zie ik er niks in.
Ik heb even het blackboard beoordeeld. Ik wilde aangeven dat ik de menubalk boven duidelijk vindt, dus groen. Maar het kleurgebruik daarvan vond ik niet goed. kortom het is raden naar waarop de de waardering gebasseerd is.
Het zou kunnen als je vragen erg specifiek gaat stellen, maar dan zie ik de meerwaarde niet meer van deze tool. Omdat je je gebruikers niet de vrijheid geeft een waarde te hangen aan een oordeel (het is positief of negatief). Je moet wel heel specifiek in je vraagstelling zijn wil je bij iedere gebruiker hetzelfde meten. En dan denk ik dat lang niet van enquetes, gebruikerstesten en interviews gewonnen kan worden.

Je zou dan geen gebruik maken van de negatieve punten, want “Via welke weg zou je de informatie NIET kunnen vinden” is m.i. zinloos.

Eventueel het onderzoek uitbreiden zodat mensen prioriteiten kunnen aangeven (1e = meest waarschijnlijk, 2e = iets minder waarschijnlijk, etc..). Ook zou je de tijd tussen laden pagina en de klik kunnen meten om erachter te komen hoe lang het duurt dat een bezoeker desbetreffend navigatieonderdeel heeft gevonden. Mocht je tijd bij gaan houden moet je er wel rekening mee houden dat als je meerdere opdrachten geeft, de personen bij de 2e (en volgende) zoekopdrachten de layout al kennen en de navigatie veel sneller zullen kunnen vinden.

Zomaar een quick thought, maar het is al laat dus val me er niet op aan :-)