Dank voor je positieve reactie. Ik ken ze beiden en schrijf zelf ook op Lifehacking.nl (nou ja, so far 1 artikel). Naamlooz mailings krijg ik maar ben er nog nooit heengeweest, kwam altijd slecht uit, en wonen in Zurich helpt ook niet echt momenteel ;)

Ik ben bezig met afstuderen en kwam viavia bij jouw weblog uit. Echt super fijne informatie om mijn rapport te onderbouwen. Maar nu kwam ik Marketingfacts in dit verhaal tegen en ik vroeg mij af of jij al bekend bent met NaamlooZ of Lifehacking(beide netwerken met creatieve mensen o.a. op dit gebied). Lijkt me beide iets voor jou(o.a. marketingfacts is daar ook bij betrokken).

Groetjes Anita

Kijk voor meer informatie op:
http://naamlooz.nl/

Observatie: zeker waar, zoals in mijn recentere stuk betoogd; ik denk dat het leren van die observatie zelfs meer kan zijn dan de exacte bevindingen zelf. In Morae zit hiervoor een feature ingebouwd trouwens, om over het netwerk de beelden te delen.

Over hardop denken (en het zg. alternatief hardop denken achteraf met evt. eyetracking beelden erbij) is inderdaad het laatste woord nog niet gezegd. O.a. bij Marketingfacts is hierover gediscussieerd in het artikel Don’t make me think aloud.

Enkele aanvullingen:

Werving deelnemers voor je onderzoek
We kregen steeds meer aanvragen voor specifieke onderzoeken voor  websites die gericht zijn op MKB’ers – dit blijkt een erg moeilijke doelgroep te zijn om te recruteren. Ze werken natuurlijk overdag in hun eigen zaak en als ze al kunnen dan kan het vaak pas ’s avonds. De doorsnee beloning voro het deelnemen aan een usability test (varierend van € 50 – € 150) is voor iemand uit het MKB vaak niet interessant.
Tip: als je voor een opdracht mensen uit deze doelgroep moet (laten) recruteren, waarschuw je opdrachtgever dan voor de mogelijke risico’s: doorlooptijden, beperkt aantal mensen dat je waarschijnlijk kunt recruteren, etc. 
Observatie
Omdat wij de luxe hebben van een groot lab met een grote observatieruimte, hebben wij ervaren dat het mee laten kijken van de opdrachtgever + marketeers + programmeurs + helpdeskmedewerkers van bijzondere toegevoegde waarde is. Iedereen kijkt er vanuit een eigen invalshoek naar toe en je kunt achteraf meteen een discussie voeren over hetgeen iedereen heeft kunnen zien. Je hebt hier niet eens een hele fancy omgeving voor nodig om dit te bereiken: wij hebben het meerdere malen gedaan met 2 ruimtes / hotelkamers. De ‘obseravtiekamer’ had dan een beamer om het camerabeeld en geluid op te volgen en een extra computerscherm met het beeld van de testpc.
Tip: betrek zoveel mogelijk disciplines bij de observatie.
Let op: hiervoor moet je wel groepsdiscussies kunnen leiden en het vergt meer tijd 
Testopdrachten
Wij lieten vaak de opzet voor de opdrachten maken door de kant van de opdrachtgever: zij hebben de inhoudelijke kennis. wat wij deden is daarna in discussie met de opdrachtgever over de opdrachten en ze daarna redigeren zodat ze niet te sturend zijn.
Opdrachten
Mijn ervaring is dat je vaak veel meer onderwerpen wilt onderzoeken dan mogelijk is. Wat ik deed is om alle onderwerpen in een matrix uitzetten tegen het aantal deelnemers zodat je een overzicht kunt bijhouden welke onderwerpen nog niet aan bod zijn gekomen.
Dan kun je samen met de opdrachtgever tijdens het onderzoek bepalen welke onderwerpen al dan niet nog aan bod hoeven komen.
Hardop nadenken vs surfen
Dit was een discussie waar we destijds nog geen pasklaar antwoord op hadden. Door het verwoorden van je gedachten kun je de vraag kunt stellen of deelnemers niet teveel daardoor worden geleid in hun handelingen. Als mensen niet hardop nadenken kunnen ze andere handelingen vertonen. Dit is vooral een discussie die speelt toen wij eye-tracking installeerden en zijn gebruiken. Benieuwd of deze discussie elders ook heeft gespeeld en wat de laatste zienswijzen hierop zijn

Dit was het voor even nu. Mocht mij nog wat te binnen schieten, dan post ik nog een berichtje.

Het is altijd nuttig om die mensen eerst te vragen wat ze zelf op de website zouden willen zoeken of doen. Dat kan hele verrassende dingen opleveren. Laat ze het vervolgens zoeken of doen. Dat levert altijd bijzonder veel nuttige testresultaten op. Ik heb altijd moeite om over te gaan op het geven van opdrachten die ik als testleider zelf bedacht heb.

Zelf zit ik altijd naast de proefgebruiker en kijk mee naar hetzelfde scherm. Is nooit een probleem. Ik vraag ook vaak naar verduidelijking van wat de proefgebruiker doet of zegt. Daardoor ontstaan vaak gesprekjes, bijv. over hoe iets beter zou kunnen. Volgens de offici?´le hardopdenkmethode-leer zou dit het proces te veel verstoren, maar naar mijn ervaring gebeurt dit niet en levert het erg veel op. Na zo’n gesprekje gaat de proefgebruiker gewoon weer verder alsof er geen onderbreking van het hardopdenkproces heeft plaatsgevonden. Sterker nog: de proefgebruiker merkt dat er veel belangstelling is voor wat hij doet en zegt, en gaat daardoor nog meer informatie geven. Dat houdt hij ook best lang vol. Testsessies duren bij mij normaal meestal 1,5 – 2 uur, en dan kan ik er met moeite een eind aan maken.

Ik test meestal informatieve sites die niet, zoals commerci?´le sites, op een beperkt aantal taken gericht zijn (bijv. product uitzoeken en bestellen). Dan is het handig om meerdere opdrachten te verzinnen. Dan test je meer onderdelen. Het lukt meestal niet om een proefgebruiker alle opdrachten te laten uitvoeren. Per proefgebruiker kies je dan tijdens de testsessie welke opdrachten hij uitvoert. Omdat je vaak na 2 of 3 keer uitvoeren van een opdracht wel weet welke problemen optreden, hoef je die bij latere proefgebruikers niet meer te laten uitvoeren en kies je bij hen voor opdrachten die nog niet of weinig zijn uitgevoerd. Zo kun je vaak toch alle opdrachten laten uitvoeren.

Usabilit testen kan inderdaad snel en goedkoop. Zet 3 proefgebruikers achter de site, laat ze uit zichzelf dingen doen en opdrachten uitvoeren, noteer wat er mis gaat en je hebt een schat aan informatie hoe je de site kunt verbeteren. Daarom is het beter, zoals Krug en Nielsen ook beweren, de site op verschillende momenten een paar keer kort te testen, dan ?©?©n keer een test bij veel proefgebruikers uit te voeren.

Later in 2008 verschijnt bij Kluwer mijn boekje over websites testen bij gebruikers, een praktische handleiding. Daarin werk ik dit soort punten uit.

Wat betreft de kosten: ik zeg nergens dat websites bouwen goedkoop is. Wel ben ik ervan overtuigd dat, als je zelf usability onderzoek doet, je minder geld aan je site zult uitgeven. Simpelweg doordat je geen dingen bouwt die niet nodig blijken, en wel dingen bouwt die je later anders wellicht pas had gedaan.

Ik ben het niet met je eens dat je per se veel ervaring moet hebben om conclusies te kunnen trekken. Zeker het signaleren van problemen is voor de meeste mensen bij veel problemen vrij simpel. Het bedenken van een oplossing is een ander verhaal, daarvoor heb je zeker een interaction designer nodig. Maar daarover gaat dit stuk dan ook niet.

Vergeet niet: de klant (die dus wat mij betreft ook zelf onderzoek mag doen) bepaalt nu ook de briefing aan de webbouwer. Door zelf dichter bij de gebruikers te gaan staan, wordt die briefing beter. Het design en de implementatie moet door experts gedaan worden.

En just to be sure: ik zeg niet dat een usability expert geen waarde heeft of niet nodig is. Ik zeg alleen dat bedrijven meer onderzoek zelf moeten en kunnen doen. Ik ben benieuwd wat je van mijn stuk vindt met deze extra uitleg. Aanvullend kun je ook nog dit stuk lezen, dat op jouw lijf geschreven is: Usability Mythe #3: Usability is duur, eng en ingewikkeld.

Ik heb ?©?©n aanvulling bij punt 1: Die webredacteur wil ik er toch wel graag bij hebben. Ik heb in het verleden een enkele keer meegedraaid met een uitgebreide usabilitytest en daarin zaten twee groepen testers: de uiteindelijke gebruikers en de “van de straat geplukte deelnemers” om het even heel oneerbiedig te zeggen. Die tweede groep werd ingezet zoals je inderdaad bij punt 1 beschrijft, maar die eerste groep is er om de eisen die ze zelf t.a.v. usability gesteld hebben te testen. In mijn veronderstelling komt een usabilitytest namelijk juist op de agenda te staan als in het voortraject blijkt dat er vanuit de gebruikersorganisatie eisen t.a.v. usability zijn gesteld. En die eisen kun je niet door groep 2 laten testen, althans niet allemaal. Daarvoor is wel kennis van de applicatie en organisatie nodig.

Ten slotte, wat betreft je eerste alinea, stug volhouden hoor, helemaal mee eens!

Google-hack:
De 2 google pagina’s nabouwen (lees Bestand -> Opslaan als -> Webpagina). Google’s resultaten ophalen via de Search API en deze, aangevuld met een resultaat dat verwijst naar het prototype, presenteren. Je krijgt inderdaad altijd dat ene resultaat verwijzend naar het protptype. De rest is afhankelijk van de query.

Teun: de relatie met kosten zit hem er wat mij betreft in dat deze tips van toepassing zijn als je zelf een usability test gaat uitvoeren. Bijv het stuk over de test setup in een vergaderzaal met een laptop en een shareware screencapture programma. Dat kost allemaal niks tot weinig en geeft je toch een soort van professionele setup.

Mis je ergens nog iets, of heb je het idee dat dingen die ik noem toch veel geld kosten?

En leg die Google hack eens uit, wat doe je dan? Of maak je gewoon een fake Google pagina waar je steeds dezelfde results krijgt?

JasperR: dat is waar, videobewerking is neit altijd even makkelijk. Al begin ik iMovie voor OSX aardig door te krijgen en daarme kun je toch supersnel knippen en plakken. Maar als je met een interne opdrachtgever werkt is er toch niks mis mee om gewoon de hele video te pakken en daar doorheen te skippen a.d.h.v. momenten in de tijd die je zelf hebt opgeschreven?

Morae is wat je moet gebruiken als je inderdaad vaker dit soort werk doet, maar kost minimaal 2500$ en dan heb je nog maar 1 licentie. Camtasia heeft de belangrijkste functionaliteit ook en kost een fractie.

Je geeft goede tips mbt planning, daar moet je als observator wel scherp in zijn want soms kunnen deelnemers eindeloos los gaan terwijl jij minder tijd hebt en wel moet testen wat je wil testen :)

michel: Ik heb Don’t make me think al een tijd niet meer gelezen, heb deze tips eigenlijk uit mijn hoofd opgeschreven terwijl ik terugdacht aan eigen onderzoeken. Komt het erg overeen, of was jouw vraag niet retorisch?

Ulco: Cool om het zo te doen. Ik ben voor een usability onderzoek echter wel voor een kwalitatieve aanpak. Denk dat je meer eraan hebt om met 5-10 mensen even een half uurtje te gaan zitten en ze door je site heen te laten klikken, dan kun je ze meteen dingen vragen en dat is waar je vaak het meeste uithaalt. Helemaal mooi om het te combineren met jouw kwantitatieve aanpak of course…

Aan de andere kant geloof ik ook wel een beetje in die ‘dure’ usability onderzoeken. Je zal maar een shop hebben met een paar miljoen omzet per jaar. Als die ‘button 50 pixels naar rechts’ echt 5% conversie uitmaakt dan ben je die kosten zo vergeten. Helaas geeft 90% van de mensen het geld uit aan het intrappen van open deuren maar goed, dat moeten ze zelf weten…