Een onderzoekje doen lijkt heel makkelijk; een lijstje vragen kan iedereen opstellen, uitsturen en klaar! Gelukkig weten de meesten onder jullie wel dat een lijstje vragen iets anders is als een goede vragenlijst, dus daar zal ik verder niet op in gaan. Ook het uitsturen is niet iets dat je lukraak doet; een goede steekproef is (meestal) noodzakelijk. Al de basis beginselen zijn wel bekend, toch? Dat dit niet altijd het geval is blijkt wel uit allerhande twijfelachtige berichtjes over onderzoeksresultaten die her en der opduiken of misschien heb je zelf weleens een enquête ingevuld waarbij je haren overeind gingen staan bij het soort vragen dat je kreeg.
De ongelukkige onderzoeker wordt echter steeds meer gehoord en niet alleen via officiële organen als Esomar. Ook op verschillende plekken op internet word “slecht onderzoek” steeds meer aan de kaak gesteld. En van de leukste ontdekkingen die ik deed wil ik hier graag met jullie delen: de weblog “Bad Research; No Biscuit”
Op dit weblog vertelt een research professional, vooralsnog anoniem over zijn vreselijkste ervaringen met (online) onderzoeken. Want wat een hoop bizarre dingen kom je nog vaak tegen! In het kort een paar opmerkelijke zaken, zonder direct de hele weblog over te willen schrijven:
Fout in de programmering van de vragenlijst: Waar gehakt wordt vallen spaanders, maar toch is het steeds weer pijnlijk als je een scherm in een enquête tegenkomt dat daar niet had mogen zijn. Opmerkingen van de maker, een halve vraag, of gewoon een onbegrijpelijk stuk tekst.
Een incentive, die je niet kunt ontvangen: Wanneer je een vragenlijst invult staat daar vaak iets tegenover. Leuk misschien, maar niet als de aanbieder duidelijk eigenlijk niet over de brug wil komen. Bied je een incentive aan; dan moet deze ook via een duidelijke weg te innen zijn, en niet ergens obscuur weggestopt worden.
Moeilijke vragen: Je respondent is niet stom, maar je moet wel rekening houden met een beetje een gemiddelde persoon, natuurlijk. En buiten dat, mooie (marketing) taal in je vragen is sowieso een no-go. Klinkt mooi maar als het al een precieze betekenis heeft; hoeveel mensen kennen die nu écht? Hetzelfde geldt voor “technobabble” of andere ingewikkelde omschrijvingen; laat je respondenten niet googlen voor de betekenis van je vraag!
Ik denk dat het duidelijk is dat ik enthousiast ben over een blog dat duidelijk wil maken wat voor een bizarre zaken je tegen kunt komen in vragenlijsten. Daarbij geeft de schrijverr ook nog eens zijn mening over andere zaken, zoals de bekende “oude media” die het online proberen.
Laten we niet allemaal te hard zijn: onderzoek lijkt vaak makkelijker dan het is. (Hoe meet je écht wat je wilt meten op een manier die je respondent aanstaat.. ?!) De vele stakeholders maken het er daarnaast ook niet altijd eenvoudiger op. Maar het is goed dat een weblog als dit ons een spiegel voor kan houden en zich kan afvragen: “Moet dat nou zo?!” (De auteur van “Bad Research…” is overigens ook terug te vinden op Twitter)
Disclaimer: Ik, de schrijver van dit stuk, werk zelf in de Market Research industrie voor een sample provider maar heb verder geen binding met of invloed op het hier beschreven weblog.