KORTE EN DUIDELIJKE TIPS VOOR ONDERZOEKSOPDRACHTEN EN -TENTAMENSTOF (HBO/MBO+).

Betrouwbaarheid en validiteit In dit artikel worden de begrippen betrouwbaarheid en validiteit uitgelegd.
In dit artikel worden ook behandeld: respondent bias, interviewer bias, betrouwbaarheid en herhaalbaarheid, betrouwbaarheid bij kwalitatief onderzoek , betrouwbaarheidsniveau en de kans op toevallige fout, interne validiteit, externe validiteit, definitie van validiteit

Betrouwbaarheid en waarheid hebben heel veel met elkaar te maken.

Onderzoek gaat over het vinden van de waarheid dus zijn er veel hoofdstukken gewijd aan dit onderwerp:
- de betrouwbaarheid van de respondenten (spreken ze wel de waarheid)
- de betrouwbaarheid van de onderzoeker (is zijn manier van interviewen wel onpartijdig)
- de betrouwbaarheid van gegevens (kloppen de gegevens wel)
- de betrouwbaarheid van het rapport (zijn de conclusies wel juist)

Betrouwbaarheid heeft ook te maken met validiteit. 
We zeggen: 'Als het onderzoek niet valide is, dan is het ook niet betrouwbaar'. 
Validiteit betekent: meet je wel de juiste dingen?
Een vraag die dan ook vaak gesteld wordt op tentamens is: “Wat kun je zeggen over de betrouwbaarheid en de validiteit van het onderzoek?”

Respondent bias (als respondenten niet de waarheid zeggen)

Betrouwbaarheid

Aandachtspunten:
a) Zijn de antwoorden van de respondenten wel waar? Als je een interview doet en je vraagt ’hoe vaak heb je gestolen?’ dan zal een deel van de respondenten niet eerlijk antwoorden. Je geeft immers niet graag toe dat je hebt gestolen. Dit heet de 'respondent bias' . Het betekent dat de persoon die je interviewt de waarheid niet (helemaal) vertelt. De respondent bias kan ook veroorzaakt worden door onduidelijkheid in de vragen of door het gebruik van moeilijke woorden. Als de respondent de vraag verkeerd begrijpt, krijg je immers ook een antwoord dat niet klopt.

b) Er is ook nog de interviewer bias. Een antwoord kan ook onbetrouwbaar zijn door de interviewer zelf. Hij kan een vraag zo stellen dat het niet mogelijk is om de waarheid te zeggen. Een veel gebruikte truc van politici (en sensatiezoekers) is de valse tegenstelling: "Wil je meer of minder buitenlanders in je stad?" Er is hier met opzet geen mogelijkheid om te antwoorden 'ik weet het niet' of 'het maakt me niet uit'.. Dit is de interviewer bias. Als het antwoord sterk wordt bepaald door de manier van vraagstelling dan krijg je een onbetrouwbaar antwoord.

c). Kloppen de gegevens wel? Wanneer je gebruik maakt van bronnen zijn er een aantal belangrijke aandachtspunten: Zijn de gegevens wel verzameld door een onpartijdige onderzoeker? Is de informatie wel gecheckt? Is de informatie niet verouderd? Heb je wel gecontroleerd of de informatie betrekking heeft op jouw onderwerp?

d). De betrouwbaarheid van het rapport. Meestal bedoelen we dan de betrouwbaarheid van de conclusies van het rapport. Was de onderzoeker wel in staat om de JUISTE conclusies te trekken uit de informatie? Of heeft hij de informatie verkeerd geïnterpreteerd? Of misschien heeft hij de informatie wel goed geinterpreteerd maar kan hij zelf niet zo helder denken en trekt daardoor de verkeerde conclusies? Wanneer je kwantitatief onderzoek gaat doen (bijvoorbeeld met enquêtes) moet je betrouwbaarheid ook definiëren als 'herhaalbaarheid'.

Betrouwbaarheid = Herhaalbaarheid.
Wanneer het onderzoek op dezelfde manier nog een keer gedaan zou worden dan zal de uitkomst (vrijwel) hetzelfde zijn.

Betrouwbaarheid heeft te maken met waarheid. We zeggen dat een conclusie waar is wanneer je het kunt vergelijken met de werkelijke feiten en er blijkt dan geen verschil te zijn. Met andere woorden de contrôle of een conclusie juist is gebeurt door een vergelijking te maken.

-Kwalitatieve gegevens (bijvoorbeeld van interviews) kunnen we controleren door verschillende interviews met elkaar te vergelijken. We kunnen ook een collega of een expert vragen om zijn mening te geven over de interviews (denkt hij ook dat het waar is?). Dit raadplegen van een collega heet 'peer consulting' of 'peer feedback'.

-Kwantitatieve gegevens (bijvoorbeeld de uitkomsten van enquêtes) zou je moeten controleren op betrouwbaarheid door de enquête te herhalen en de uitkomsten te vergelijken. Komt er nog steeds hetzelfde resultaat uit het onderzoek? Het is in de praktijk (vaak) lastig om een enquête te herhalen. Je kunt er wel iets over zeggen. Wanneer je een onderzoek doet onder 100 000 klanten en je neemt 5 enquêtes af dan zal de uitkomst van je onderzoek niet betrouwbaar zijn. Wanneer je een volgende keer 5 andere klanten enquêteert is er een grote kans dat de uitkomst van je onderzoek weer heel anders is. Wanneer je echter 2000 enquêtes afneemt dan is de uitkomst van je onderzoek betrouwbaar. Want een paar enquêtes meer of minder zal er niet voor zorgen dat er ineens een heel andere uitkomst uit je onderzoek komt. 

Onderzoekers zeggen dus ook wel 'een onderzoek is betrouwbaar, wanneer het bij herhaling dezelfde resultaten geeft'. Omdat je bij interviews meestal maar een paar mensen spreekt en bij een enquête wel 300+ zijn interviews vaak minder betrouwbaar dan enquêtes. Want bij een herhaling (5 interviews met andere mensen) komt er waarschijnlijk een ander resultaat uit het onderzoek. (Het hangt er maar net vanaf wie je spreekt). Bij enquêtes is je conclusie gebaseerd op  de antwoorden van veel meer mensen. Dat maakt de kans veel groter dat je conclusie klopt en dat er bij een herhaling van de enquête wel ongeveer hetzelfde uit het onderzoek zal komen.

Betrouwbaarheidsniveau en de kans op een toevallige fout

Het is meestal niet mogelijk om een enquête te herhalen en de uitkomsten te vergelijken. Maar dat is niet erg. We weten immers dat de kans dat er bij een volgende enquête hetzelfde resultaat wordt gehaald groter is wanneer je meer mensen enquêteert. Betrouwbaarheid heeft dus te maken met aantallen. Het gaat er ook om te bedenken wat de kans is dat er tussen die mensen die meedoen aan de enquête mensen zitten die een 'rare mening’ hebben, een mening die heel anders is dan die van de 'normale/ gemiddelde' burger of klant. Als je per ongeluk veel van deze mensen aan het woord laat (enquêteert) en de andere mensen weinig mee laat doen ... dan klopt de uitomst van je onderzoek toch niet.

"Ik onderzoek de tevredenheid over het buurtfeest. We willen weten of we het nog een keer
zouden moeten organiseren. Wat is uw mening?"

Voorbeeld: Stel dat je het idee hebt om in jouw buurt een feestje te organiseren. In je buurt wonen 1200 mensen. Om te onderzoeken of er voldoende mensen zin hebben in je feest bel je bij 100 buurtbewoners aan. Je vraagt of zij ook zin hebben in een wijkfeest. Dan kan het gebeuren dat je toevallig ook bij de 50 ’zuurpruimen van de buurt' aanbelt. Uit je onderzoek komt dan dat 50% de bewoners absoluut geen zin heeft in je feestje. Je onderzoek geeft dus als resultaat dat maar de helft van de buurt achter je idee staat... Maar die 50% is onbetrouwbaar. Het komt doordat je toevallig de verkeerde mensen in je steekproef had. Want eigenlijk vinden 1100 van de 1200 bewoners je idee geweldig! We noemen dit de ’toevallige fout’. 

Er is een oplossing om te bewijzen dat er een toevallige fout is gemaakt: Je onderzoek helemaal opnieuw doen! Er zou dan bij het tweede onderzoek een heel andere uitkomst moeten komen.

De toevallige fout is zo belangrijk dat er afspraken zijn gemaakt: 95% betrouwbaar betekent dat wanneer het onderzoek 100 keer wordt uitgevoerd dat er 95 keer dezelfde uitkomst wordt verkregen. Een onderzoek is 96% betrouwbaar als je het onderzoek 100 keer doet en er komt 96 keer precies dezelfde uitkomst uit. 
Anders gezegd: De kans op een toevallige fout (dat je toevallig juist 'de mopperaars' mee hebt laten doen) is 4%.  We noemen die 96% ook wel het betrouwbaarheidsniveau.

Validiteit

Om te begrijpen wat validiteit betekent moet je even nadenken over de volgende vraag: Stel dat je onderzoek zou doen naar de vraag of je een hoger salaris zou kunnen krijgen. Welke vraag stel je dan aan je werkgever?

a) Meneer vindt u mijn schoenen mooi?
b) Meneer wilt u mijn loon wat verhogen?
Van deze vragen is natuurlijk b de juiste. De andere vraag is niet-valide. Vraag a. heeft geen betrekking op het onderwerp, salarisverhoging.

Externe validiteit: Kies de juiste persoon voor je vraag....

Validiteit gaat er ook over of je de vragen wel aan de juiste persoon stelt. 
'Wilt u mijn salaris wat hoger maken?” Aan wie moet je de vraag stellen?
a) Ik stel de vraag aan onze buurvrouw.
b) Ik stel de vraag aan mijn werkgever.
De juiste persoon om de vraag aan te stellen is natuurlijk je werkgever. Deze persoon kan zinvolle informatie geven voor je onderzoek.

Interne en externe validiteit

De voorbeelden gaan over twee verschillende soorten validiteit:
De vragen die je stelt gaan over de interne validiteit. 
Dat je de vragen aan de juiste persoon moet stellen gaat over de externe validiteit.

Kort samengevat zeggen we:  Validiteit = ’meten wat je moet meten’.
Voor enquêtes geldt daarom: De juiste vragen stellen, aan de juiste personen.

EINDE VAN DIT ARTIKEL
Bekijk ook de andere artikelen Klik hier voor een overzicht van alle artikelen.

The Research & Education Company BV is een full-service onderzoeksbureau. Bekijk hier inspirerende voorbeelden van innovatieve onderzoeksprojecten.
Voor junior onderzoekers hebben we de Steekproefcalculator die automatisch uitrekent hoeveel respondenten u netto moet realiseren voor een betrouwbaar en nauwkeurig onderzoek.

DEEL DEZE SITE MET MEDE-STUDENTEN
Er is veel zorg besteed aan deze uitleg. Het is begrijpelijk geschreven met duidelijk voorbeelden. Maandelijks bezoeken 4000 HBO (en WO) studenten onze site. Als je vindt dat de site je goed geholpen heeft vergeet dan niet om dit te delen en te liken.