WAT BETEKENT VALIDITEIT

KORTE EN DUIDELIJKE TIPS VOOR ONDERZOEKSOPDRACHTEN EN -TENTAMENSTOF (HBO/MBO+).


VALIDITEIT UITGELEGD MET VOORBEELDEN


In dit artikel worden de volgende onderwerpen behandeld: Wat is validiteit? , Validiteit en betrouwbaarheid van een onderzoek  , Voorbeelden van fouten in de validiteit  ; Voorbeeld van een fout m.b.t. de externe validiteit  ; Voorbeeld van een fout m.b.t. interne validiteit ; Voorbeelden van validiteitsfouten (voor gevorderden)  ;  Oplossingen voor problemen met validiteit  ; Oefenen in validiteit, vier oefenopgaven


Wat bedoelen onderzoekers als ze het hebben over de validiteit van het onderzoek?
Eenvoudig gezegd: Validiteit gaat over de vraag of de onderzoeker wel de juiste dingen onderzoekt. (Meten wat je moet weten).


Er worden regelmatig fouten gemaakt op het gebied van validiteit. Het begrip is eenvoudig maar kijk naar de aandachtspunten en dan blijkt dat fouten van validiteit soms niet zo snel opvallen.
Maar: Is een meting/enquêtevraag niet valide dan is gelijk het onderzoek onbetrouwbaar! (Je hebt dan je onderzoek voor niets gedaan, het zal opnieuw moeten).


Voorbeelden van fouten in de validiteit van onderzoeken


Voorbeeld 1: Er wordt een onderzoek gedaan naar de mening van kinderen over het internetspel GTA.
Voor  het onderzoek wordt een enquête ontwikkeld met de vragen 'Ken jij het spel GTA?', 'Hoe vaak speel je het spel?', 'Welk cijfer geef je het spel?' 

De enquête wordt verstuurd aan 100 adressen. Stel nu dat niet de kinderen maar de ouders van de kinderen de enquête invullen.... Dan krijg je een probleem met de validiteit. Want de vragenlijst was niet bedoeld voor de ouders. Je krijgt dus antwoorden van de verkeerde personen. 

Dit noemen we een fout van de EXTERNE validiteit.


#interne validiteitsfoutVoorbeeld 2: Stel nu dat de drukker van de GTA-vragenlijsten een foutje maakt in de vragenlijst.
Er stond 'Ken je het spel GTA?' maar door en typefout maakt hij ervan 'Ken je het spel TAG?'. 
Dan gaat de vraag dus niet meer over GTA. Er is opnieuw een probleem met de validiteit. Je moest immers onderzoek doen naar de mening over het spel GTA. Je hebt nu de verkeerde vraag gesteld. Dit noemen we een fout in de INTERNE validiteit.
Ik hoor je denken... Dit is allemaal wel heel simpel, hoe kunnen onderzoekers zo stom zijn?! Maar pas op. Deze twee voorbeelden zijn alleen bedoeld als kennismaking met validiteit. 


Fouten in validiteit sluipen er snel genoeg in en je hebt het soms niet eens door....


Voorbeeld 3: De gemeenteraad is verdeeld over de komst van een coffeeshop.
Daarom heeft men gevraagd om onderzoek te doen hoeveel bezwaar er is onder de bevolking als de coffeeshop er komt. 


Een valide onderzoeksvraag zou dus zijn: Hoeveel mensen maken bezwaar tegen de komst van de coffeeshop? De onderzoeker kent het probleem van validiteit. Hij houdt zich precies aan de onderzoeksvraag, Hij formuleert de enquêtevraag als volgt: 'Maakt u bezwaar tegen de komst van een coffeeshop in de buurt?'
Het onderzoek wordt uitgevoerd en het resultaat: 65% van de bewoners heeft GEEN BEZWAAR. 
De gemeenteraad concludeert dat ze kan overgaan tot het verstrekken van een vergunning aan de coffeshop-ondernemer. De tegenstanders van de komst van een coffeeshop vinden het een onverwachte uitkomst. Ze hadden verwacht dat er meer tegenstand zou zijn. Ze vertrouwen het onderzoek niet en houden zelf een onderzoek. Zij hebben geen onderzoekservaring en weten niets van validiteit. Zij nemen in hun enquête de vraag op :
'Bent u voorstander van de komst van een coffeeshop in de buurt?'. Hun onderzoek heeft als uitkomst dat 65% van de bewoners GEEN VOORSTANDER is van de komst van een coffeeshop. Deze uitkomst lijkt dus precies het tegenovergestelde als uitkomst te hebben!
De organisatie van bewoners plaatst snel een artikel in de krant "Nieuw onderzoek wijst uit dat mensen geen voorstander zijn van een coffeeshop!" (... onderzoek van de gemeente deugt niet.... oplichters!...).


Verklaring: Er zit een fout in de vraagstelling van het tweede onderzoek. Er is niet GEMETEN wat er gemeten had moeten worden. Het tweede onderzoek is dus niet valide. De gemeenteraad had namelijk als opdracht gegeven om te meten hoeveel mensen BEZWAAR maakten. (Vraagstelling 1 dus). De onderzoeker heeft zich daar gewoon aan gehouden. Wat maakt dat uit?


Met amdere woorden: Hoe komt het dan dat er een totaal andere uitkomst is?
Antwoord: Er zijn erg veel bewoners die het helemaal niets uitmaakt of er wel of niet een coffeeshop komt.
Als je de vraag formuleert als in enquête 1 dan kruist deze groep bewoners als antwoord aan dat ze GEEN BEZWAAR hebben (want het maakt ze niets uit).
Een gevolg is dat deze stemmen opgeteld worden bij de mensen die geen bezwaar hebben.

Als je de vraag formuleert zoals in enquête 2 dan kruisen de mensen die het niets uitmaakt aan dat ze GEEN VOORSTANDER zijn (want het maakt ze niets uit). Nu worden de stemmen van deze mensen dus opgeteld bij de NIET VOORSTANDERS.


Validiteit kan dus gaan om heel kleine verschillen in vraagstelling. Overigens had het onderzoek ook meer NEUTRAAL opgezet kunnen worden.
Bijvoorbeeld door te vragen Wat is uw mening over de komst van een coffeeshop?
Antwoordmogelijkheden: Ik ben voorstander /  Ik ben niet voor en niet tegen / Ik ben tegenstander.

Maar dat was niet de opdracht van de gemeenteraad aan de onderzoeker.


Voorbeeld 4: Een ondernemer wil weten of de gasten tevreden zijn over zijn Chinees-Indische keuken. 
Twee studenten doen onderzoek voor hetzeltde restaurant.
De ene student maakt een schriftelijke enquête met de vraag 
"Hoe lekker vindt u onze Chinees-Indische gerechten?"
Antwoordmogelijkheden: Heel lekker / Lekker / Niet lekker / Helemaal niet lekker.

De andere student stelt de enquêtevraag persoonlijk. Omdat hij haast heeft om voldoende enquêtes af te nemen stelt hij de volgende vraag 
"Hoe lekker vindt u onze Chinese gerechten?"
Antwoordmogelijkheden: Heel lekker / Lekker / Niet lekker / Helemaal niet lekker.

Resultaat:
Student 1 krijgt 12% klanten die de gerechten heel lekker vinden.
Student 2 krijgt 25% klanten die de gerechten heel lekker vinden.


Hoe kan dat?
Antwoord: Er is hier opnieuw een VALIDITEITSFOUT.
Het onderzoek moest gaan over de Chinees-Indische keuken. Dus de vrage moesten gaan over de Chinees-Indische keuken.
Sat betekent dat het moet gaan over zowel de Chinese als de Indische gerechten...).


De 2e student krijgt andere resultaten omdat in zijn vraag niet is meegenomen wat men vindt van de Indische gerechten.
(En ..de Indische gerechten zijn niet zo lekker als de Chinese gerechten maar door de afwijkende vraagstelling wordt dit dus niet meegenomen in zijn vraag).

Overigens had het onderzoek VALIDE geweest als de studenten er twee vragen van hadden gemaakt:
Wat vindt u van de Chinese gerechten?
Wat vindt u van de Indische gerechten? Dan was het duidelijker geweest voor de klanten en dan was er beter gemeten wat er gemeten moest worden. .


Oplossingen voor validiteitsproblemen


1. Vermeldt problemen/ fouten eerlijk bij de Resultaten en in het hoofdstuk Discussie.
Voorbeeld:

Resultaten: "Door een foute formulering van vraag 12 is er een interne validiteitsfout ontstaan".
Discussie:  "De fout in vraag 12 heeft gezorgd voor een probleem in de interne validiteit. Hierdoor ontbreekt in het onderzoek een conclusie over deelvraag 3. Dit had geen gevolgen voor de conclusie van het onderzoek. De andere deelvragen en de aanvullende interviews hebben voldoende gegevens opgeleverd om het onderzoek toch goed af te ronden. Alleen is er nu minder bekend over het aantal klanten dat het product gebruikt".


2. Bespreek de mogelijkheid om de onderzoeksvraag aan te passen.
Soms gaat het om een kleine fout en kan je met een kleine aanpassing van een deelvraag het probleem repareren.
Voorbeeld: De deelvraag luidde:  "Wat is de naamsbekendheid van product ABC?" Maar de onderzoeker heeft alleen de huidige klanten geenquêteerd (en geen potentiële klanten). Een aanpassing van de deelvraag zou zijn: "Wat is de naamsbekendheid van product ABC onder de huidige klanten?" 


3. Ondervertegenwoordiging.
Wanneer er naar verhouding te weinig mannen hebben meegedaan aan het onderzoek dan zou je kunnen besluiten om 'weging' toe te passen. Weging is een functie van SPSS. Het betekent eenvoudig dat je elk antwoord van een mannelijke respondent voor 1,5x laat meetellen in plaats van 1x. Stel dat je 300 enquêtes hebt afgenomen en je wilde een verdeling van 50% man en 50% vrouw. Echter er hebben 250 vrouwen meegedaan en slechts 50 mannen. Dan kan je in SPSS aangeven dat het antwoord van een mannelijke respondent 3x mee moet tellen en die van de vrouwen 0,6 keer. [want 3 x 50 = 150 en  0,6 x 250 = ook 150]


Oefeningen in validiteit, vier oefenopgaven

In onderstaande voorbeelden moet je steeds als antwoord kiezen A. Interne validiteits fout B. Externe validiteits fout C. Geen fout


Vraag 1. Een onderzoek naar de gebruiksvriendelijkheid van een Rollator wordt verstuurd aan de leerlingen van een basisschool?
Vraag 2. In een onderzoek naar de klanttevredenheid voor een pop-evenement is de volgende enquêtevraag opgenomen " Hoe kom je het liefst naar pop-evenementen?"
Vraag 3. Een veldwerker neemt op een dag 150 enquêtes af onder migranten. Een van de vragen is "Wat vindt u van de complexiteit van de opleidingstrajecten?". Vraag 4. Bij een onderzoek onder 100 consumenten naar de smaak van pindasaus: Is men per ongeluk vergeten om het vakje 'weet niet' op te nemen. De onderzoeker heeft nu een dataset met 100 antwoorden varierend van lekker tot vies maar er zitten dus formulieren tussen van respondenten die helemaal niet weten hoe het smaakt....


Antwoorden: 1.b; 2.a; 3.a; 4.b
Opmerking bij vraag 3 Door het gebruik van moeilijke woorden voor deze doelgroep zullen er meetfouten ontstaan. Men snapt het niet maar gaat wel antwoorden (men vult maar wat in).


EINDE VAN DIT ARTIKEL.
Bekijk ook de andere artikelen. Klik hier voor een overzicht van alle artikelen.


The Research & Education Company BV is een full-service onderzoeksbureau. Bekijk hier inspirerende voorbeelden van innovatieve onderzoeksprojecten.
Voor junior onderzoekers hebben we de Steekproefcalculator die automatisch uitrekent hoeveel respondenten u netto moet realiseren voor een betrouwbaar en nauwkeurig onderzoek.

DEEL DEZE SITE MET MEDE-STUDENTEN
Er is veel zorg besteed aan deze uitleg. Het is begrijpelijk geschreven met duidelijk voorbeelden. Maandelijks bezoeken 4000 HBO (en WO) studenten onze site. Als je vindt dat de site je goed geholpen heeft, vergeet dan niet om dit te delen en te liken. 



MEER NUTTIGE ARTIKELEN