TIPS VOOR STUDENTEN DIE ONDERZOEK GAAN DOEN OF TENTAMEN WILLEN HALEN nr. 11
TIPS VOOR STUDENTEN DIE ONDERZOEK GAAN DOEN OF TENTAMEN WILLEN HALEN nr. 11
Hartelijk gefeliciteerd als je zover bent gekomen dat je je onderzoekskennis mag toetsen in de praktijk of in een tentamen. Het is spannend want je moet nu laten zien dat je de lesstof hebt begrepen.
TENTAMENVRAGEN OVER p-WAARDE (KWANTITATIEF ONDERZOEK)
Op tentamens wordt vaak gevraagd om de juiste conclusie te trekken over een p-waarde.
De p staat voor probability (=kans). ’p=.452 betekent de kans dat ... = 0.452 (0,452). De p-waarde wordt meestal berekend door software (SPSS bijvoorbeeld). Wat is p? …Het is de kans op…, ja op wat eigenlijk?
De p-waarde en het leveren van een bewijs.
Een onderzoeker kan veel tijd steken in het verzamelen van gegevens en daaruit dan conclusies trekken en aanbevelingen schrijven voor de opdrachtgever. Maar een onderzoeker moet ook BEWIJZEN wat hij opschrijft. Het is niet zo dat opdrachtgevers de onderzoeker zonder meer geloven. Zeker niet wanneer er in het bedrijf verschillende meningen zijn is het belangrijk dat de onderzoeker zijn vondsten goed kan beargumenteren. Dat bewijs kan vaak geleverd worden door berekeningen uit te voeren.
Meneer Fisher en zijn oplossing voor ’bewijs’.
Ronald Fisher (1925-1991) bedacht een manier om met getallen een bewijs te leveren. Het gaat er volgens Fisher om dat de onderzoeker moet aantonen dat een bepaald resultaten van zijn onderzoek niet TOEVALLIG kan zijn.
Onderzoek en bewijs.
Onderzoeken beginnen met het opstellen van een onderzoeksvraag (probleemstelling). De onderzoeksvraag is vaak ingewikkeld (dit is logisch, want anders was er geen onderzoek nodig). De onderzoeker verdeelt het probleem vervolgens in stukjes (bijvoorbeeld door een aantal enquêtevragen op te stellen). De vragen formuleert hij zo dat het gaat om simpele vragen (bijvoorbeeld ja/nee-vragen). Door de antwoorden op de vragen te combineren komt hij tot een antwoord op de probleemstelling.
Een voorbeeld van een bewijs.
Bekijk de volgende probleemstelling: ’In hoeverre zijn vrouwen met kinderen gelukkiger dan vrouwen zonder kinderen?’ Opdracht: Verzin een onderzoek waarmee je kan BEWIJZEN of vrouwen met kinderen gelukkiger (of ongelukkiger zijn) dan andere vrouwen.
Misschien heb je het volgende bedacht: Je gaat vrouwen observeren en kijkt of vrouwen met kinderen vaker verdrietig zijn dan vrouwen met kinderen. Je vergelijkt het gedrag van vrouwen met kinderen met het gedrag van vrouwen zonder kinderen…
idee 2: De onderzoeker kan het onderzoek ook opzetten met behulp van een enquête.
We kiezen voor een heel simpele oplossing: een enquête.
De probleemstelling luidt: ’In hoeverre zijn vrouwen met kinderen gelukkiger dan vrouwen zonder kinderen?’. De hoofdvraag wordt verdeeld in 3 eenvoudige enquête vragen:
a) Bent u vrouw? (ja/nee)
b) Heeft u kinderen? (ja/nee)
c) Bent u gelukkig? Antw.: zeer gelukkig, gelukkig, neutraal, ongelukkig zeer ongelukkig
*) ’gelukkig’ is hier een te vaag begrip, waar de onderzoeker niet veel aan heeft maar het is slechts een voorbeeld…
Het probleem is nu vereenvoudigt tot een vergelijking: Het gaat er alleen nog om dat de onderzoeker de antwoorden van 2 groepen vrouwen met elkaar gaat vergelijken.
BEWIJS: Indien vrouwen met kinderen vaker (zeer) gelukkig zijn dan vrouwen die geen kinderen hebben dan is bewezen dat vrouwen met kinderen zich vaker gelukkig voelen.
** Wanneer we een verschil vinden tussen de groepen dan concluderen we dat dat komt door de kinderen… opnieuw een ’aanname’, waar de onderzoeker problemen mee kan krijgen maar het is slechts een voorbeeld…
Het berekenen van de p-waarde.
Om de p-waarde te laten berekenen voert de onderzoeker de antwoorden op de enquête in, in SPSS.  De onderzoeker geeft SPSS een opdracht om een statistische berekening te maken.
Wat doet SPSS precies met de antwoorden op de enquetevragen?
Het programma SPSS doet veel rekenkundige stappen:
SPSS selecteert eerst de enquêtes van respondenten die op vraag a het antwoord ja hebben gegeven.
SPSS verdeelt deze enquêtes in een groep die vraag 2 met ja heeft beantwoord en een groep die vraag 2 met nee heeft beantwoord.
SPSS telt van beide groepen het aantal vrouwen dat op vraag 3 zeer gelukkig heeft gegeven, het antwoord gelukkig heeft gegeven, neutraal etc..
SPSS berekent van elke groep de het gemiddeld ’score’ voor de vraag ’bent u gelukkig?’.
SPSS vergelijkt de gemiddelde score van beide groepen.
SPSS kijkt ook naar de variatie in de opgegeven antwoorden (variantie, standaarddeviatie).
SPSS berekent het verschil tussen de gemiddelden van de groepen.
SPSS bepaalt of het verschil groot genoeg is (lees: significant*) om te concluderen dat de antwoorden van beide groepen van elkaar verschillen.
*) Significant betekent dat de berekening toont dat het verschil tussen twee groepen getallen groot genoeg is om het te zien als een ECHT VERSCHIL. (Een verschil met ’betekenis’/ ’significant’) dus NIET TOEVALLIG.
De p-waarde.
Wat kan SPSS als uitkomsten voor p geven?
1) Het verschil tussen de groepen (de antwoorden van vrouwen met kinderen en antwoorden van vrouwen zonder kinderen) is groot genoeg. Er IS DUIDELIJK/ SIGNIFICANT verschil tussen de twee groepen.
2) Het verschil in de antwoorden tussen de twee groepen is niet groot genoeg. Er IS geen verschil.
SPSS presenteert de uitkomst van de berekeningen in de vorm van een waarde voor p:
In dit onderzoek geeft SPSS de waarde p=.0231 (0,0231) . SPSS geeft daarmee aan: Er is een verschil gevonden tussen de twee groepen. De kans dat het verschil tussen de groepen TOEVALLIG is, is 0,023 is (2,3%).  Met andere woorden er is een zeer grote kans (97,7%) dat er ECHT een verschil is in de antwoorden van beide groepen vrouwen.
Opmerking: p(de kans) is geen 100% zolang je niet ALLE vrouwen in Nederland hebt geënqueteerd. Want dan zouden er nog vrouwen zijn die hun antwoord moeten geven. Dat zou dan het gemiddelde antwoord van elke groep nog kunnen veranderen. Dit betekent ook dat wanneer je dus ALLE vrouwen in Nederland zou hebben geënqueteerd, de p-waarde 0 is. p=0 betekent dus dat de kans dat het verschil tussen groepen nog veranderd omdat je nog meer enquêtes afneemt 0 is.
Zegt de p-waarde ook of de vrouwen met kinderen gelukkiger zijn of juist minder gelukkig?Nee.
Een p-waarde zegt alleen dat er EEN verschil is in de antwoorden tussen twee groepen. Om te concluderen of vrouwen met kinderen gelukkiger zijn of juist de vrouwen zonder kinderen moet de onderzoeker naar de cijfers kijken. Als hij ziet dat van de vrouwen met kinderen 56% aangeeft gelukkig te zijn en dat 22% van de vrouwen zonder kinderen gelukkig zijn. (en de p-waarde is 0,0023 dan is er BEWEZEN* dat vrouwen met kinderen gelukkiger dan vrouwen zonder kinderen.
*) dit is een heel simpele voorstelling van zaken, maar het maakt de functie van de p-waarde duidelijk.
Welke waarden kan p hebben?
De p-waarde ligt altijd tussen bijna 0% (p=0,00 of .000) en 100% p=1,00.
Als het verschil tussen de groepen vrouwen groter wordt dan wordt p dus juist kleiner. (De KANS dat het verschil tussen de groepen vrouwen TOEVALLIG is wordt dus kleiner)
Voorbeeld: Stel dat uit het onderzoek blijkt dat van de vrouwen met kinderen 22% gelukkig is en van de vrouwen zonder kinderen 25%. Dan zal de p-waarde (waarschijnlijk) groot zijn. Want het verschil tussen beide groepen is klein. De kans is dus GROOT dat er helemaal geen verschil is. Het verschil kan immers veroorzaakt worden doordat je te weinig vrouwen hebt geënqueteerd of dat er toevallig wat meer gelukkige vrouwen zonder kinderen in je steekproef zaten.
Stel dat uit het onderzoek blijkt dat van de vrouwen met kinderen 56% gelukkig is en van de vrouwen zonder kinderen 5%. Dan zal de p-waarde (waarschijnlijk) KLEIN zijn. Want de kans dat zo’n groot verschil tussen de groepen vrouwen TOEVALLIG is, is erg klein. En wanneer je meer enquêtes afneemt zal er zeer waarschijnlijk altijd wel een verschil tussen de groepen blijven.
De 0,05 grenswaarde van p

Omdat p zo belangrijk is hebben onderzoekers ook afspraken gemaakt over de grenswaarden van p. Wanneer de p-waarde kleiner is dan 5% (0,05 of .05) mag aangenomen worden dat een verschil in antwoorden tussen twee groepen GEEN TOEVAL is. (Ook al is er nog steeds een kleine kans dat er bij het afnemen van meer enquêtes een andere uitkomst komt). Anders gezegd: De kans dat het verschil in antwoorden TOEVALLIG is, is te verwaarlozen. Je mag dan als onderzoeker noteren : Er is een significant verschil tussen vrouwen met kinderen en vrouwen zonder kinderen..
Onderzoekers hebben ook afgesproken dat wanneer de p-waarde groter is dan 5% (groter dan 0,05 of groter dan .05) dat we dan NIET UITSLUITEN dat het verschil tussen de groepen TOEVALLIG kan zijn. (Dus wanneer je meer vrouwen enquêteert komt er misschien uit dat de antwoorden van de vrouwen helemaal niet verschillen).
Oefenopgave over p-waarde en BEWIJS
Er is marktonderzoek gedaan onder consumenten. Een van de vragen van het onderzoek was ’Kent u Probabio babyshampoo?’ De vraag is voorgelegd aan 1200 jonge moeders en 800 jonge vaders. Uit het onderzoek komt dat 25% van de vrouwen het merk Probabio kent en 21% van de mannen. Maar, is dit verschil groot genoeg om te concluderen dat vrouwen het merk beter kennen dan mannen? De onderzoeker voert de antwoorden van de mannen de vrouwen in, in SPSS en geeft opdracht om een berekening uit te voeren.
SPSS zegt het volgende: SPSS, CHI2=11,75 , p=.0545.
Vragen
1) Wat betekent vrouwen 25% en mannen 21%?
2) Wat betekent p=.0545?
3) Wat kan je zeggen over de bekendheid van het merk onder mannen en vrouwen?
4) De marketingmanager heeft als stelling: De bekendheid van het merkt Probabio is groter onder vrouwen dan onder mannen. Ben je het met hem eens? Licht je antwoord toe.
Antwoorden
1) Dat betekent dat 25% van de vrouwelijke deelnemers aan de enquête het merk Probabio kent en dat 21% van de mannelijke deelnemers het merk kent. Het is de uitkomst van de enquête dus het kan toevallig zijn want niet iedere jonge man en iedere jonge vrouw in Nederland heeft aan het onderzoek meegedaan. Als er meer mensen mee zouden doen kunnen de percentages nog veranderen…
2) p=.0545 is hetzelfde als p=0,0545 en dat is het zelfde als p=5,45%. Het betekent dat SPSS heeft berekend dat bij deze uitkomst DE KANS (probability) dat het verschil in bekendheid (25% vrouwen en 21% mannen) TOEVALLIG komt door het aantal deelnemers aan de enquête 5,45% is.
3) Er is een afspraak tussen onderzoekers dat de kans op een TOEVALLIG verschil niet te groot mag zijn. De afspraak is dat p (de kans) niet groter mag zijn dan 5% (0,05). In dit geval is p WEL groter dan 5% (namelijk 5,45%). Er is dus een te grote kans dat het verschil tussen 25% en 21% TOEVALLIG is. Kennelijk is het verschil tussen 21% en 25% te klein bij deze steekproef (1200 vrouwen en 800 mannen). Dus we mogen niet zeggen dat vrouwen het merk beter kennen dan mannen. (Opmerking: Misschien kennen vrouwen het merk wel beter maar de onderzoeker heeft het NIET KUNNEN BEWIJZEN).
4) De stelling van de manager is NIET BEWEZEN. Er is wel een verschil gevonden maar SPSS zegt dat het verschil dat gevonden wordt in de steekproef niet groot genoeg is om te kunnen concluderen dat vrouwen het merk beter kennen dan mannen.
CHI2-Toets
De CHI2 (spreek uit Giekwadraat of 'sjieskwair', mag allebei) is een van de vele berekeningen die door SPSS uitgevoerd kunnen worden. De t-toets is ook een veel gebruikte toets. En zo zijn er nog veel meer. Welke berekening er nodig is hangt af van de eigenschappen van de getallen (soort enquêtevraag, meetniveau’s, verdeling, spreiding).
Slotopmerking: Pas op met 'blind vertrouwen' op de 0,05 grens. Wanneer p kleiner is dan 0,05 is de kans dus nog geen 0! Er is dus nog steeds een kans (probability) dat er geen verschil is tussen de antwoorden van de twee groepen. Zelfs bij een p-waarde van 0,001 is er dus een (heel kleine) kans dat er helemaal geen verschil is in de antwoorden van de twee groepen. Onderzoekers hebben alleen om praktische redenen (anders BLIJF je onderzoeken..) de afspraak gemaakt dat we bij een p-waarde kleiner dan 0,05 DE KANS erg klein vinden dat het verschil TOEVALLIG is.
The Research Company geeft nuttige tips en duidelijke uitleg over onderzoek. Meer info, met uitleg en hulpmiddelen voor onderzoek: www.rcompany.nl

 BETROUWBAARHEID EN VALIDITEIT
Draadstaal straatinterview 
Terug naar overzicht