Validiteit en betrouwbaarheid
Bij validiteit gaat het om de vraag of je de resultaten uit jouw scriptie wel voor juist kunt aanzien. Je zoomt dan in op het ‘instrument’ waarmee je onderzoek hebt gedaan.
Voorbeeld validiteit – weegschaal (het instrument)
Je kunt gewicht meten met een weegschaal (het instrument), maar als de weegschaal verkeerd is afgesteld dan is het resultaat van de weging niet juist en dus niet valide.
Betrouwbaarheid
Bij betrouwbaarheid gaat het om de vraag of de resultaten uit jouw scriptie hetzelfde zou zijn als je het onderzoek op exact dezelfde wijze nog een keer uitvoert.
Voorbeeld betrouwbaarheid – weegschaal
Ook al is de weegschaal verkeerd afgesteld. Als een persoon met een constant gewicht twee keer achter elkaar op de weegschaal gaat staan zou de weegschaal twee keer hetzelfde gewicht moeten laten zien. Anders is de weegschaal niet betrouwbaar.
Validiteit en betrouwbaarheid zo hoog mogelijk zien te krijgen
De validiteit en betrouwbaarheid van je scriptie worden bevorderd door de afbakening in je onderzoeksvraag, keuze en opzet van je onderzoekinstrument, de keuze voor je respondenten, de wijze van data-verzameling en je data-analyse.
Probleemanalyse en onderzoeksvraag
| Waar moet je op letten? | Wat te doen? | Vorm van validiteit/betrouwbaarheid |
| Is het onderzoek niet te breed? | Baken goed af. | interne validiteit |
Onderzoeksopzet
| Waar moet je op letten? | Wat te doen? | Vorm van validiteit/betrouwbaarheid |
| Is/zijn de onderzoeksmethode(n) geschikt om te meten wat je wilt meten? | Bekijk literatuur over onderzoeksmethoden | interne validiteit |
Onderzoeksinstrument (zoals enquête, interview, observatie)
| Waar moet je op letten? | Wat te doen? | Vorm van validiteit/betrouwbaarheid |
| Zijn alle aspecten van het begrip dat je tracht te meten gerepresenteerd? | Operationaliseer begrippen vanuit de literatuur over je onderwerp. | inhouds- en begripsvaliditeit |
| Is er vertekening mogelijk door bepaalde ideeën of opvattingen van deelnemers? | Beschrijf de manier waarop de vragen/ items/ observatiepunten zijn geselecteerd en check of alle begrippen voldoende zijn vertegenwoordigd. | inhoudsvaliditeit |
| Kan het resultaat worden beïnvloed door onafhankelijke variabelen zoals verschillen in tijdsperioden? | Beschrijf de verwachte richting en de sterkte van de relatie met instrumenten die hetzelfde meten. Meestal is dat de verwachte relatie tussen scores op het onderzoeksinstrument en een vergelijkbaar instrument of over verwachte verschillen in scores tussen groepen. | begripsvaliditeit |
| Betrek bij de selectie van vragen/ items vertegenwoordigers van de doelgroep en eerder onderzoek of experts. | inhouds- en begripsvaliditeitinterne consistentie | |
| Zorg dat alle items die tot een schaal behoren betrekking hebben op één enkel concept (zodat een enkel begrip wordt gemeten) | interne consistentie | |
| Controleer door vragen/ items op te nemen voor alle mogelijke verklaringen van de variatie in de afhankelijke variabele. | inhouds- en begripsvaliditeit | |
| Gebruik een gevalideerd onderzoeksinstrument. | inhouds- en begripsvaliditeit, interne validiteit | |
| Gebruik een vast interviewschema (vaste vragen in een vaste volgorde). | interne validiteit | |
| Test de vragen op vertegenwoordigers van de doelgroep/ proefinterview. | interne validiteit | |
| Stel heldere vragen. | herhaalbaarheid | |
| Gebruik meerdere methodes (ook wel triangulatie, naar een term uit het landmeten waarbij de exacte plaats van een punt vanuit drie gezichtspunten wordt vastgesteld). | interbeoordelaars-betrouwbaarheid | |
| Gebruik standaardvragenlijsten of een Likertschaal (Swanborn, 2009); en een score moet hetzelfde betekenen. | herhaalbaarheid |
Respondenten/deelnemers
| Waar moet je op letten? | Wat te doen? | Vorm van validiteit/betrouwbaarheid |
| Is de steekproef representatief voor de doelgroep? | Zorg voor een steekproef die groot genoeg is en representatief is voor de onderzoeksgroep; gebruik theorie om de omvang van de steekproef vast te stellen. | herhaalbaarheid |
| Zorg dat de selectie van de steekproef vergelijkbaar is met de groep waarover je conclusies wilt trekken (dezelfde kenmerken). | interne validiteit | |
| Zorg dat de deelnemers iets kunnen zeggen over wat er gemeten wordt. | interne validiteit |
Dataverzameling
| Waar moet je op letten? | Wat te doen? | Vorm van validiteit/betrouwbaarheid |
| Is er vertekening mogelijk door de aandacht die respondenten krijgen? | Creëer vertrouwde omstandigheden. | ecologische validiteit |
| Zijn er storingen die resultaat kunnen beïnvloeden? | Creëer omstandigheden die sociaal-wenselijkheid voorkomen. | interne validiteit |
| Bestaat de neiging steeds een extreem antwoord te geven? | Creëer gelijke/gecontroleerde omstandigheden en zorg dat er geen verstoringen kunnen optreden. | herhaalbaarheid |
| Zijn de antwoorden vergelijkbaar? | Vraag door als er vermoedens zijn van sociale wenselijkheid of niet begrijpen van de vraag. | betrouwbaarheid en indirect de interne en externe validiteit |
| Werk met onafhankelijke, gekwalificeerde waarnemers. | inter- en intrabeoordelaarsbetrouwbaarheid | |
| Verzamel bij enquêtes data via een softwareprogramma. | inter- en intrabeoordelaarsbetrouwbaarheid | |
| Organiseer zogenaamde kalibreersessies bij meerdere onderzoekers | inter- en intrabeoordelaarsbetrouwbaarheid |
Data-analyse
| Waar moet je op letten? | Wat te doen? | Vorm van validiteit/betrouwbaarheid |
| Zijn de gebruikte instrumenten voldoende valide? | Voer methodisch verantwoorde data-analyse uit. | interne validiteit |
| Is er juist geoordeeld over de aan- of afwezigheid van een verband? | Vergelijk de resultaten met een ander onderzoek. | inhouds- en begripsvaliditeit |
| Is het gevonden verband op de juiste manier geïnterpreteerd? | Gebruik een softwareprogramma om te coderen bijvoorbeeld ‘Kwalitan’ of ‘Nvivo’. | interbeoordelaarsbetrouwbaarheid |
| Waren de omstandigheden waaronder gemeten is stabiel genoeg? | Voer statistische analyses uit. | validiteit en betrouwbaarheid |
| factoranalyse | begrips- en inhoudsvaliditeit | |
| Cronbach’s Alpha of andere associatiemaat | interne consistentie | |
| Kappa of ICC-waarde | inter- en intra-beoordelaarsbetrouwbaarheid |
Evaluatie
| Wat te doen? | Vorm van validiteit/betrouwbaarheid |
| Laat anderen je logboek bekijken. | validiteit en herhaalbaarheid |
| Herhaal je onderzoek. | herhaalbaarheid |
Waar zet ik de informatie over validiteit en betrouwbaarheid in mijn scriptie?
De validiteit en betrouwbaarheid bespreek je al in het onderzoeksontwerp in je plan van aanpak en in de methoden in je scriptie.
Je onderzoeksontwerp bepaalt namelijk hoe valide en betrouwbaar je onderzoek is. Je rafelt eerst de hoofdvraag uiteen in deelvragen en kiest per deelvraag een of meerdere onderzoeksmethode(s) waarbij je uitlegt waarom je voor die methode(s) kiest. Dan beschrijf je per deelvraag hoe je het in detail gaat aanpakken. Hier bespreek je direct de validiteit en betrouwbaarheid.
In de discussie reflecteer je achteraf op hoe je je onderzoek hebt opgezet en uitgevoerd. Indien mogelijk vergelijk je je resultaten met eerder uitgevoerd onderzoek om de validiteit van je instrument of combinatie van instrumenten vast te stellen (criteriumvaliditeit).
Geef een reactie