Originaltitel: Measuring Socioeconomic Background in PISA: One Size Might not Fit all

Titel der Replikation: Measuring Socioeconomic Background in PISA: One Size Might not Fit all

Zentrales Ergebis: Die Ergebnisse der Originalstudie konnten nahezu vollständig repliziert werden.

 

Abstract Original: As part of its flagship educational study – the Programme for International Student Assessment (PISA) – the Organisation for Economic Co-operation and Development (OECD) has undertaken extensive work to create an internationally relevant composite indicator aimed at measuring socioeconomic background. However, the degree to which a single measure of socioeconomic background is reliable and valid for all participating countries is not widely discussed. To fill this gap, the authors examine the home possessions index, which is a key component of PISA’s socioeconomic indicator, and highlight a number of issues surrounding this index. In particular, they take a psychometric approach to investigating the reliability and some facets of the validity of the home possessions index in a number of participating PISA countries. Their findings suggest that there are notable concerns with the current index, including highly variable reliability by country, poor model-to-data consistency on a number of subscales, and evidence of poor cultural comparability. They couch their discussion in the context of educational and policy research and propose one possible method for improving these measures for participating countries.

Link: https://journals.sagepub.com/doi/10.2304/rcie.2013.8.3.259

Abstract Replikationsstudie: Die vorliegende Bachelorarbeit untersucht die international eingesetzte Skala zur Erfassung von Besitz an Kultur- und Wohlstandsgütern bei Schülerinnen und Schülern in 80 Bildungssystemen von PISA 2018. Für dieses Vorhaben wird die Arbeit von Rutkowski & Rutkowski (2013) an einem neuen Datenset repliziert und ausgewählte Aspekte der Reliabilität und Validität geprüft. Im Detail werden die folgenden drei Forschungsfragen adressiert: (1) Wie reliabel ist die Erfassung von Kultur- und Wohlstandsgütern in den teilnehmenden Bildungssystemen von PISA 2018? (2) Erlaubt die eingesetzte Skala in jedem teilnehmenden Bildungssystem die faktoriell valide Erfassung von Kultur- und Wohlstandsgütern? (3) Ist die eingesetzte Skala zur Erfassung von Kultur- und Wohlstandsgüter messinvariant, das heißt, lassen sich alle Bildungssysteme in ihrer Faktorstruktur, Faktorladung und in ihrem Nullpunkt miteinander vergleichen? Die Bachelorarbeit sichtet zunächst empirische Befunde zum Zusammenhang von sozialer Herkunft und Schulleistung. Anschließend wird die PISA eigene Auswertungsstrategie vorgestellt und die messtheoretischen Konzepte der Konstruktäquivalenz und Messinvarianz eingeführt. Im methodischen Teil dieser Arbeit werden auf Basis von gut 600.000 Schülerinnen und Schülern aus 21.903 Schulen zentrale Ergebnisse zur Reliabilität, Konstruktvalidität und kulturellen Vergleichbarkeit der Skala Besitz an Kultur- und Wohlstandsgütern berichtet. Die Analysen zeigen, dass nur die Gesamtskala eine zufriedenstellende Reliabilität (Cronbachs Alpha) aufweist. Die faktorielle Validität ist größtenteils nicht sichergestellt und auch die Stufen der Messinvarianz können nicht abgesichert werden. Die Arbeit repliziert damit die Studie von Rutkowski & Rutkowski (2013) mit den neuen Daten aus 2018 inhaltlich nahezu vollständig. Eine abschließende Diskussion benennt mögliche Verbesserungen für die Weiterentwicklung des Instruments.

 

PDF: Bachelorarbeit_Hawlitschek