Study effort in higher education: Field experimental evidence with administrative and tracking data from Germany - Friederike Hertweck; Lukas Jonas; Melissa Kistner; Deborah Maffia (RWI - Leibniz-Institut für Wirtschaftsforschung, 2024)
This study investigates the impact of a low-cost, color-coded scale intervention designed to inform university students about the expected workload for a course, with the aim of improving students' academic performance and learning behaviors. An initial intervention took place at the beginning of the course, with a follow-up reminder in the middle of the semester. Students who were treated once experienced no significant effect, but those who additionally received the second treatment significantly improved their course grade, scoring 0.51 points (or 21 %) higher on average. Heterogeneity analyses reveal that first-generation, migrant and high-ability students benefited most from the intervention, suggesting that such a treatment may help reduce some forms of educational inequality. To explore the underlying mechanisms, we utilized tracking data from an online learning platform through which the lecturer distributed course materials and provided opportunities for self-paced learning. While we find an overall increase in online activity following the intervention (though imprecisely measured), no specific academic behavior such as online test participation or material downloads can explain the ultimate increase in grades by itself. – – Diese Studie untersucht die Auswirkungen einer kostengünstigen Intervention mit einer farbkodierten Skala, die Studierende über die zu erwartende Arbeitsbelastung in einem Kurs informieren soll, mit dem Ziel, ihre akademischen Leistungen und das Lernverhalten zu verbessern. Eine erste Intervention fand zu Beginn des Kurses statt, mit einer erneuten Erinnerung in der Mitte des Semesters. Bei den Studierenden, die nur Teil der ersten Intervention waren, zeigte sich kein signifikanter Effekt. Diejenigen, die zusätzlich die zweite Intervention erhielten, verbesserten ihre Kursnote hingegen signifikant und erzielten im Durchschnitt eine um 0,51 Notenpunkte (oder 21%) bessere Bewertung. Heterogenitätsanalysen zeigen, dass Studierende ohne akademischen Hintergrund, Studierende mit Migrationshintergrund und leistungsstarke Studierende am meisten von der Intervention profitierten, was darauf hindeutet, dass eine solche Behandlung dazu beitragen kann, einige Formen der Bildungsungleichheit zu verringern. Um die zugrundeliegenden Mechanismen zu erforschen, nutzten wir Tracking-Daten einer Online-Lernplattform, über die der Dozent Kursmaterialien verteilte und Möglichkeiten zum selbstgesteuerten Lernen bot. Während wir eine allgemeine Zunahme der Online-Aktivitäten nach der Intervention feststellen (wenn auch ungenau gemessen), kann kein spezifisches akademisches Verhalten wie die Teilnahme an Online-Tests oder das Herunterladen von Materialien den letztendlichen Anstieg der Noten alleine erklären.
Keywords: I20; I23; J24; J08; 330; Student performance; field experiment; higher education; color-coded nudge; RCT