Abstract
The Trends in International Mathematics and Science Study (TIMSS) has been assessing students’ attitudes every fourth year since 1995. The trend scaling of these constructs started in 2011, fueling interest in exploring how different education systems perform regarding affective outcomes of education. This study explored the feasibility of establishing long-term motivational scales extended with the Second International Mathematics Study administered between 1976 and 1982. We investigated whether cross-cultural comparability holds and how different methodological approaches influence the long-term scaling of motivation towards mathematics. We used grade eight data from five educational systems that have participated in every time point up to 2015. We followed three alternatives: an item response theory-, a confirmatory factor analysis-, and a market-basket approach. Our results show that the three methods provide similar trends at the country level and high correlations at the student level. We discuss methodological implications in the context of international large-scale assessments.
Discussion and conclusions
We investigated the trend component of two affective scales (i.e., extrinsic- and intrinsic motivation) by employing three different scaling methods, while we explored relevant characteristics related to measurement bias and longitudinal linking. We applied two widely used latent variable modeling approaches on real data drawn from mathematics ILSAs spanning over 35 years. We tackled issues of cross-cultural measurement of affective constructs addressing the issues of method-, construct-, and item bias. We showed how the assumptions regarding measurement invariance affected the analytical process when we excluded Japan from the latent variable analyses. The popularity of the middle option in Japan in 1980 was consistently and considerably high, indicating a possible cultural difference compared to the other countries. We performed the analyses for five countries that participated in the seven cycles of SIMS and TIMSS. It is worth mentioning that the analysis can be extended to the other cycles and participating countries. One additional aspect to consider in that extension is how each method can provide results when new data is included in the analysis. For instance, the market-basket approach can be applied to include more data in longitudinal scales without the need for recalibrating the original scales or employing equating methods. We cannot ignore the fact that the affective scales analyzed here until recently had not been designed for trend measurement. Hence, the maxim introduced by Beaton and Zwick (1990): “When measuring change, do not change the measure” (p.10), did not entirely apply to the data in this exploratory analysis. The scales varied in length and the number of anchor items between them is smaller in the early years.
Download full report Motivation towards mathematics from 1980 to 2015: Exploring the feasibility of trend scaling
- vertaling via Google translate -
Abstract
De Trends in International Mathematics and Science Study (TIMSS) evalueert sinds 1995 om de vier jaar de houding van leerlingen. De trendschaling van deze constructies begon in 2011 en wekte de belangstelling op om te onderzoeken hoe verschillende onderwijssystemen presteren met betrekking tot affectieve onderwijsresultaten. Deze studie onderzocht de haalbaarheid van het vaststellen van motivatieschalen voor de lange termijn, uitgebreid met de Tweede Internationale Wiskundestudie, uitgevoerd tussen 1976 en 1982. We onderzochten of interculturele vergelijkbaarheid geldt en hoe verschillende methodologische benaderingen de langetermijnschaal van motivatie voor wiskunde beïnvloeden. We gebruikten gegevens van groep acht van vijf onderwijssystemen die tot 2015 aan elk tijdpunt hebben deelgenomen. We volgden drie alternatieven: een itemresponstheorie-, een bevestigende factoranalyse- en een markt-mand-benadering. Onze resultaten laten zien dat de drie methoden vergelijkbare trends op landenniveau en hoge correlaties op studentniveau opleveren. We bespreken methodologische implicaties in de context van internationale grootschalige beoordelingen.
Discussie en conclusies
We onderzochten de trendcomponent van twee affectieve schalen (d.w.z. extrinsieke en intrinsieke motivatie) door gebruik te maken van drie verschillende schaalmethoden, terwijl we relevante kenmerken onderzochten die verband houden met meetbias en longitudinale koppeling. We hebben twee veelgebruikte benaderingen voor latente variabele modellering toegepast op echte gegevens die zijn ontleend aan wiskundige ILSA's van meer dan 35 jaar. We hebben kwesties van interculturele meting van affectieve constructies aangepakt door de problemen van methode-, construct- en itembias aan te pakken. We lieten zien hoe de aannames met betrekking tot meetinvariantie het analytische proces beïnvloedden toen we Japan uitsloten van de latente variabele analyses. De populariteit van de middelste optie in Japan was in 1980 constant en aanzienlijk hoog, wat wijst op een mogelijk cultureel verschil met de andere landen. We hebben de analyses uitgevoerd voor vijf landen die deelnamen aan de zeven cycli van SIMS en TIMSS. Vermeldenswaard is dat de analyse kan worden uitgebreid naar de andere cycli en deelnemende landen. Een bijkomend aspect dat in die uitbreiding moet worden overwogen, is hoe elke methode resultaten kan opleveren wanneer nieuwe gegevens in de analyse worden opgenomen. De markt-basketbenadering kan bijvoorbeeld worden toegepast om meer gegevens in longitudinale schalen op te nemen zonder dat de oorspronkelijke schalen opnieuw hoeven te worden gekalibreerd of gelijkstellingsmethoden moeten worden gebruikt. We kunnen er niet omheen dat de hier geanalyseerde affectieve schalen tot voor kort niet ontworpen waren voor trendmeting. De door Beaton en Zwick (1990) geïntroduceerde stelregel: “Bij het meten van verandering, verander de maat niet” (p.10), was dus niet helemaal van toepassing op de gegevens in deze verkennende analyse. De schalen varieerden in lengte en het aantal ankeritems daartussen is kleiner in de beginjaren.
Download full report Motivation towards mathematics from 1980 to 2015: Exploring the feasibility of trend scaling