Welke interventies kunnen worden ingezet bij een toets met summatieve functie om het leren van vo-leerlingen na afloop van de toets te versterken?

Summatief en formatief toetsen

Summatief toetsen gebruik je om de leerprestaties van leerlingen te beoordelen en op basis daarvan een beslissing te nemen. (Sanders, 2011) Sanders, P. (2011). Toetsen op school. Cito.
 Bij formatief toetsen is het doel om informatie te geven aan de docent en de leerlingen over de mate waarin zij de leerstof beheersen, om daarmee het leerproces waar nodig bij te sturen. (Schildkamp et al., 2014) Schildkamp, K., Heitink, M., van der Kleij, F., Hoogland, I., Dijkstra, A., Kippers, W., & Veldkamp, B. (2014). Voorwaarden voor effectieve formatieve toetsing. Reviewstudie uitgevoerd in opdracht van en gesubsidieerd door NRO-PPO. Universiteit Twente.
 Feedback is een cruciaal onderdeel van formatief toetsen en het bewijs voor de effectiviteit van feedback voor het bevorderen van leerprestaties is sterk. (Gulikers et al., 2022 Gulikers, J., Van Schilt-Mol, T., & Baartman, L. (2022). Effectieve feedback in de klas. Onderwijskennis.nl (NKO). Geraadpleegd op 24 oktober 2023, van www.onderwijskennis.nl/node/2020
; Kennisrotonde, 2022) Kennisrotonde. (2022). [*Wat is er in de wetenschappelijke literatuur bekend over de effecten van formatief evalueren op de leerprestaties, welbevinden en eigenaarschap van leerlingen en op de wijze waarop docenten hun werk doen in het voortgezet onderwijs?

Omdat vaak termen als assessment for learning voor formatief toetsen en assessment of learning voor summatief toetsen worden gebruikt, kan ten onrechte de indruk ontstaan dat summatieve toetsen niet kunnen bijdragen aan het leerproces (Bennett, 2011). Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25.
 Zij kunnen echter wel degelijk hieraan bijdragen en verschillende auteurs pleiten er daarom ook voor om de formatieve en de summatieve functie in toetsen met elkaar te combineren (e.g. Bennett, 2011; Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25.
 Harrison, 2017; Harrison, C. J. (2017). Feedback in the context of high-stakes assessment: can summative be formative? [Proefschrift, Maastricht University]. Datawyse / Universitaire Pers Maastricht.
 Taras, 2009;  Taras, M. (2009). [Summative assessment: the missing link for formative assessment]Journal of Further and Higher Education, 33(1), 57-69.
Wiliam, 2000).  Wiliam, D. (2000). Integrating summative and formative functions of assessment. King’s College London.
Toetsen die in eerste instantie ontwikkeld zijn voor summatieve doeleinden kunnen ook formatief worden gebruikt (Kennisrotonde, 2018;  Kennisrotonde. (2018). [Op welke manieren draagt toetsing maximaal bij aan leerwinst in het voortgezet onderwijs?] (KR. 419).
Sluijsmans et al., 2013). Sluijsmans, D. M. A., Joosten-ten Brinke, D., & Van der Vleuten, C. P. M. (2013). Toetsen met leerwaarde. Een reviewstudie naar effectieve kenmerken van formatief toetsen. NWO.
 Hierbij kunnen volgens Wiliam (2000) Wiliam, D. (2000). Integrating summative and formative functions of assessment. King’s College London.
 wel spanningen komen kijken, zoals wanneer alleen onderdelen van de leerstof op de toets aan bod komen die gemakkelijk betrouwbaar te toetsen zijn.

Het is, zowel voor een formatief gebruik van de toets als voor de validiteit van de toets, nodig dat de summatieve toetsen een goede afspiegeling zijn van het curriculum (e.g. Bennett, 2011; Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25.
 Sluijsmans et al., 2013; Sluijsmans, D. M. A., Joosten-ten Brinke, D., & Van der Vleuten, C. P. M. (2013). Toetsen met leerwaarde. Een reviewstudie naar effectieve kenmerken van formatief toetsen. NWO.
 Wiliam, 2000). Wiliam, D. (2000). Integrating summative and formative functions of assessment. King’s College London.
 Ook is het voor een formatief gebruik van de toets belangrijk om richting de leerlingen transparant te zijn over de beoordelingscriteria en de wijze van beoordelen (Sluijsmans et al., 2013; Sluijsmans, D. M. A., Joosten-ten Brinke, D., & Van der Vleuten, C. P. M. (2013). Toetsen met leerwaarde. Een reviewstudie naar effectieve kenmerken van formatief toetsen. NWO.
 Wiliam, 2000). Wiliam, D. (2000). Integrating summative and formative functions of assessment. King’s College London.

Onderstaande interventies met een formatieve inzet van summatieve toetsen blijken effectief te zijn voor het bevorderen van leerprestaties. 

Het testing-effect: het positieve effect van oefentoetsen maken

Summatieve toetsen van (recente) eerdere schooljaren zijn goed te gebruiken om leerlingen voor te bereiden op een (vergelijkbare) toets (Sluijsmans et al., 2013). Sluijsmans, D. M. A., Joosten-ten Brinke, D., & Van der Vleuten, C. P. M. (2013). Toetsen met leerwaarde. Een reviewstudie naar effectieve kenmerken van formatief toetsen. NWO.
 Vooraf een vergelijkbare (oefen)toets maken heeft namelijk een positief effect op de prestatie op de uiteindelijke toets (Roediger & Karpicke, 2006). Roediger, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249-255.
 Dit wordt ook wel het testing-effect genoemd. Uit de overzichtsstudie van Adesope et al. (2017) Adesope, O. O., Trevisan, D. A., & Sundararajan, N. (2017). Rethinking the use of tests: A meta-analysis of practice testing. Review of Educational Research, 87, 659-701.
 blijkt dat tussentijdse toetsen zorgen voor betere scores op een latere toets, dan wanneer leerlingen of studenten de tekst herlezen of herbestuderen. Hoewel de meeste onderzoeken in deze overzichtsstudie in het hoger onderwijs zijn uitgevoerd, zijn ook onderzoeken onder in totaal 1.335 vo-leerlingen meegenomen. Het testing effect was het sterkst bij leerlingen in het voortgezet onderwijs. Verder bleek het effect sterker te zijn als de tussentijdse toets meer op de uiteindelijke toets leek.

In groepjes nabespreken van een toets is effectief bij vo-leerlingen

In groepjes nabespreken van een gemaakte toets heeft een positief effect op de prestaties van vo-leerlingen op een latere vergelijkbare toets (Yu & Li, 2014). Yu, H., & Li, H. (2014). Group-based Formative Assessment: A Successful Way to Make Summative Assessment Effective. Theory & Practice in Language Studies, 4(4).
 Yu en Li hebben bij Chinese vo-leerlingen een interventie uitgevoerd waarin de leerlingen van de experimentele groep 30 minuten de tijd kregen om in groepjes de vragen van een al gemaakte toets van het vak Engels met elkaar na te bespreken en te beantwoorden. In ieder groepje zat minstens één leerling die een voldoende resultaat had op de toets, één leerling met een goed resultaat, en één met een uitmuntend resultaat. De leraar gaf de leerlingen als instructie om samen te werken en iedereen aan het woord te laten voordat zij de definitieve antwoorden op de vragen vastlegden. Aan het eind van de sessie kregen de leerlingen de juiste antwoorden op de vragen. Leerlingen van de controlegroep namen deel aan een inzagemoment waarbij zij ieder hun zelfgemaakte toets terugkregen en samen met hun boeken en aantekeningen de juiste antwoorden op de vragen na mochten gaan.

Een week later kregen beide groepen dezelfde toets voorgelegd. De verbetering van de score ten opzichte van die op de eerste toets was bij de leerlingen van de experimentele groep groter dan bij de controlegroep.

Een beperking bij dit onderzoek is dat de tweede toets exact hetzelfde was als de eerste toets. Het is daarom onbekend of de leerlingen die beter presteerden op de tweede toets ook echt een beter begrip hadden van de leerstof of dat zij alleen de juiste antwoorden hadden onthouden.

Analyse van toetsvragen als huiswerkopdracht voor eerstejaars studenten in het hoger onderwijs is effectief

Buiten de overzichtsstudie van Adesope en het onderzoek van Yu en Li is er geen onderzoek bekend over de effectiviteit van interventies in het voortgezet onderwijs waarin summatieve toetsen op een formatieve manier worden ingezet. In het hoger onderwijs is meer onderzoek gedaan naar dergelijke interventies, waaronder een onderzoek van Williams et al. (2011). Williams, A. E., Aguilar-Roca, N. M., Tsai, M., Wong, M., Beaupré, M. M., & O’Dowd, D. K. (2011). Assessment of learning gains associated with independent exam analysis in introductory biology. CBE—Life Sciences Education, 10(4), 346-356.
 Omdat het merendeel van de studenten in dit onderzoek eerstejaars student was, kunnen de conclusies uit dit onderzoek waarschijnlijk worden gegeneraliseerd naar leerlingen in de bovenbouw van het voortgezet onderwijs.

Analyse van vaak foutgemaakte toetsvragen als huiswerkopdracht verhoogt de prestaties van studenten op vergelijkbare vragen op een latere toets. 795 universitaire studenten (het merendeel eerstejaars) kregen in het onderzoek van Williams na een tussentijdse toets een paar vragen uit deze toets die door meer dan 40% van de studenten fout waren gemaakt mee als huiswerk om te analyseren. De docent legde eerst aan de hand van een toetsvraag uit hoe de studenten te werk moesten gaan bij het analyseren ervan. De studenten kregen voor de huiswerkopdracht de instructie om een kort stuk tekst te schrijven waarin zij antwoord gaven op de volgende vragen:

1. Uit welke colleges kwam de informatie?
2. Waarom is het juiste antwoord juist?
3. Waarom zijn de onjuiste antwoorden onjuist?
4. Waarom heb ik de vraag zelf fout beantwoord, of voor studenten die hem goed hebben beantwoord, waarom zouden andere studenten de vraag fout hebben beantwoord? (om deze vraag te kunnen beantwoorden, kregen de studenten inzage in hun eigen beoordeelde toets)

Zes weken na de eerste toets kregen de studenten opnieuw een toets, die ook vragen bevatte die inhoudelijk waren gekoppeld aan vragen uit de huiswerkopdracht. Studenten bleken beter te presteren op vragen in de toets die inhoudelijk gekoppeld waren aan de vragen die zij in de huiswerkopdracht hadden geanalyseerd. Bovendien bleek dat studenten die hun huiswerk kwalitatief beter hadden uitgewerkt ook beter presteerden op de toets.

Oefening met een eerder gemaakte toets moet als relevant worden ervaren

Een kanttekening bij de hierboven genoemde interventies is dat de leerlingen en studenten wisten dat de oefening met de eerder gemaakte toets relevant was voor een toets die zij later nog moesten maken. Het is belangrijk dat voor leerlingen duidelijk is waarom zij nog moeten leren van een toets die zij al gemaakt hebben (D. Joosten-ten Brinke, persoonlijke communicatie, 29 september, 2023).

Meer weten?

• Vernieuwenderwijs.nl / toetsen nabespreken
• Kennisrotonde Vraag-en-antwoord / Zijn er verschillen in de effecten van cumulatieve toetsen

Kennismakelaar:  Edwin Buijs 
Geraadpleegde experts: Desirée Joosten-ten Brinke