PRESTO: Peer assessment in estafettevorm

Een innovatieve en leerzame onderwijsvorm, maar ook een moreel dilemma. Zo omschrijft docent Technische Bestuurskunde Pieter Bots de leerestafette die hij in eerste instantie ontwikkelde voor zijn eerstejaars studenten aan de TU Delft. “Voor sommige studenten werkt het uitstekend, anderen noemen het ‘unfair’.”

De leerestafette is gebaseerd op peer assessment. Dat gaat nog een stap verder dan peer feedback: studenten beoordelen elkaars werk met 1 tot 5 sterren. En die beoordeling telt mee. Daarin zit meteen de complexiteit van het systeem. Want hoe zorg je ervoor dat studenten elkaar niet zonder meer 5 sterren cadeau doen? Dan is iedereen blij, maar heeft niemand wat geleerd.

Sterren terugverdienen

Peer review heeft veel voordelen, maar ook nadelen,” zegt Pieter Bots. “Feedback is een service aan een ander. Studenten willen er doorgaans niet te veel tijd aan besteden en bovendien willen de meesten ook aardig gevonden worden. Dat werkt kritiekloos hoog beoordelen in de hand. In dit systeem werkt een snelle goede beoordeling tegen je: de sterren die je uitdeelt, raak je zelf kwijt. Je moet ze vervolgens ‘terugverdienen’ met de beoordeling van jouw werk.”

Estafettegedachte

Maar zo loont het toch om juist een slechte beoordeling te geven? Bots: “Ziedaar het morele dilemma. Kies je voor jezelf of voor een ander? De truc is de estafettegedachte. Je bouwt voort op het werk van een anonieme voorganger, dat je eerst verbetert om zo goed mogelijk verder te kunnen. Daarna voer je je eigen vervolgopdracht uit en dán pas geef je puntsgewijs feedback en een beoordeling. Je ziet de tekortkomingen van het werk van een ander namelijk pas echt, als je er zelf mee aan de slag moet.”

Waterdicht

Bots ontwikkelde de estafettemethode meer dan 7 jaar geleden als verplicht practicum bij het vak Systeemmodellering in het eerste jaar van de bachelor Technische Bestuurskunde. Aanvankelijk om zichzelf een hoop nakijkwerk te besparen, maar gaandeweg ging hij met deze methode enkele belangrijke knelpunten van grootschalig (digitaal) onderwijs te lijf. Waaronder weinig of slechte feedback en een geringe motivatie van studenten om bepaalde vaardigheden te oefenen.

Schaalbare onderwijsvorm

Onder de naam PRESTO – Project-Estafettes voor Schaalbaar Toepassingsgericht Open en Online Onderwijs – kreeg het project steun van de stimuleringsregeling Open en online onderwijs 2017. Binnen dat kader is de leerestafette in 2017 en 2018 gegeneraliseerd tot een schaalbare onderwijsvorm, die in principe geschikt is voor alle cursussen met stapsgewijze opdrachten. De software is opnieuw geprogrammeerd, responsive gemaakt, gestandaardiseerd en als open-sourcesoftware beschikbaar gesteld via GitHub.

“Er waren veel spelregels nodig om het systeem waterdicht te krijgen”Pieter Bots - TUDelft

Spelregels

“De stimuleringsregeling heeft de armslag gegeven om deze leervorm te optimaliseren en voor een nog veel bredere doelgroep toegankelijk te maken. We konden vooral daardoor de software verbeteren en documenteren. Al met al is in de ontwikkeling van het systeem voor mij overigens een veelvoud van de uren gaan zitten die ik anders aan nakijken had besteed. In beginsel ook om het aan alle kanten waterdicht te krijgen. Daar bleek toch een aanzienlijke set aan spelregels voor nodig te zijn.”

Bezwaar en beroep

Een van die spelregels is dat studenten die zich door hun opvolger benadeeld voelen, bezwaar kunnen aantekenen tegen hun beoordeling. De geldigheid van zo’n bezwaar moet vervolgens door een onafhankelijke partij – een ouderejaars – gecontroleerd worden. Studenten die het niet eens zijn met de uitspraak van zo’n scheidsrechter kunnen daartegen in beroep gaan, waarna de zaak door de docent wordt beslecht. Om te voorkomen dat het bezwaren en beroepen regent, is daarvoor ook een drempel ingebouwd: wie niet met geldige redenen komt krijgt strafpunten.

Uitdaging

Bots: “Ik heb op alle mogelijke manieren geprobeerd het systeem zo rechtvaardig mogelijk te maken, het volgt in veel opzichten zelfs de structuur van onze rechtspraak. Maar wat sommige studenten toch niet eerlijk vinden, is dat hun eigen resultaat deels afhankelijk is van het werk van anderen. Presteert die ander slecht, dan moeten zij harder werken. Maar andere studenten zien dat juist als de uitdaging: het spelelement zet hen aan om grondiger te werk te gaan dan ze anders hadden gedaan, waardoor ze uiteindelijk ook de stof beter leren beheersen.”

Academisch denken

“Het is een ietwat controversiële methode, maar ik heb veel vertrouwen in deze vorm van peer feedback voor grootschalig onderwijs. Ook omdat studenten al vroeg kennismaken met een academische manier van denken en werken. In de wetenschap begin je ook zelden from scratch aan een onderzoek, maar ga je verder met de resultaten van anderen. De leerestafette kan in principe wereldwijd ingezet worden. Het is een jonge, maar volwassen leervorm, klaar om op eigen benen te staan.”

Zelf aan de slag?

Lees meer over project Project-Estafettes voor Schaalbaar Toepassingsgericht Open en Online Onderwijs (PRESTO)

Stimuleringsregeling Open en online onderwijs

Met de stimuleringsregeling Open en online onderwijs geven SURF en het ministerie van OCW de Nederlandse onderwijsinstellingen de tijd, ruimte en middelen om te experimenteren met innovatieve vormen van open en online onderwijs. In 2017 en 2018 zijn 9 projecten geselecteerd die zich richten op online peer feedback en peer review. Met groeiende studentenaantallen blijkt dit een schaalbare manier om het diepere leren bij studenten te versterken, zonder veel extra inzet van docenten.