Blog

Stappenplan en tips om te starten met programmatisch toetsen

2019-04-16 0 comments

Wat is programmatisch toetsen?

Bij programmatisch toetsen ontwerp je een toetsprogramma volgens vooraf opgestelde regels. Het gaat om het maken van ontwerpkeuzes met als doel (meer) samenhang te creëren in het toetsprogramma.

Die samenhang is meestal al wel aanwezig in het onderwijsprogramma (curriculum). De volgorde van alle onderwijseenheden is niet toevallig. Er zijn ontwerpkeuzes gemaakt over de inhoud, volgorde, grootte en complexiteit van onderwijseenheden zodat er een doorlopende leerlijn ontstaat.

Een toetsprogramma is een overzicht van alle onderwijseenheden (modules) en hoe die worden getoetst. In toetsprogramma’s is nog nauwelijks sprake van een samenhangend geheel. De toets is een individuele keuze van de verantwoordelijke docent(en). Hierdoor zijn toetsen vaak op zichzelf staande toetsen en hebben ze geen relatie met volgende of eerdere toetsen. Docenten weten soms niet van elkaar wat en hoe er precies getoetst wordt waardoor het kan gebeuren dat zaken onbedoeld dubbel, te summier of te eenzijdig getoetst worden.

 

Waarom programmatisch toetsen?

Er zijn verschillende redenen waarom opleidingen kiezen voor programmatisch toetsen. Ik noem er drie:

  1. Betere beslissingen kunnen nemen
  2. Leren bevorderen
  3. Aantal toetsen verminderen

 

1. Betere beslissingen kunnen nemen

Het doel van een (hbo)opleiding is om studenten op te leiden tot beginnend beroepsbeoefenaren. Aan het eind van de opleiding beslist de opleiding of een student voldoet aan dit niveau.

Om een terechte beslissing te kunnen nemen, heb je een valide en betrouwbaar beeld nodig van de bekwaamheid van de student.


Hoe het nu (vaak) gaat:

Dit beeld wordt nu meestal gevormd door de optelsom van alle losse toetsen. Heeft de student alle losse onderdelen behaald, dan ontvangt de student het diploma.


De vraag is of dit systeem nog voldoet. We toetsen complexe zaken zoals competenties, leeruitkomsten, eindtermen en/of eindkwalificaties. Als je een leeruitkomst wilt toetsen, dan heb je eigenlijk verschillende meetpunten nodig om tot een valide en betrouwbaar oordeel te komen. We vragen studenten steeds vaker om het geleerde geïntegreerd toe te passen maar we toetsen nog per module. We gaan ervan uit dat de student door de optelsom van alle losse onderwijseenheden alle leeruitkomsten aantoont. Maar hoe betrouwbaar en valide is deze aanname?

Programmatisch toetsen zou een oplossing kunnen zijn om tot betere beslissingen te komen.

Datapunten

Uitgangspunt van programmatisch toetsen is dat ieder feedbackmoment één datapunt is. Tijdens een module voert een student verschillende opdrachten uit waarop hij of zij feedback ontvangt. We maken geen onderscheid meer tussen formatieve en summatieve toetsen: iedere vorm van evalueren van het leren is een datapunt. En vervolgens bepaal je per te nemen beslissing over de voortgang van de student op basis van welk(e) datapunt(en) je die beslissing neemt.

Voorbeelden van te nemen beslissingen zijn:
♦ een tussentijdse voortgangsbeslissing (bijv. BSA)
♦ of de student doorgaat naar het volgende studiejaar
♦ of de student voldoende bagage heeft om te starten met de stage
♦ de finale beslissing: of de student het diploma ontvangt of niet

 

Het aantal datapunten waarop je je besluit baseert, neemt toe naarmate er meer op het spel staat. Staat er niets op het spel dan is 1 datapunt voldoende. Staat er meer op het spel, zoals bij een tussentijdse voortgangsbeslissing, dan baseer je je op meerdere datapunten. Bij de beslissing of een student het diploma ontvangt of niet, staat alles op het spel en baseer je je op voldoende en  gevarieerde datapunten om tot een terechte beslissing te komen.

 

2. Leren bevorderen

Een reden om programmatisch te toetsen is dat je hierdoor leren en beoordelen integreert. Oftewel: je zorgt ervoor dat de beoordeling onderdeel is van het leerproces van de student. Het leren stopt niet na het behalen van een toets maar er is sprake van een doorlopende ontwikkeling van de student. Dit past goed bij het ontwikkelen van complexe zaken zoals competenties en leeruitkomsten. Deze vragen om een integrale en longitudinale ontwikkeling.


Hoe het nu (vaak) gaat:

De student leert voor een toets. Op het moment dat de student het cijfer krijgt, stopt het leren. De student heeft het resultaat (de studiepunten) behaald en richt zich op de volgende toets. Doordat de leerdoelen van iedere module op zichzelf staan, legt de student weinig verbanden en zijn de ervaringen van de student versnipperd.


 

Feedbackcultuur

Belangrijke rol bij de ontwikkeling van de student is de feedback die de student ontvangt en de gelegenheid die je de student biedt om iets met die feedback te doen.

Ontvangt de student een cijfer, dan stopt het leren. Een cijfer geeft de student geen informatie over wat hij of zij een volgende keer zou moeten doen om tot een betere prestatie te komen. Narratieve feedback (feedback in woorden) geeft veel meer informatie dan een cijfer. Woorden hebben meer impact dan een cijfer.

Maar feedback geven alleen is niet voldoende. Het gaat er om dat je de student de gelegenheid geeft om daadwerkelijk iets te doen met de feedback. Feed back, feed up en feed forward levert de student informatie op voor de volgende stap. Je biedt de student hierdoor de mogelijkheid om de feedback te gebruiken om van te leren.

Feed back:       Hoe heeft de student het gedaan?

Feed up:           Waar gaat de student naartoe?

Feed forward:  Wat is de volgende stap?

Goed kunnen reflecteren op ontvangen feedback is iets dat studenten moeten leren. Een hiervoor getrainde coach of mentor kan de student daarbij begeleiden. Op deze manier bouw je aan informatierijke en betekenisvolle datapunten.

Daarnaast is het voor een doorlopende ontwikkeling nodig dat de resultaten van verschillende toetsmomenten met elkaar worden verbonden. De student ontwikkelt zich verder op basis van eerder ontvangen feedback. Eerdere feedback zou ook voor toekomstige beoordelaars inzichtelijk moeten zijn, bijvoorbeeld in een e-portfolio als centraal instrument waarin alle datapunten worden verzameld. Pas dan ontstaat er een doorlopende leerlijn.

Stoppen met cijfers?

Moeten we dan stoppen met het geven van cijfers? Nee. Maar wel minder vaak. Studenten die nog aan het leren zijn, zouden geen cijfer moeten krijgen. Je becommentarieerd de prestatie van de student, geeft vervolgens de tijd om het werk te verbeteren en pas aan het eind van een leerproces geef je een cijfer voor het eindproduct.

 

3. Het aantal toetsen verminderen

Sommige mensen vinden het aantal toetsen niet meer in verhouding en zouden graag zien dat er minder getoetst wordt.


Hoe het nu (vaak) gaat:

De leerdoelen van een module zijn gericht op zowel het ontwikkelen van kennis, vaardigheden als competenties. Daarom kiest een docent ervoor om een module af te sluiten met meerdere (deel)toetsen. Bijvoorbeeld een combinatie van een schriftelijk tentamen, een (groeps) project en een individueel reflectieverslag. Dit levert drie toetsen per module op.


De reden waarom men tegen te veel toetsen is, is vaak omdat het bij sommige studenten faalangst en/of prestatiedruk oplevert. Een ander tegenargument is dat te veel toetsen (werk)druk oplevert voor de organisatie.

Programmatisch toetsen zou een oplossing kunnen zijn voor studenten doordat je samen werkt aan een feedbackcultuur. Studenten worden niet te snel ‘afgerekend’ op hun prestaties maar krijgen de gelegenheid om ‘te leren van hun fouten’.

Of programmatisch toetsen een oplossing is voor de (werk)druk van de organisatie is de vraag. Programmatisch toetsen leidt inderdaad tot minder toetsen waarvoor de student een cijfer krijgt. Maar het zegt niets over het aantal datapunten.

Of het aantal toetsen afneemt, hangt af van de ontwerpregels (programma) die de opleiding hanteert bij toetsing.

Hoe het nu vaak gaat Programmatisch toetsen

Diploma = optelsom van alle toetsresultaten

Diploma = beslissing op basis van verschillende, informatierijke, betekenisvolle en gevarieerde datapunten

Geen samenhang tussen de resultaten van verschillende toetsmomenten

Resultaten van verschillende toetsmomenten zijn met elkaar verbonden
Het leren door de student stopt nadat de toets is afgenomen

Doorlopende ontwikkeling van de student

Uitsluitend op zichzelf staande toetsen

Systematische, programmatische, longitudinale toetsmomenten
Een cijfer voor iedere toets Cijfer zo lang mogelijk uitstellen

 

Wat betekent programmatisch toetsen voor de organisatie?

Programmatisch toetsen heeft gevolgen voor de hele opleiding. Wat de gevolgen zijn, is afhankelijk van de (ontwerp)keuzes die de opleiding maakt.

De opleiding zal de te nemen beslissingen per student moeten vaststellen en vervolgens per beslissing moeten vaststellen op basis van welke datapunten er een besluit wordt genomen.

Belangrijke vraag daarbij is wie deze belangrijke taken gaan uitvoeren. Hiervoor is brede kennis van het totale programma noodzakelijk. Het lijkt daarom logisch om dit niet aan individuen te vragen maar verschillende teams van deskundigen samen te stellen.

 

Wat betekent programmatisch toetsen voor de docent?

Bij programmatisch toetsen is toetsing is niet langer een aangelegenheid van de individuele docent. Datapunten (waaronder toetsen) worden centraal voor de opleiding vastgesteld. De beslissing over de prestatie van studenten zal breder genomen worden dan door de docent alleen.

Van docenten wordt verwacht dat zij informatierijke feedback aan studenten kunnen geven en hen de gelegenheid geven om aan de slag te gaan met de ontvangen feedback.

 

Stappenplan en tips

Hoe start je nu met programmatisch toetsen? We hebben al eerder de conclusie getrokken dat deze ‘revolutie’ de hele opleiding aangaat en het geen zin heeft om hier op moduleniveau mee aan de slag te gaan. Het gaat uiteindelijk om de vraag hoe je een samenhangend toetsprogramma creëert.

Hieronder een stappenplan en tips voor het starten met programmatisch toetsen:

  1. Zorg voor een volledig, helder en actueel toetsplan. Het huidige toetsplan is het uitgangspunt om het gesprek aan te gaan over programmatisch toetsen. Een schematische samenvatting op 1 A4-tje kan hierbij helpen. Alle betrokkenen moeten weten wat, waar en hoe er getoetst wordt.
     
  2. Analyseer het huidige toetsplan: waar zijn jullie tevreden over? Wat kan beter? Raadpleeg zowel ervaren als nieuwe docenten. Het kost een paar jaar om de grote lijnen in een curriculum goed te doorgronden; dat kunnen ervaren docenten. Nieuwe docenten kunnen met hun frisse blik vragen stellen en hierdoor de docenten bewust maken van door de jaren heen ingegroeide ‘eigenaardigheden’ in het toetsplan. Deze stap levert input op voor de vraag wat jullie doel is dat je wilt bereiken en of programmatisch toetsen daarvoor de oplossing is.
     
  3. Programmatisch toetsen vraagt een totaal andere mindset van docenten. Informeer alle betrokkenen actief over de principes van programmatisch toetsen zodat men weet wat het inhoudt. Betrek docenten in de discussie voordat er een besluit wordt genomen en/of keuzes worden gemaakt. Maar zorg er wel voor dat alle gesprekspartners goed geïnformeerd zijn over de principes van programmatisch toetsen zodat je een zinvolle discussie voert.
     
  4. Na de analyse van het huidige toetsplan en de input van docenten, kun je vaststellen of, en zo ja met welk doel je kiest voor programmatisch toetsen. Wil je betere beslissingen kunnen nemen? Het leren van de student bevorderen? Het aantal toetsen verminderen? Iets anders bereiken (zie tip 2)? Of een combinatie van deze redenen? Een helder doel zorgt ervoor dat je steeds de juiste keuzes en beslissingen neemt zodat je effectief te werk gaat.
     
  5. Begin klein: kies 1 actiepunt en voer deze uit. ‘Werken aan een feedback cultuur’ is te groot. Je zou kunnen starten met het trainen van docenten hoe je studenten informatierijke feedback geeft. Dit kunnen docenten direct toepassen, ook al is er nog geen sprake van programmatisch toetsen. Als docenten de voordelen van feedback geven ondervinden, kun je werken aan een volgend actiepunt.
www.eduproject.nl gebruikt cookies om de website te verbeteren en te analyseren. Als je meer wilt weten over deze cookies, klik dan hier voor ons cookie beleid. Bij akkoord geef je www.eduproject.nl toestemming voor het gebruik van cookies op onze website.
 Cookies NIET accepteren