Lees hier alles over het ontwikkelproces van Exa.men

Onze examens voldoen aan de wettelijke eisen: ze zijn valide, betrouwbaar en uitvoerbaar. We kunnen de kwaliteit van onze examens waarborgen doordat we altijd een zorgvuldig ontwikkelproces doorlopen. Mede dankzij ons ontwikkelproces zijn wij ook een gecertificeerde examenleverancier, met gecertificeerde examenproducten. 

Er zijn verschillende personen betrokken bij de ontwikkeling van een examen:

  • Kernconstructeur (medewerker Exa.men)
  • Toetsdeskundig constructeur (medewerker Exa.men)
  • Inhoudsdeskundig constructeur (iemand uit het onderwijs en/of bedrijfsleven)
  • Toetsdeskundig vaststeller (onafhankelijk)
  • Inhoudsdeskundig vaststeller (iemand uit het onderwijs en/of bedrijfsleven, onafhankelijk)

Het ontwikkelproces in 4 stappen

Ons ontwikkelproces bestaat uit 4 stappen: de constructie van het basisontwerp, het vaststellen van het basisontwerp, de constructie van het examen en het vaststellen van het examen. We leggen iedere stap individueel aan je uit.

Stap 1: de constructie van het basisontwerp

De eerste stap van het ontwikkelproces is de constructie van het basisontwerp. Hierbij kiest een toetsdeskundig constructeur één of meerdere beoordelingsvormen. Voor veel examens is dit een verslag of vlog, maar er zijn meer beoordelingsvormen mogelijk, zoals:

Bij het kiezen van de beoordelingsvormen betrekken we ook een docent uit het onderwijs die ervaring heeft met het uitvoeren van examens, en een inhoudsdeskundig constructeur uit het werkveld. Op deze manier kunnen we garanderen dat het examen goed aansluit bij het onderwijs en de praktijk.

Stap 2: het vaststellen van het basisontwerp

Het basisontwerp staat klaar, en de vervolgstap is een controle van de kwaliteit. Deze controle wordt uitgevoerd door twee onafhankelijke vaststellers. Wanneer het basisontwerp aan de kwaliteitseisen voldoet, wordt het vastgesteld.

Stap 3: de constructie van het examen

Na de vaststelling van het basisontwerp kan de daadwerkelijke constructie van het examen starten. In deze stap kijken de docent en inhoudsdeskundige constructeur opnieuw mee met de toetsdeskundig constructeur. Het examen bestaat, naast het basisontwerp, ook uit de exameninstructie voor de kandidaat, de exameninstructie voor de beoordelaar en het beoordelingsformulier. Op dit punt worden ook de rubrics (criteria) in het beoordelingsformulier ontwikkeld. Die vormen als het ware de ruggengraat van het examen: wat moet de kandidaat precies kennen en kunnen om te slagen voor het examen? Met het formuleren van een heldere opdracht voor de kandidaat, en duidelijke criteria voor de beoordelaar, zorgen we ervoor dat examen goed uitvoerbaar is.

Stap 4: het vaststellen van het examen

Tot slot worden de examendocumenten vastgesteld door de onafhankelijke vaststellers. Hierna is het examen klaar om geleverd te worden aan onderwijsinstellingen! De afname, registratie en interne evaluatie ligt nu in hun handen.

Continu verbeteren 

Naast het ontwikkelen van examens blijven we altijd bezig met verbeteringen. Bij Exa.men zijn we dus altijd in beweging. We voeren bijvoorbeeld regelmatig gesprekken met beoordelaars, docenten en examencommissies, waarin zij hun ervaringen en feedback met ons delen. Ook jouw feedback is altijd welkom! We verwerken deze feedback jaarlijks. Ook voeren we jaarlijks een interne audit uit, om processen en examens nog verder te verbeteren. Zo zorgen we er samen voor dat examens valide, betrouwbaar en uitvoerbaar blijven!

Bekijk de video hieronder om te weten hoe ons gehele examenproces eruit ziet:

Besteed aandacht aan persoonlijke groei, juist bij examinering!

Het is het jaar 2033. Yaïr is derdejaars student autoschadehersteltechniek. Hij is net begonnen met het keuzedeel “Werken met een Industriële Robot”. Hij maakt de opdrachten op zijn stageplek en krijgt hierbij voortdurend feedback van zijn coach, medestudenten, zijn leidinggevende en collega’s. Hij maakt opdrachten, ontwikkelt producten en wordt geobserveerd door alle bovenstaande partijen. Bij elke opdracht krijgt Yaïr feedback van zijn coach, waarna Yaïr de kans krijgt om zijn opdrachten te verbeteren. De definitieve producten, resultaten en feedback horend bij deze opdrachten zijn straks ook voor de beoordelaar van Yaïrs examen te zien. Yaïr hoeft daardoor niets meer voor het examen te doen. Een goed onderbouwde selectie van wat hij in het leerprogramma heeft gemaakt, wordt gebruikt om hem te beoordelen. In een eindgesprek bespreken de beoordelaar en Yaïr zijn resultaten. De beoordelaar ziet dat Yaïr een observatie opnieuw heeft laten afnemen, nadat hij flink wat feedback van zijn coach had gekregen. De beoordelaar vraagt Yaïr om te vertellen over de verschillen tussen de eerste en de tweede observatie, en wat hij hiervan heeft geleerd. Yaïr legt dit goed uit, en slaagt met vlag en wimpel voor het keuzedeel!

Een andere mogelijkheid is dat het examen van Yaïr zich afspeelt via Virtual Reality. Yaïr krijgt tijdens dit examen een industriële robot te zien die niet meer blijkt te werken. Yaïr kan de robot van alle kanten bekijken, moertjes en schroefjes aandraaien en de software van de robot bekijken en aanpassen. De examentaak van Yaïr is om zijn probleemoplossend vermogen en de kennis uit het keuzedeel te gebruiken om de robot weer aan de praat te krijgen. Bij dit examen beoordeelt niet alleen Yaïrs beoordelaar of het probleem met de robot goed is opgelost; ook de robot zelf laat zien of Yaïrs oplossing goed heeft gewerkt. De robot maakt hier een rapport over, waarin hij de oplossing van Yaïr vergelijkt met de oplossing van andere studenten uit hetzelfde cohort. Dit rapport wordt automatisch toegevoegd aan de examendocumenten die de beoordelaar inziet. De beoordelaar bekijkt het rapport van de robot en ziet dat Yaïr het softwareprobleem goed heeft opgelost, maar wel op een andere manier dan zijn medestudenten. Yaïrs oplossing laat een hoge mate van creativiteit zien. De beoordelaar geeft Yaïr daardoor een hoog cijfer.

Op dit moment zijn deze voorbeelden van Yaïr nog toekomstmuziek. We zien echter wel dat er grote vernieuwingen onderweg zijn, zowel in examinering als in het onderwijs. Vooral omtrent digitalisering van het onderwijs is er nog veel mogelijk. Denk bijvoorbeeld eens na over een leerplatform dat alle resultaten van opdrachten en feedback automatisch met elkaar vergelijkt, net als de robot uit het voorbeeld van Yaïr. Het wordt dan inzichtelijk hoe lang een student over een opdracht heeft gedaan en wat hiervan het resultaat is. De coach en beoordelaar zien in objectieve cijfers welke groei een student heeft gemaakt en of dit vergelijkbaar is met de rest van zijn klas en/of het gehele leerjaar. De coach haalt hieruit belangrijke informatie over zijn eigen instructievaardigheden: wanneer een hele klas minder is gegroeid in een bepaalde vaardigheid dan gemiddeld, weet de coach dat deze vaardigheid meer aandacht nodig heeft in het curriculum. Of wanneer een klas juist bovengemiddeld groeit in een bepaalde vaardigheid, kan de coach (succesvolle) lesmethodes overdragen aan collega’s.

Voor dit soort verregaande ontwikkelingen is de examinering van keuzedelen een perfect oefengebied. Het is namelijk gemakkelijker om de examinering van een keuzedeel anders in te richten, dan de examinering van een geheel onderwijsprogramma. Zoals met alle vernieuwingen moet er ruimte zijn om fouten te maken en hiervan te leren. Want, zoals elke onderwijsmaker weet: van je fouten kun je leren. Net als Yaïr. We nodigen iedereen daarom uit om met ons na te denken over het vernieuwen van examinering. Wij zijn gespecialiseerd in examinering van keuzedelen en schuwen geen grootschalige vernieuwingen. Samen met de kennis, ervaring en inspiratie van het onderwijsveld kunnen we de wereld van examinering veranderen. Hierdoor kunnen de voorbeelden van Yaïr werkelijkheid worden!

Jouw diploma in de blockchain

jouw diploma in de blockchain

Gevoelige data veilig opslaan en delen

Zodra je je diploma behaalt, bewaar je een fysiek exemplaar in huis. Wanneer je dit nodig hebt moet je het vaak eerst nog afstoffen – als je het überhaupt al kunt vinden. Je kunt ook het diplomaregister van DUO raadplegen, of je vroegere onderwijsinstelling vragen om een gewaarmerkte kopie. Dit laatste is straks echter niet meer mogelijk door de aangescherpte privacyregels. Je onderwijsinstelling mag namelijk geen onnodige data meer over jou bewaren. Om gevoelige data (zoals diploma’s) veilig te kunnen opslaan en delen zijn er al verschillende individuele initiatieven. Echter is er ook een Europees project gestart, genaamd European Blockchain Services Infrastructure (EBSI)‘, wat een grensoverstijgende blockchain oplossing biedt.

Blockchain maakt diploma’s toegankelijk

Globaal gezegd is blockchain een technologie waarmee informatie versleuteld wordt, en bij verschillende partijen (decentraal) wordt opgeslagen. Deze opgeslagen informatie kan alleen worden aangepast, verwijderd of gedeeld door de rechtmatige eigenaar, en niet door de partijen waarbij het opgeslagen is. Dit is ideaal voor diploma’s! Zo kan namelijk elke toekomstige onderwijsinstelling of werkgever eenvoudig jouw diploma’s en certificaten verifiëren, zonder dat jouw onderwijsinstelling uitgebreide records over jou hoeft te bewaren. Het is als het ware een publiek toegankelijke databank waarbij jij als rechtmatige eigenaar de controle hebt.

Bekijk in deze video een voorbeeld van hoe dat eruit kan zien:

https://www.youtube.com/watch?v=m2uj7fgb2JI

Valse en vermiste diploma’s voorkomen

Door diploma’s op te slaan in blockchain wordt ook vervalsing en vermissing van diploma’s voorkomen. Want hoewel een papieren diploma vervalst kan worden, is dit in de blockchain onmogelijk. Daarbij komt het voordeel dat een diploma in de blockchain niet kwijtgeraakt kan worden. De rechtmatige eigenaar kan het diploma altijd inzien en delen.

Een ‘leven lang leren’ inzichtelijk maken

Naast toegankelijkheid en veiligheid van (traditionele) diploma’s, kan blockchain ook concrete resultaten tonen van de manier waarop mensen bezig zijn met een ‘leven lang leren’. Studenten en werkenden doen namelijk ervaring op bij verschillende onderwijsinstellingen en organisaties. Veel van deze ervaring wordt niet bekroond met een traditioneel diploma, maar met een vorm van micro-credentials, zoals bijvoorbeeld credits, een certificaat, een bewijs van deelname of een erkenning van verworven competenties. Wanneer al deze micro-credentials via blockchain inzichtelijk worden, kan iedereen aantonen dat ze zich continue blijven ontwikkelen. Zo wordt ‘een leven lang leren’ inzichtelijk gemaakt!

Het diplomeren van de toekomst

Eerder schreven we al over het examineren van de toekomst. Maar we denken ook graag na over wat er ná het behalen van een examen gebeurt. Want zodra een diploma verstrekt is, begint het eigenlijk pas. Je ontwikkeling gaat gewoon verder, en het concrete bewijs daarvan wil je veilig bewaren en delen. Daarom houden we als exa.men het EBSI project goed in de gaten. In de loop van 2020 worden de eerste resultaten uit de pilot gedeeld, en zal blijken of diploma’s in de blockchain nog in de verre toekomst liggen, of dichterbij zijn dan we denken.

Een papieren diploma zal nooit helemaal verdwijnen, al is het voor een mooie diploma-uitreiking! Wel hopen we dat diploma’s in de blockchain snel werkelijkheid gaan worden. Het zou namelijk een poort openen naar gerichter en flexibeler opleiden voor en door de arbeidsmarkt.

Het examineren van de toekomst in een stroomversnelling

stroomversnelling

Onderwijs en examinering in bizarre tijden

Door de maatregelen om de verspreiding van het coronavirus tegen te gaan, worden we gedwongen om anders te denken. Het onderwijs wordt ineens digitaal draaiende gehouden. Dit gebeurt gelukkig met veel enthousiasme en toewijding. Zo waren slechts enkele dagen nodig om alle onderwijsactiviteiten te digitaliseren en afstandsleren in te richten. Heel onderwijsland slaat de handen ineen zodat studenten kunnen blijven studeren en geen studievertraging oplopen. Het onderwijs is er klaar voor. Nu de examinering nog! Het is tijd om te kijken naar het examineren van de toekomst.

Het zoeken naar alternatieve examenvormen is enorm tijdrovend. Tijd die er nu even niet is. Uitstel van examens lijkt tijdens de intelligente lockdown misschien voor de hand liggend. Echter, alle moeite die in het onderwijs is gestoken, verdient volgens ons een goede afloop. 

Mogelijkheden bij onze examens

Voor onze examens deden we direct een analyse: wat is er nog mogelijk en wat niet? Onze examens bleken aan de voorkant zo te zijn ingericht, dat de kwaliteit geborgd blijft met minimale aanpassingen. Enerzijds wonderbaarlijk, anderzijds niet. Onze examenvisie is immers altijd leidend voor de constructie en vaststelling van examens. We willen met onze examenvormen beoordelaars zo veel mogelijk ontlasten met examens die efficiënt organiseerbaar zijn. Dit doen we door te innoveren en ons examenaanbod te digitaliseren. Bijvoorbeeld door studenten een deel van het examen in eigen tijd te laten maken, gewoon vanuit huis.

Hierdoor ontstaat vaak de vraag: hoe kan je controleren of een examenproduct authentiek is, wanneer er geen supervisie is? Daarom worden onze examens voor een volledige dekking altijd aangevuld met een tweede onderdeel. Tijdens het tweede onderdeel, zoals een CGI (criteriumgericht interview) of presentatie, stelt de beoordelaar de benodigde checkvragen aan de student over het examenproduct. Als een student het product niet zelf heeft gemaakt, zal deze tijdens het tweede onderdeel door de mand vallen. Dit tweede onderdeel kan je gemakkelijk digitaal afnemen.

digitaal afnemen examen
Een criteriumgericht interview (CGI) of presentatie kun je gemakkelijk digitaal afnemen.

De zoektocht naar alternatieve examenvormen

Onze examens zijn een voorbeeld van de mogelijkheden die examineren op afstand biedt. Ook voor examineren kunnen we deze zoektocht gezamenlijk vormen. En dan met hetzelfde enthousiasme zoals voor onderwijsactiviteiten is gedaan, in plaats van vast te klampen aan de uitvoering zoals we die altijd al gewend zijn. De ruimte is er namelijk wel. Zelfs binnen de wettelijke kaders en regels, zolang alle kwaliteitscriteria maar in de nieuwe situatie gedekt blijven. Er zijn binnen het mbo al mooie initiatieven ontstaan, zoals studenten laten vloggen in de leerpraktijk, wanneer zij worden opgeleid voor een vitaal beroep. Of het afvinken van de leerdoelen door een alternatieve (digitale) opdracht, wanneer bijvoorbeeld een stage niet kan worden afgesloten.

Leren van anderen

Ook kunnen we opnieuw buiten mbo-land veel leren, zoals van hbo-opleidingen of van andere delen van de wereld. Zo is programmatisch toetsen in opkomst bij het hbo. Een toetsvorm waarbij toetsen onderdeel is van het gehele leerproces. Ervaringen en resultaten worden gebruikt om beslissingen over de voortgang te onderbouwen. Eigenlijk is dit een vergaande manier van formatief evalueren. In het mbo kunnen we naar ons idee in deze tijden ook meer outputgericht gaan kijken: heeft de student al bewijs getoond dat hij/zij aan de beoordelingscriteria voldoet? Is het dan noodzakelijk om dit nogmaals te toetsen? Wij denken dat deze tijd een goed moment is om te beginnen experimenteren met formatief evalueren, en daarna te beoordelen of we dit gaan volhouden in de toekomst. En wie weet, wellicht breekt nood wet!

Een ander goed voorbeeld komt uit Hongkong. Hier hebben ze al enige maanden ervaring kunnen opdoen met toetsen op afstand, mede dankzij de rellen in de stad. Zij maken gebruik van sociale controle tijdens het toetsen. Studenten zijn verplicht een tentamen te maken via videoconferentie platform ‘Zoom’. Daarbij moeten zij hun camera aan laten staan, wordt het beeld opgenomen en zien ze alle andere studenten. Terwijl de docent iedereen (achteraf) in de gaten houdt. Zeer toepasselijk voor de afname van theorie-examens in het mbo. Door de sociale druk schijnen de studenten nauwelijks te spieken.

Kortom, de crisis roept de vraag op of de examinering zoals we die gewend zijn nog wel van deze tijd is. Of hebben we iets te lang stilgestaan? Gezamenlijk kunnen we ervoor zorgen dat we klaar zijn voor de onvoorspelbare toekomst. Laten we het examineren van de toekomst in de stroomversnelling zetten!


Voor gebruikers van een exa.men

Gebruikt jouw school al een examen van ons? Dan willen we je vragen om geen wijzigingen door te voeren in onze examens, zonder overleg! Neem contact met ons op. Wij denken graag mee over alternatieven om examens af te nemen, ook buiten onze eigen grenzen.

21e eeuws examineren

data-gedreven examineren

Binnen het onderwijs is examineren een veelbesproken onderwerp. Zo is er de nodige kritiek dat examens niet aansluiten bij de competenties die de student tegenwoordig moet bezitten. Daarnaast wordt de uitvoerbaarheid van examens regelmatig door beoordelaars als een probleem gezien. Om die redenen is exa.men opgericht; wij willen het onderwijsproces en het examenproces dichter bij elkaar brengen, en laten zien hoe examineren ook kan.

Data verzameling tijdens het formatieve onderwijsproces

In de ‘Wet educatie en beroepsonderwijs’ is vastgelegd dat er een strikte scheiding moet zijn tussen het onderwijs- en examenproces. Onderwijs is formatief en examineren is summatief. Denk eens aan het voorbeeld van je autorijbewijs halen. De tijd die je aan het lessen bent met je instructeur geldt als onderwijstijd, en na verschillende lesuren moet je voor het praktijkexamen naar het CBR. Het afleggen van je praktijkexamen is daarmee een momentopname waarin je moet laten zien wat je kunt. Op zich een prima opzet, maar met alle middelen die we in deze 21ste eeuw tot onze beschikking hebben, kan het beter!

Met alle middelen die we in deze 21ste eeuw tot onze beschikking hebben, kan examineren beter!

Stel je nu eens voor dat er tijdens je autorijlessen een stukje software in de auto geprogrammeerd zit, dat jouw rijgedrag monitort ten opzichte van andere weggebruikers. Daarnaast vult je rij-instructeur na elke les een vragenlijst in over jouw prestaties en voortgang. Met al deze data kun je in het formatieve onderwijsproces al een zeer goed beeld schetsen van iemands kwaliteiten! Op deze manier ontstaat een (eind)oordeel outputgericht, als vervanging van summatief examineren. En hier liggen enorme kansen! Je zou hierbij zover kunnen gaan dat je datagedreven beslissingen maakt, waarbij je alleen slaagt voor je rijbewijs wanneer je frequent hebt aangetoond de gevraagde kennis en vaardigheden te bezitten. Of zelfs wanneer je beter rijdt dan de gemiddelde weggebruiker, of wanneer je bij de beste 50% van alle kandidaten behoort.

Tijd om te experimenteren met examineren

Deze innovaties staan nu natuurlijk nog haaks op de strikte scheiding tussen onderwijs en examinering. Dat neemt echter niet weg dat het tijd is om te gaan experimenteren met examineren. Het halen van je rijbewijs met datagedreven formatieve examens is nu nog ver weg. Wel zien we dat formatief toetsen al verweven wordt in het onderwijsproces bij certificeerbare eenheden en keuzedelen. Het is dan de kunst om er ook hier voor te zorgen dat de kwaliteit van de beoordeling goed wordt gewaarborgd. Hier zetten wij ons, als gecertificeerde examenleverancier dagelijks voor in!