Het gebruik van Rubrics

Auteur: Basten Berg
Gepubliceerd: 14/februari/2024
Redacteur: Gezocht
‘Wil je dit artikel redigeren? Dat kan! Heb je een foutje gevonden of mis je informatie? Stuur dan een mail naar support@eenmeesterinleren.nl en help zo mee om het onderwijs te verbeteren.‘

Inhoudsopgave

1. Wat is de betekenis van rubrics?
2. Waar moet een goede rubric aan voldoen?
3. Welke drie soorten rubrics zijn er?
   • de analytische rubric met descriptoren
   • de analytische rubric zonder descriptoren
   • de Single-point rubric
4. Waarom een rubric?
5. Wat is een holistische rubric?
6. Wat is het effect van rubrics
7. Een rubric voor goede rubrics
8. Bronnen

Welkom op het platform eenmeesterinleren.nl. Een plek leraren, andere onderwijsprofessionals en iedereen die geïnteresseerd is in het gebruik van Rubrics. Vanuit mijn achtergrond als biologie leraar, onderwijskundige en lerarenopleider schijf ik artikelen en maak ik video’s fundamentele theorieën over onderwijs, leren en lesgeven begrijpelijk aan te bieden. Op de community voor leraren vind je een overzicht van alle uitgewerkte theorieën geordend per thema en een groep onderwijsprofessionals waar je je inhoudelijke vragen aan kunt stellen.

1. Wat is de betekenis van rubrics?

Een rubric is een reeks criteria met verschillende niveaus die voor zowel de leerling als de leraar duidelijk definiëren welke prestaties wel en welke niet acceptabel zijn met als doel een beschrijving van succesvolle prestaties te geven. Een essentieel kenmerk van rubrics is het gebruik van beschrijvende taal in plaats van het labelen van prestaties. Evaluatieve woorden zoals ‘beter’, ‘vaker’ en ‘uitstekend’ komen niet voor in rubric. In plaats daarvan moet de taal precies de acties beschrijven die de leerling daadwerkelijk moet doen om vaardigheid of bekwaamheid op dat niveau te demonstreren. (AASL and AECT, 1998 p. 177)

Als je deze definitie aanhoudt, kun je een rubric gebruiken als instrument bij het beoordelen van prestaties, maar ook voor het evalueren van prestaties. Met andere woorden, een rubric is een instrument voor zowel formatief als summatief beoordelen. Rubrics hebben volgens Wiggins (2012), mits in concrete bewoording opgesteld, dan ook een sterke feedbackfunctie. Je kunt een rubric daarom zien als een scaffold in het feedback- en toetsproces en bij het aanleren van zelfregulatie vaardigheden. Bekijk voor meer informatie ook de artikkelen over ‘scaffolding‘ en ‘zelfregulatie‘. 

DE VIDEO OVER DIT THEMA IS IS NOG IN PRODUCTIE.
‘Deze video is gewoon vrij te gebruiken! Link wel even naar ‘https://eenmeesterinleren.nl/rubrics‘

2. Waar moet een goede rubric aan voldoen?

De definitie in de vorrige parragraaf stelt verder een aantal eisen waar een rubric aan moet voldoen. Zo moeten de criteria in eenduidige taal en op verschillende niveaus worden beschreven. Dit zijn er vaak vier. Ook moeten de omschrijvingen nauwkeurig het verlangde gedrag van leerlingen beschrijven. Woorden als ‘beter’, ‘vaak’, of ‘uitstekend’, of ‘mager’ moeten vermeden worden. 

Een effectieve rubric is een afgeleide van de leerdoelen zodat de constructive alignment tussen de doelen, het onderwijs en de toetsing geborgd wordt. 

Bekijk voor meer informatie ook het artikel over ‘constructive alignment‘.

• Er zijn een aantal eisen aan instructional rubrics:
• rubrics helpen leerlingen om hun werkzaamheden te evalueren; 
• rubrics dienen als leidraad om de prestaties van leerlingen te verbeteren; 
• rubrics worden geschreven in een voor de leerlingen begrijpelijke taal;
• rubrics definiëren en beschrijven waaraan de prestaties van leerlingen moeten voldoen;
• rubrics verwijzen naar veel gemaakte fouten en geven aan hoe de prestaties verbeterd kunnen worden.

Als rubrics, in een voor de leerlingen begrijpelijke taal, beschrijven waaraan de prestatie moet voldoen, helpt dit hen bij het evalueren van hun activiteiten (formatieve evaluatie). Mocht daar aanleiding toe zijn, dan kunnen ze hun prestatie nog  verbeteren. Door Leerling-rubrics op deze manier in te zetten voor zowel self-assessment als peer-assesment krijgen ze inzicht in de kwaliteit van hun eigen werk en, misschien nog wel belangrijker, inzicht in hun eigen leerproces. 

3. Welke drie soorten rubrics zijn er?

Er bestaan 3 vormen van rubrics: een analytische rubric, een rubric zonder descriptoren en een single-point rubric. Ik behandel ze één voor één. 

Als eerste de analytische rubric

Een analytische rubric maakt gebruik van specifieke criteria om de prestaties van leerlingen te evalueren of te beoordelen en heeft meestal een vaste vorm. Hieronder zie je een voorbeeld.

• De Hoofd- en subrubriek hier staat op welke vaardigheid/competentie de rubric betrekking heeft. Eventueel is de hoofdrubriek onderverdeeld in subrubrieken.
• De Criteria hier is per sub rubriek aangegeven waaraan de prestatie moet voldoen. Deze worden afgeleid van de leerdoelen.
• De niveauaanduiding van een aantal niveaus van beheersing. Meestal gaat het om vier niveaus met kwalificaties als ´van zeer zwak tot uitstekend´ of ´van beginner tot expert´. Soms kiest men, om vanuit motivatie of pedagogische oogpunt, een omgekeerde volgorde te hanteren.
• De descriptoren van de verschillende beheersingsniveaus. Descriptoren geven de leerlingen nauwkeurige informatie over hun prestatie en over de aspecten waarop zij hun prestatie kunnen verbeteren. Descriptoren bieden docenten de mogelijkheid nauwkeuriger onderscheid te maken tussen leerlingen. Houd je je strak aan de definitie van een rubric, dan zijn beschrijvingen verplicht en essentieel. Ik zal straks ook ingaan op de keuze om toch minder descriptoren te gebruiken.
• De Score hier kan elk criterium, tijdens het beoordelen, gescoord worden.
• De Weging hier is aangegeven hoe zwaar elk criterium meetelt in de uiteindelijke beoordeling.

Grant Wiggins beschrijft het verschil tussen criteria en de eisen waaraan de leerling moet voldoen als volgt ‘Criteria are inferred form the goals, but standards are selected to represent excellence in performance, using appropriate exemplary performances or specifications’ (Wiggings, 1998, 156). 

schematische ziet een analytische rubric er zo uit. 

Hoof- en Subrubriek	Criteria	Niveau 1	Niveau 2	Nivea 3	Niveau 4	Score	Weging
1.1	a	discriptor	discriptor	discriptor	discriptor
1.2	b	discriptor	discriptor	etc.
1.3	c
2.1	d
2.2	e
3.1	f
3.2	g
ect	etc

Afhankelijk van de uitgebreidheid van de rubric en het doel waarvoor hij gebruikt wordt, zie je in de praktijk vaak rubrics dat een rubric de Colommen met de score en/of weging niet gebruikt of zelfs weg gelaten worden. 

Je kent nu de basis maar hoe stel je een goede rubric op?

Bij het maken van een rubric is het van belang om onduidelijke kwalificaties, onheldere taal en negatief taalgebruik te vermijden.

Verder wil je in een rubric leerlingprestaties beschrijven zonder ze van een oordeel te voorzien. Je beschrijft wat een leerling wordt geacht te doen om aan te tonen dat hij het beoogde niveau heeft gehaald.  Rochford en Borcher (2011) zeggen hierover ‘Descriptors should provide the absolute basis for performance, not one that is relative to others’. 

De consistentie in de beoordeling met rubrics kan worden versterkt door voorbeelden te geven van elk bedoeld niveau, bij voorkeur ontleend aan werk van de leerlingen. Dat zou kunnen in de vorm van een zogeheten ´anker´. Een anker is een item dat in twee of meer prestaties van leerlingen voorkomt en dat als ijkpunt wordt genomen om verschillen in moeilijkheidsgraad of uitvoeringsniveau te kunnen constateren. Het is een middel om prestaties vergelijkbaar te maken. Dergelijke ankers helpen niveaubeschrijvingen te concretiseren. (Moskal & Leydens in Rochford en Borchert, 2011) 

formuleer bij voorkeur slechts één onvoldoende niveau. Bij veel rubrics ligt de onvoldoende/voldoende grens bij de overgang van niveau twee naar niveau drie. Het beschrijven van meerdere onvoldoende niveaus kan demotiverend werken. 

Als tweede een Analytische rubric zonder descriptoren

De Analytische rubric zonder descriptoren heeft geen bij verschillende niveaus. Vaak is het moeilijk om elk van de vier beheersingsniveaus op een betekenisvolle manier te beschrijven. In de praktijk zie je dat docenten dan al geneigd zijn om toch de oplossing te zoeken in beschrijvingen zoals slecht, matig, redelijk en goed. In dat geval je ervoor kiezen om alleen het laagste en het hoogste beheersingsniveau te beschrijven en het werk van de leerlingen op elk criterium te scoren op een schaal van 1-4 (of eventueel 1-6 of 1-8 als een dergelijke nuancering mogelijk en zinvol is). 

Schematische ziet een Analytische rubric zonder descriptoren er zo uit 

Subrubriek	Criteria	Beschrijving	1	2	3	4	Beschrijving	Score	Weging
1.1	a		O	O	O	O
1.2	b		O	O	O	O
1.3	c		O	O	O	O
2.1	d		O	O	O	O
2.2	e		O	O	O	O
3.1	f		O	O	O	O
3.2	g		O	O	O	O
ect	etc		O	O	O	O

Er is bewust gekozen voor een even aantal niveaus om de beoordelaar te dwingen een duidelijke keuze te maken tussen voldoende en onvoldoende. Dit veronderstelt echter wel dat de beoordelaar in staat is onderscheid te maken tussen niveau 2 en 3. Als dat niet mogelijk is, kan ook voor een driepuntsschaal worden gekozen. In dat geval is wel of niet aan het criterium voldaan of is de prestatie op dit criterium twijfelachtig.

Een stap verder gaat het model met een zespuntsschaal (likertschaal) waarbij het criterium alleen op het hoogste niveau wordt omschreven. Deze schaal (Likertschaal) wordt meestal gebruikt in enquêtes en opiniepeilingen, maar is eveneens bruikbaar voor het beoordelen van vaardigheden op criteria die moeilijk in concreet waarneembaar gedrag te beschrijven zijn. Bij een Likertschaal geeft de beoordelaar aan in hoeverre hij het eens is met een uitspraak met betrekking tot een bepaald criterium. Bijvoorbeeld:
1= sterk mee oneens 
2= mee oneens 
3= neutraal 
4= mee eens 
5= sterk mee een

Voor het beoordelen van vaardigheden ligt een beoordeling van slecht tot goed meer voor de hand. 
5= goed/volledig
4= voldoende
3= twijfelachtig
2= onvoldoende
1= zeer onvoldoende

Schematische kan een Analytische rubric zonder descriptoren er dus ook zo uit zien:

Criteria	Beschrijving	1	2	3	4	5	Score
1		O	O	O	O	O	0
2		O	O	O	O	O	0
3		O	O	O	O	O	0
4		O	O	O	O	O	0
5		O	O	O	O	O	0

Meestal wordt gebruikgemaakt van een vijfpuntsschaal, maar er zijn ook argumenten om een zeven- of negen-puntsschaal te gebruiken. Soms wordt er ook bewust gekozen voor een vierpuntsschaal om de beoordelaar te dwingen een keuze te maken voor positief of negatief.

In alle genoemde voorbeelden is gekozen voor een schaal die loopt van slecht naar goed. Is het de bedoeling om ontwikkeling en groei via opdrachten gedurende een langere periode zichtbaar te maken, dan ligt deze variant voor de hand. Soms wordt er, om motivatie redenen, voor gekozen om dit om te draaien en te werken met een schaal van goed naar slecht.

Als derde de Single-point rubric

In plaats van een meerpuntsschaal, kan ook gekozen worden voor een eenpuntsschaal (de single-point rubric), waarbij het niveau zoals traditioneel in de derde kolom (van een vierpuntsschaal) wordt beschreven HET uitgangspunt is. Deze rubric is minder geschikt voor een summatieve beoordeling, waarbij een gedetailleerde beoordeling, vaak met een cijfer met één decimaal, gewenst is. 

Schematische ziet een single-point rubric er zo uit. 

Waarin schiet de prestatie tekort?	Criterium voor een voldoende prestatie	Waarin stijgt de prestatie uit boven het vereiste niveau?
	Criterium 1
	Criterium 2
	Criterium 3
	Criterium 4

Voor een formatieve beoordeling, gericht op het verbeteren van de prestaties van leerlingen, biedt een eenpunts rubric de mogelijkheid om, uitgaande van een voldoende prestatie, aan te geven op welke criteria de leerling nog tekortschiet en wat hij moet doen om zich te verbeteren. Ook kan per criterium, waar relevant, precies worden aangegeven waarom de prestatie excellent is, of in ieder geval beter dan gemiddeld. Hoewel het invullen van deze rubric tamelijk tijdrovend kan zijn, geeft hij de leerlingen veel inzicht in vooral de zwakke onderdelen van zijn prestatie, zodat hij weet hoe hij zich juist op die punten kan verbeteren. 

4. Waarom een rubric?

Een rubric voor docenten

Door veel docenten wordt een rubric vooral gezien als beoordelingsmodel. Verder kan een rubric ook goed gebruikt worden bij het vormgeven van het leerproces. Leg de eisen die aan een opdracht worden gesteld nauwkeurig van tevoren vast in leerdoelen en in de bijbehorende rubric. Dit helpt je bij  het kiezen van lesactiviteiten, het schrijven van instructies bij opdrachten en het vormgeven van gerichte feedback of peer feedback. Hierbij helpt de rubric je om inzicht te krijgen in wat van de leerling verwacht wordt en je houdt zicht op de verschillende aspecten van de aan te leren vaardigheid. Bij het beoordelen biedt de rubric houvast in het beoordelingsproces, doordat hij inzicht geeft in het beheersingsniveau, waardoor hij objectiever kan beoordelen. (Moskal, 2000)


Een rubric voor leerlingen

Voor leerlingen kunnen rubrics het leren ondersteunen. In het onderwijs wordt in dit geval ook wel gesproken over instructional rubrics. Dit zijn rubrics waarin aangegeven wordt op welke aspecten en volgens welke criteria hun prestatie beoordeeld gaan worden. Zo wordt niet alleen duidelijk wat er van hen verwacht wordt, maar ook hoe zij zich kunnen verbeteren. Een leerling ze hierover: “Als je iets niet goed hebt gedaan, kan de docent aantonen dat je had kunnen weten wat er van je verlangd werd” (Marcus, 1995). 

Het is belangrijk leerlingen vanaf het begin te betrekken bij het beoordelingsproces. Door criteria vooraf met leerlingen te bespreken zijn leerlingen beter op hun taak voorbereid en zullen zij beter in staat zijn de opdrachten zelfstandig uit te voeren (Rochford en Borchert, 2011). Het ligt daarom voor de hand om de rubric op te nemen in de instructie voor de leerlingen (Wiggins, 1998).


5. Wat is een holistische rubric?

Er zijn geen speciale holistische rubrics wel kan een rubric holistisch of analytisch gebruikt worden! Bij een holistische aanpak geeft de beoordelaar een overall beoordeling op basis van de rubric. Bij een analytische aanpak wordt ieder criterium gescoord en wordt op basis daarvan een eindbeoordeling gegeven. Een analytische rubric beoordeelt een prestatie afzonderlijk aan de hand van meerdere beoordelingscriteria. Een holistische rubric is erop gericht om een prestatie in één score uit te drukken, door alle onderliggende criteria tegelijkertijd te beoordelen.

6. Wat is het effect van rubrics

Algemeen Pedagogisch Studiecentrum (APS) deed, toen ze nog bestonden, onderzoek naar het effect van rubrics.. Het APS was een toonaangevend onderwijsadviesbureau dat inmiddels niet meer bestaat​. In een samenvattend artikel met de titel  ‘Het mes snijdt aan zes kanten’ vatte het APS de onderzoeken als volgt samen. 

• Een rubric leidt tot een objectievere beoordeling van leerlingenwerk.
• Een rubric biedt houvast bij het nakijken van een product of bij het observeren van het uitvoeren van de vaardigheid.
• Een rubric geeft de mogelijkheid een beoordeling duidelijk naar leerlingen (en ouders) te verantwoorden.
• Meer dan de helft van de leerlingen denkt dat hij of zij een kwalitatief beter werkstuk heeft kunnen produceren door het gebruik van een rubric.
• Alle leerlingen vinden dat door gebruik te maken van een rubric, zij hun tijd effectiever hebben besteed.
• Leerlingen hechten veel waarde aan de houding van de docent ten opzichte van een gegeven opdracht. Als de docent aan de leerlingen laat zien dat hij de opdracht, de wijze waarop deze uitgewerkt wordt en de kwaliteit van de beoordeling belangrijk vindt, gaan de leerlingen hier ook serieus mee om. 
• Leerlingen vinden het prettig als gericht werken tot een hoog cijfer leidt. Dat kan met een rubric.
• Het is niet gebleken dat het nakijken met rubrics sneller gaat. Wel is gebleken dat het nakijken zeker niet langer duurt. De tijd die het kost om een praktische opdracht na te kijken is afhankelijk van de opdracht en van de docent zelf.
• Het ontwikkelen van een rubric kost, zeker de eerste keer, veel tijd, die je echter later vaak ook aan tijd in het onderwijs terugwint. Bovendien zie je de inspanningen vaak terug in de kwaliteit van het werk van de leerlingen.
• Niet vakspecifieke rubrics zijn, al dan niet aangepast, vakoverstijgend toepasbaar, wat de transfer van vaardigheidsonderwijs van het ene naar het andere vak bevordert.

7. Een rubric voor goede rubrics

Om je te helpen om tot een kwalitatief goede rubric te komen ontwikkelde Arter & Chappuis een rubric voor het ontwikkelen en beoordelen van een goede rubric. Deze kun je gebruiken om te checken of een door jouw opgestelde rubric goed is! In 2016 paste Strien & Joosten-ten Brinke deze rubric aan de word versie van deze rubric voor rubrics is te downloaden via de community voor leraren. Je vindt de community via de deze.

	Goed (2 pnt)	Voldoende (1 pnt)	Onvoldoende (0 pnt)
Validiteit
Dekkingsgraad	De inhoud weerspiegelt correct wat er van studenten, realistisch gezien, mag worden verwacht gezien hun niveau en de leerdoelen. De inhoud van de rubric geeft de best mogelijke weergave van wat er nodig is om een goede prestatie te leveren op de vaardigheid of het product dat wordt beoordeeld.	De inhoud weerspiegelt wat er van studenten realistisch gezien mag worden verwacht gezien hun niveau en de leerdoelen, al geldt dit niet voor alle criteria. De inhoud van de rubric geeft grotendeels een goede weergave van wat er nodig is om een goede prestatie te leveren, maar er zijn punten waarop verbetering nodig is.	De inhoud weerspiegelt niet wat er van studenten mag worden verwacht gezien hun niveau en de leerdoelen. De inhoud van de rubric geeft geen goede weergave van wat er nodig is om een goede prestatie te leveren, waardoor niet duidelijk is wat de rubric beoogt te meten.
Prestatieniveau	Studenten mogen verondersteld worden in staat te zijn het hoogste niveau te bereiken op alle criteria. Om elk criterium op ‘voldoende’ niveau te beheersen moeten studenten een acceptabele prestatie laten zien.	Studenten mogen verondersteld worden in staat te zijn het hoogste niveau te bereiken op alle criteria. Op enkele criteria kan met een zwakke prestatie reeds een voldoende of hoger worden behaald.	De eisen die worden gesteld om het hoogste niveau te bereiken zijn onrealistisch en/of studenten kunnen door een zwakke prestatie op meerdere criteria reeds een voldoende of hoger halen.
Kwaliteit van de criteria
Aantal, samenhang, opbouw	De rubric omvat precies het juiste aantal criteria, zodat de complexiteit van de te leveren prestatie wordt weerspiegeld. De criteria kennen een goede samenhang en logische opbouw.	Het aantal criteria vereist enige aanpassing, zoals het opsplitsen van een afzonderlijk criterium in twee aparte criteria, of het samenvoegen van twee criteria. De criteria kennen verder een goede samenhang, maar de opbouw is niet altijd logisch.	De rubric bestaat uit een lange lijst criteria die niet of nauwelijks met elkaar lijken samen te hangen en waarin geen keuzes lijken te zijn gemaakt. De opbouw is niet logisch.
Weging	Het is duidelijk bedoeld is voor formatieve en/of summatieve doeleinden. Indien summatieve doeleinden, dan is in de rubric expliciet aangegeven hoe zwaar elk criterium meetelt, waardoor is af te leiden welke criteria belangrijker zijn dan andere (eventueel in begeleidende tekst). Alle criteria krijgen de nadruk die zij verdienen.	Het is duidelijk of de rubric bedoeld is voor formatieve en/of summatieve doeleinden. Indien summatieve doeleinden, dan is in de rubric weliswaar expliciet (eventueel in begeleidende tekst) aangegeven hoe zwaar elk criterium meetelt en welke criteria belangrijker zijn dan andere, maar sommige criteria krijgen te veel of te weinig nadruk.	Het is niet duidelijk of de rubric bedoeld is voor formatieve en/of summatieve doeleinden. In de rubric wordt niet expliciet (ook niet in begeleidende tekst) aangegeven hoe zwaar elk criterium meetelt en welke criteria belangrijker zijn dan andere. De criteria krijgen hierdoor niet de nadruk die zij verdienen.
Onafhankelijkheid	De criteria zijn onafhankelijk van elkaar, waardoor zij verschillende aspecten meten. Er is geen overlap tussen verschillende indicatoren. Wat hoort bij de ene indicator komt nergens anders terug.	De criteria zijn grotendeels onafhankelijk. Er is enige overlap tussen verschillende indicatoren, maar de rubric is desondanks in staat om verschillende aspecten te meten.	De criteria zijn niet onafhankelijk. Er is veeI overlap tussen verschillende indicatoren. Verschillende indicatoren omvatten hetzelfde, waardoor de criteria niet verschillende aspecten meten.
Onderscheidend vermogen	Het aantal beoordelingsniveaus per criterium is logisch en toereikend. Er zijn voldoende niveaus om adequaat onderscheid te kunnen maken tussen goede en minder goede studenten en om voortgang te kunnen meten.	Het aantal beoordelingsniveaus per criterium is niet overal toereikend om adequaat onderscheid te kunnen maken tussen goede en minder goede studenten en om voortgang te kunnen meten, maar het aantal is redelijk eenvoudig aan te passen door één niveau toe te voegen dan wel twee niveaus samen te voegen.	Het aantal beoordelingsniveaus is veel te groot of juist te klein om zinvol en betrouwbaar onderscheid te kunnen maken tussen studenten. Grote aanpassingen zijn nodig.
Kwaliteit van de indicatoren
Aanwezig	Elk beoordelingsniveau is voorzien van indicatoren.	Niet alle beoordelingsniveaus zijn voorzien van indicatoren.	Geen van de beoordelingsniveaus is voorzien van indicatoren.
Transparantie en parallelliteit	De indicatoren zijn gedetailleerd en concreet genoeg zodat duidelijk is wat de student moet laten zien om een goede prestatie te leveren (ze zijn kwalitatief ipv kwantitatief) en de beoordelaar een juiste beoordeling kan geven. Er is een logische opbouw van indicatoren over de niveaus (parallelliteit).	Er is een poging ondernomen om indicatoren gedetailleerd’ en concreet te formuleren, maar sommige bevatten nog enkele vage beschrijvingen. Ze zijn wel grotendeels kwalitatief (en niet kwantitatief). Er is veelal sprake van parallelliteit, maar bij een aantal criteria is de opbouw niet logisch.	De indicatoren zijn vaag en weinig concreet beschreven, waardoor niet duidelijk wordt wat er van de student wordt verwacht. Of er wordt alleen onderscheid gemaakt tussen beoordelingsniveaus met woorden als ‘zeer’, ‘erg’ en ‘enige’, of ze zijn volledig kwantitatief. De parallelliteit ontbreekt meestal.

Onthoud bij het inzeten van rubrics altijd deze quote:
‘The greatest rubric in the world is worth little if there isn’t a conscientious teacher consistently drawing the students’ attention to it and making achievement of the goals attainable for the students who are willing to work at it’ – Paul Jolly.

‘Heb je vanuit je expertise of ervaring aanvullingen of kritiek op het artikel? Deze input is altijd welkom! Stuur dan een mail naar support@eenmeesterinleren.nl, zodat we informatie toe kunnen voegen of de fout kunnen herstellen!‘

8. Bronnen

American Association of School Librarians and Association for Educational Communications and Technology. 1988. Information power: Guidelines for school library media programs. Chicago: American Library Association.

Arter, J.A., & Chappuis, J. (2006). Creating & recognizing Quality Rubrics. Boston: Pearson.

Biggs, J. B., & Collis, K., F. (1982). Evaluating the Quality of Learning: The SOLO Taxonomy (Structure of the Observed Learning Outcome). New York, New York: Academic press, Inc.245.

Bramley, T. (2008). Mark scheme features associated with different levels of marker agreement. In British Educational Research Association (BERA) Annual Conference. Heriot-Watt University, Edinburgh, UK. Geraadpleegd van https://cerp.aqa.org.uk/sites/default/files/pdf_upload/CERP_RP_APM_24112011.pdf

González, J. (z.d.)Your Rubric Is a Hot Mess; Here’s How to Fix It. Geraadpleegd van http://www.brilliant-insane.com/2014/10/single-point-rubric.html 

Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, 2, 130–144.

Moskal, B.M. (2000). Scoring rubrics: What, when and how? Practical Assessment and Evaluation, 7(3). Verkregen op 20-09-2011 van http://pareonline.net/getvn.asp?v=7&n=3 

Moskal, B.M, & Lydens, J.A. (2000) Scoring rubric development: Validity and reliability. Practical Assessment and Evaluation, 7(10). Verkregen op 20-09-2011 van http://pareonline.net/getvn.asp?v=7&n=10 

Pinot de Moira, A. (2014). Levels-based marking schemes and marking bias. Geraadpleegd van https://cerp.aqa.org.uk/sites/default/files/pdf_upload/CERP_RP_APM_24112011.pdf 

Rochford, L. en Borchert, P.S. (2011). Assessing Higher Level Learning: Developing Rubrics for Case Analysis in Journal of Education for business, 86: 258-265. 

Stellmack, M.A., Konheim-Kalkstein, Y.L., Manor, J.E., Massey, A.R., & Schmitz, J.A.P. (2009). An assessment of reliability and validity of a rubric for grading APA-style introductions. Teaching of Psychology, 36, 102-107.

Strien, J. van, & Joosten-ten Brinke, D. (2016). Het beoordelen van de kwaliteit van rubrics. Examens, februari 2016, nr. 1. Geraadpleegd van https://www.ou.nl/Docs/Faculteiten/Welten/nieuws%202016/Van_Strien_Joosten-ten_Brinke_2016_het_beoordelen_van_de_kwaliteit_van_rubrics.pdf 

Wiggins, Grant, en McTighe, Jay (1998). Understanding by Design. Expanded 2nd Edition. Alexandria, VA: ASCD, 2005.

Wiggins, G. (1998). Educative assessment: Designing assessments to inform and improve student performance. San Francisco, CS: Jossey-Bass. 

Wiggins, G. (2012) Seven Keys to Effective Feedback. In Educational Leadership, September 2012 | Volume 70 | Number 1.