Rubrieken als begeleidings- en beoordelingsinstrument

i.s.m. Nele Simons, Faculteit Ontwerpwetenschappen

Complexe competenties zo objectief en transparant mogelijk beoordelen... het is geen sine cure. Competenties worden doorgaans beschreven als ‘geïntegreerde gehelen van kennis, vaardigheden en attitudes’. Dit betekent dat er ook geïntegreerd beoordeeld moet worden. Klassieke checklists of antwoordsleutels hebben ontegensprekelijk hun waarde, zeker wanneer antwoorden als ‘juist’ of ‘fout’ beoordeeld kunnen worden. Maar, bij geïntegreerde toetsing staan vaak net het oplossingsproces, bepaalde nuances en het totaalbeeld centraal. Daarom gaan docenten steeds vaker aan de slag met rubrieken. Rubrieken zijn geschikt om complexe taken of opdrachten van feedback te voorzien of te beoordelen.

Een rubriek?

Een rubriek is een feedback- en evaluatie-instrument dat meestal de vorm heeft van een vooraf ingevulde matrix. In een kwaliteitscontinuüm wordt voor elk niveau narratief beschreven hoe een prestatie of product er dient uit te zien. Zoals onderstaand voorbeeld laat zien, bestaat een rubriek doorgaans uit:

• evaluatiecriteria gebaseerd op de beoogde competenties (in de linker kolom)
• kwaliteitsgradaties of prestatieniveaus (in de bovenste rij: ‘onvoldoende’, ‘voldoende’,…)
• gedrag- of competentiebeschrijvingen (in de overige cellen)

Vorm van een rubriek

Voorbeelden uit de praktijk?

Hierbij vindt u twee concrete voorbeelden: een rubriek bij het opleidingsonderdeel ‘Wetenschappelijk Rapporteren’ (Opleidings- en Onderwijswetenschappen) en een rubriek bij het opleidingsonderdeel ‘Initiatie Ontwerp’ (1^ste Bachelor Architectuur, faculteit Ontwerpwetenschappen).

Waarvoor gebruiken?

In eerste instantie worden rubrieken geassocieerd met beoordelen op punten (summatief). Verder hebben rubrieken hun waarde bewezen bij het geven van feedback aan studenten (formatief). Tussentijdse feedback met een rubriek staat doorgaans voor meer gedetailleerde en kwalitatieve feedback (in vergelijking met bv. louter cijfers als feedback). Docenten kunnen door het opeenvolgende gebruik van rubrieken de leerprogressie van de studenten vaststellen en zichtbaar maken.

Wanneer inzetten?

Rubrieken helpen docenten(teams) bij aanvang om hun verwachtingen expliciet te maken en het onderwijs gerichter te maken. Ook tijdens de les of bij opdrachten kunnen rubrieken ingezet worden. Studenten gaan dan zelf oplijsten waaraan een paper of presentatie moet voldoen om zo vertrouwd te worden met de kenmerken en verwachtingen (van bv. academische teksten of het overbrengen van een boodschap aan verschillende doelgroepen). Verder kunnen rubrieken ook ingezet worden bij peer feedback of assessment (mits de nodige duiding/oefening; cf. ECHO-tip 2017: Naar betrouwbaar peer assessment). Zo kunnen studenten zich vertrouwd maken met wat verwacht wordt en hoe ze beoordeeld worden. Ten slotte, lenen rubrieken zich ook goed om feedback na een examen te geven (of als nodig, ter verantwoording).

Bovendien is het mogelijk om binnen Blackboard een rubriek digitaalte maken en in de cellen feedback aan de studenten te noteren per categorie of criterium (zie handleiding incl. voorbeeld).

Hoe aan de slag?

Het werken met rubrieken vraagt een intensieve voorbereiding. In deze handleiding over werken met rubrieken  (van de faculteit Ontwerpwetenschappen) wordt u stapsgewijs meegenomen in het ontwikkelproces.

Als u of uw voorganger(s) al met een gelijkaardige opdracht werkten:

• dan kunt u bij het opstellen van de rubriek starten van voorgaande representatieve werken van studenten met verschillende prestatieniveaus om de rubriek in te vullen.
• vervolgens neemt u er de twijfelgevallen bij die moeilijker te beoordelen waren en kunt u gaan verfijnen.
• vaak wordt ook gestart van de uitgeschreven feedback (als die voorhanden is) die voorheen gegeven werd.

Dit proces van aftoetsen (en de twijfelgevallen ernaast leggen) wordt als mogelijk met mededocenten doorlopen, en na afloop van het vak telkens hernomen als validering van de rubriek.

Hoe gedetailleerd moet de rubriek zijn?

Een belangrijk spanningsveld bij het werken met rubrieken is enerzijds de behoefte aan houvast en structuur, en anderzijds aan creatieve of academische vrijheid. Het is een blijvende evenwichtsoefening tussen gedetailleerde beschrijvingen (om te zorgen voor consistentie tussen beoordelingen van docenten), versus té gedetailleerde beschrijvingen.

• Een richting-aangever is de volgende: het aantal niveaus is groot genoeg om effectief te zijn, en klein genoeg om betrouwbaar en werkbaar te zijn.
• Houd de beschrijvingen in de rubriek voldoende beknopt: elk niveau sluit het vorige in, alleen wat er nieuw bij komt wordt beschreven.
• Rubrieken spreken niet voor zichzelf. Verduidelijk met de studenten de verschillende criteria en prestatieniveaus: “Rubrics are not entirely self-explanatory. Students need help in understanding rubrics and their use” (Andrade, 2005, p. 29).

Hoe uiteindelijk tot een punt komen?

Hoewel de kwalitatieve feedback de essentie is van het beoordelen met rubrieken, moet er in veel gevallen toch ook tot een punt gekomen worden. De scoringstrategie bij rubrieken kan verschillende vormen aannemen. Er kan voor een meer analytische of net holistische benadering gekozen worden. Bij een analytische benadering wordt ‘automatisch’ een score berekend op basis van de punten en wegingen die toegekend zijn aan de verschillende criteria en prestatieniveaus.

• Verschillende prestatieniveaus kunnen gekoppeld worden aan puntenmarges (bv. voldoende = 10, goed = 13; of voldoende = 10-14, goed = 14-18) om vervolgens te gaan differentiëren.
• Als bepaalde criteria belangrijker zijn, kan er een zwaarder gewicht aan toegekend worden.
• Hoe meer kwaliteitsgradaties (cf. supra: bovenste rij), hoe meer nuance er aangebracht kan worden in een punt, maar hoe moeilijker het wordt om de rubrieken onderscheidend te beschrijven.

Een valkuil bij rubrieken is dat ze uitmonden is té analytische instrumenten wat leidt tot fragmentatie en ingaat tegen de opzet van geïntegreerd beoordelen. Ze kunnen zo leiden tot cijfers die niet meer passen bij het globale beeld dat een docent van een opdracht heeft. Andere, meer holistische manieren om tot een punt te komen:

• De examinator geeft het eindoordeel na de automatisch berekende score gezien te hebben. Op deze manier is er toch ruimte voor beoordeling van aspecten die niet goed door de rubriek afgedekt zijn. Indien de examinator afwijkt, schrijft hij een toelichting.
• Ten slotte is het mogelijk om überhaupt geen totaalscore te berekenen. De examinator geeft als vanouds een holistisch eindoordeel, maar wel na de deelwaarderingen in de rubriek omcirkeld te hebben (zie voorbeeld). Zo is de rubriek meer een hulpmiddel dan een voorschrift.

Meer weten?

Tijdens een ECHO lunchvergadering lichtte de opleiding Opleidings- en Onderwijswetenschappen hun ervaringen als docententeam met het werken met rubrieken toe.

Van Petegem, P. (Ed.) (2009). Praktijkboek activerend hoger onderwijs. Leuven: LannooCampus.

De handleiding ‘Werken met rubrieken’ van de faculteit Ontwerpwetenschappen.  

Andrade, H. G. (2005). Teaching With Rubrics: The Good, the Bad, and the Ugly. College Teaching, 53(1), 27-31.

Huisman, W. (2015). Richten en toetsen met rubrics. Radboud Universiteit.

Reddy, Y. M. & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448.

van den Berg, B.A.M., van de Rijt, B.A.M., & Prinzie, P. (2014). Beoordelen van academische schrijfvaardigheden met digitale rubrics. Onderzoek van Onderwijs, 43, 6-14.

Van Petegem, P., & Vanhoof, J. (2002) Evaluatie op de testbank. Een handboek voor het ontwikkelen van alternatieve evaluatievormen. Mechelen: Wolters Plantyn.

_{(Onderwijstip september 2017)}

​Read this tip in English​