Hoe evalueren ?
Effectmeting heeft de naam moeilijk, tijdrovend, onbetrouwbaar en financieel onverantwoord te zijn. Wij menen dat het meten van leereffecten niet al te veel tijd hoeft te kosten en zichzelf zelfs terug betaalt. Het volstaat om dit 'evalueren' als volgt te organiseren:
Start vanuit doelstellingen
In evaluatie moeten bedrijfsdoelstellingen of POP-doelstellingen als startpunt worden genomen: Start with the End in Mind. Om ervoor te zorgen dat een leeractiviteit echte waarde voor de organisatie of het individu oplevert moet er vanaf de start door de betrokkenen bepaald worden wat de strategische doelstellingen zijn en hoe precies de leeractiviteit moet bijdragen aan de verwezenlijking ervan. Leerdoelen, inhoud en methodieken moeten vervolgens allen worden ontworpen in functie van die strategische doelstellingen.
Kies voor Return on Expectations (ROE)
Het is essentieel om met alle betrokkenen af te spreken wat de verwachtingen zijn ten aanzien van de opleidings- of leerresultaten. Er moeten duidelijke en precieze succesindicatoren worden opgesteld. Evalueren bestaat dan uit een rapportering over de feitelijke veranderingen die zijn ontstaan als gevolg van de leeractiviteiten en na te gaan in welke de mate deze wijzigingen voldoen aan de verwachtingen van de betrokkenen.
Omdat er in Vlaanderen op dit ogenblik geen vraag is naar de ROI van trainingen, hebben we dit (internationaal gewaardeerde) niveau niet opgenomen in onze visie op evalueren. We voorzien wel informatie over dit niveau in de Mediatheek.
Deel de verantwoordelijkheid
Een positieve ROE impliceert gezamenlijke inspanningen.
Leslie Rae heeft het over het Evaluation Quintet. Iedereen betrokken in de evaluatie van leeractiviteit(en) heeft een duidelijke rol en verantwoordelijkheid in de ondersteuning van het leerproces, zowel voor, tijdens als na de leeractiviteit:
- De lerende
Voorafgaand aan een leeractiviteit kunnen deelnemers hun verwachtingen meedelen. Na elke leeractiviteit kunnen ze het leermoment evalueren, waaronder de relevantie en de mogelijkheid om het geleerde op de werkplek toe te passen. In een latere fase wordt hen gevraagd na te gaan in welke mate het geleerde nu effectief werd toegepast.
- De leerbegeleider of trainer
Ook de individuele leerbegeleiders stappen mee in het ROEM-verhaal. Daartoe kennen ze de evaluatiecyclus van ROEM, en refereren ze hiernaar in elke leeractiviteit op zo’n manier dat deelnemers gemotiveerd worden om deel te nemen aan de evaluaties. Leerbegeleiders hebben een belangrijke rol bij het meten van de effecten (bij de deelnemers). En de ontwikkeling en uitvoering van alle noodzakelijke actieplannen. Daartoe moeten zij zicht hebben op de evaluatieresultaten.
- De direct leidinggevende of N+1
Direct leidinggevenden zijn onontbeerlijk om de evaluatie op de hogere niveaus van ROEM uit te voeren. Zij bepalen immers ten eerste hoe effectief het geleerde op de werkplek kan worden toegepast. Zij zijn het ten tweede ook die bepalen welke gedragingen voor verschillende soorten leeractiviteiten wenselijk zijn, in het bijzonder met betrekking tot de beoordeling. Ten derde moeten zij hun mensen stimuleren om deel te nemen aan de evaluaties. Een vierde rol betreft het ondersteunen van het senior management in het creëren van een cultuur waarin evaluatie wordt gezien als routine.
- De L&D-manager of personeelsverantwoordelijke
De L&D-manager moet ervoor zorgen dat de leeractiviteiten plaatsvinden, maar vooral de PDCA-cyclus van ROEM opstellen. De belangrijkste rol is die van facilitator: deze manager dient in de organisatie te communiceren over de resultaten met het senior management, maar evenzeer met direct verantwoordelijken over hoe ze het evaluatieproces kunnen ondersteunen. In ROEM is de opleidingsverantwoordelijke een Learning Organiser.
- Het senior management
Het senior management dient een cultuur te ontwikkelen waar evaluatie wordt gezien als een essentiële activiteit – door bijvoorbeeld direct verantwoordelijken te stimuleren hier aandacht aan te besteden. Het senior management moet op basis van de ROEM-resultaten veranderingen kunnen ‘sturen’. Gezien hun drukke agenda zorgt ROEM voor hapklare resultaten in dashboards.
- De ondernemingsraad
De ondernemingsraad (vanaf 100 werknemers) heeft in België een belangrijke adviserende, informerende en overlegbevoegdheid omtrent arbeidsorganisatie, de arbeidsvoorwaarden en het rendement. De OR heeft een wettelijke rol bij de keuze omtrent beroepsopleiding en –omscholing en de uitvoering van o.a. opleidingsprogramma’s en het opleidingsplan. Omdat ROEM leeractiviteiten wil verbeteren kiezen de leden van de OR graag voor ROEM omdat efficiënt leren veel voordelen heeft voor zowel de organisatie als voor de individuele werknemer zelf.
Evalueer in een ADDIE-model
Evalueren is niet los te zien van de ontwikkeling van leeractiviteiten, doch in te bedden in het brede proces van het ontwikkelen van leermomenten. ADDIE kan je ietwat vergelijken met een PDCA-cyclus. De evaluatieresultaten zijn in deze cyclus een grote hulp bij de opbouw van leercurricula en leerdoelstellingen.
Evalueren doe je niet enkel summatief maar ook formatief: tijdens het voortraject, het uitvoeringstraject én het natraject van leeractiviteiten:
- Evalueren voorafgaand aan de leeractiviteit is:
- een behoeftendetectie uitvoeren. Je vraagt je af of een leeractiviteit wel een oplossing kan zijn.
- leerdoelen opstellen op rekening houdend met de noden van het individu en/of de organisatie.
- evaluatiecriteria voor de effectiviteit en efficiëntie van de leeractiviteit bepalen
- Evalueren bij de uitvoering van de leeractiviteit is:
- de leeraanpak afstemmen op de nood van het individu en/of de organisatie
- de leeromgeving afstemmen op de werkomgeving i.f.v. toepassingsmogelijkheden.
- de leerinhoud afstemmen op de functievereisten en gaat na of die aanvullend is ten opzichte van de reeds aanwezige voorkennis of vaardigheden.
- Evalueren bij de evaluatie van de leeractiviteit is:
- de kwaliteit van de leeractiviteit door de deelnemers laten beoordelen
- de geboekte vooruitgang of verandering meten
- het gebruik van de verworven technieken en/of kennis op de werkvloer nagaan.
- de verandering in de resultaten van de organisatie nagaan.
Geef kansen aan het Nieuwe Leren
Alle leerinspanningen met duidelijke doelstellingen kunnen geëvalueerd worden met ROEM.
Het opleidingslandschap is in volle evolutie. Om future-proof te zijn moet een meetinstrument toepasbaar zijn op alle vormen van het nieuwe leren. Met ROEM kan je elke vorm van leren evalueren.
|