Erfarenheter och lärdomar av UKÄ:s kvalitetsutvärderingar 2011-2014

Rapporten handlar om eventuella effekter som metoden i det förra utvärderingssystemet kan ha haft på utvärderingarnas utfall, framför allt om vissa typer av utbildningar har missgynnats.

Under utvärderingscykeln som pågick 2011-2014 förekom en diskussion om metoden skulle ha missgynnat vissa typer av utbildningar. I rapporten sammanfattas den diskussionen i ett antal frågeställningar.

Rapportens frågeställningar

  • Gav utfallet av utvärderingssystemet en rättvisande bild av kvaliteten på svensk högre utbildning med hänsyn till andelen utbildningar som erhöll omdömet bristande kvalitet?
  • Hur påverkade det starka fokuset på examensarbetet utvärderingen av yrkesexamina? Var metoden allt för inriktad på teoretiska kunskaper och inte praktiska sådana och missgynnade det i så fall utvärderade yrkesexamina?
  • Har utvärderingarnas olika storlekar sett till antalet utbildningar påverkat utfallet? Har en större utvärdering inneburit att mindre tid medges per utbildning, och att de bedömare som gör granskningen inte lika utförligt kunnat diskutera de enskilda utbildningarna?
  • Finns det utbildningar/utbildningsområden som idkar en högre grad av självkritik än andra vilket gör att de i utvärderingssammanhang framstår som sämre när det snarare handlar om olika förhållningssätt och akademiska kulturer?
  • Kan sammanhanget i vilket en utbildning granskas påverka utfallet för den? Kan en avvikare från mängden förbises? Och kan en stor spridning av olika huvudområden i en utvärdering medföra en större utmaning för bedömarna att beakta enskildheter som kan vara av betydelse vid granskningen?
  • Har metoden i utvärderingssystemet 2011-2014 missgynnat tvärvetenskapliga utbildningar (generella examina) genom fokus på fördjupning inom ett begränsat område med för lite hänsyn till deras mer gränsöverskridande karaktär?

Genererella utmaningar

Vår bedömning är att dessa frågeställningar kan betraktas som generella utmaningar vid systematiska granskningar och utvärderingar av utbildningskvalitet. Genomgången av dem i rapporten kan därför vara av intresse såväl för UKÄ vid framtida granskningar, som för lärosäten vid utformning av deras interna kvalitetssystem. I och med att det nya nationella systemet för kvalitetssäkring har ökat fokus på lärosätenas egna kvalitetsarbeten, ser vi det som angeläget att dela med oss av erfarenheter som kan ha betydelse vid lärosätenas vidareutveckling av deras kvalitetssystem.

Nytt system infört med stora förändringar

Den 1 januari 2017 infördes ett nytt nationellt system för kvalitetssäkring. Sammantaget har stora förändringar genomförts, där utformningen av hela det nya systemet kan ses som en reaktion på inriktningen och ambitionen i det förra systemet. Om resultatet och utfallet av granskningarna framöver kommer att diskuteras utifrån liknande frågeställningar, som de som varit utgångspunkt här, eller om det blir andra frågor som blir aktuella får framtiden utvisa. Likaså gäller för hur utfallet kommer att tas emot och om det denna gång kommer att betraktas som mer adekvat i bedömningen och utvecklandet av utbildningskvaliteten. UKÄ kommer att fortsätta att kartlägga, följa upp och analysera metod, utfall och effekter.