Material från seminarier om förstudien till metodutvecklingsarbetet

Den 11 och 20 maj genomfördes två seminarier där arbetet med förstudien till metodutvecklingsarbetet presenterades.

Förstudien ska resultera i förslag på inriktning för det kommande metodutvecklingsarbetet och syftet med seminarierna var att ge en lägesrapport och möjlighet till inspel.

Seminarierna riktade sig i första hand till personer som arbetar övergripande med kvalitetsfrågor på lärosätena och till SFS, men det var öppet för alla intresserade att delta. Syftet med att ge seminariet vid två tillfällen var för att möjliggöra ett brett deltagande. Vid det första tillfället deltog 65 personer och vid det andra var det 108 deltagare.

Ta del av material från seminarierna

Länk till pdf: Presentation från seminarierna. Pdf, 1.2 MB.

Länk till pdf: Alla frågor och synpunkter inskickade via Menti. Pdf, 8.1 MB.

Under seminariet ställdes ett antal frågor, som besvarades både i gruppdiskussioner och enskilt.

Gruppdiskussion 1: Vilka är era reflektioner kring det som hittills har presenterats? Är det något ni vill lägga till?

Gruppdiskussion 2: Vilka är era erfarenheter och tankar kring de nationella kvalitetssäkringsaktiviteterna och lärosätestillsynen? På vilket sätt ska UKÄ:s granskningar vara utformade för att på bästa sätt komplettera ditt lärosätes systematiska kvalitetsarbete?

Avslutande fråga: Hur utformar UKÄ den fortsatta dialogen med er? Vilka övriga på lärosätet kan UKÄ behöva ha en dialog med och hur?

Tematisk sammanfattning av synpunkter

Under seminarierna skickades många synpunkter in från diskussionerna. Här är några teman som sammanfattar dem:

Flexibilitet

  • positiv inställning till att öka anpassningen av granskningar utifrån lärosätens olika förutsättningar som t.ex. storlek och profil. Det kom även förslag på hur flexibiliteten skulle kunna utformas t.ex. genom att lärosätet själv kan välja något område som ska granskas.
  • Flexibiliteten problematiserades också i relation till ett annat område som lyftes av många deltagare, likvärdighet och jämförbarhet, men där flexibilitet och det faktum att högskolesystemet är decentraliserat talar för att jämförbarheten bör tonas ned. Här finns dock tydligt delade åsikter.

Likvärdighet, jämförbarhet och kollegial granskning

  • Frågan om likvärdiga bedömningar lyfts av många deltagare, Flera uttrycker att det är ett problem att det inte går att förstå skillnader i utfall när man jämför olika yttranden.
  • Men som nämns under punkten om flexibilitet nämner några att det är viktigare att fokusera på lärosätenas olika förutsättningar än att jämföra bedömningar.
  • Förslag om att se över rollfördelningen mellan UKÄ och bedömargruppen, dvs huruvida UKÄ ska inta en mer uttalad roll i utformning av yttrande.

Roller, nytta och ansvarsfördelning

  • Många trycker på att fokus bör bli mer utvecklingsorienterat och stödjande. Lärosätenas system för kvalitetssäkring bör vara på plats. Nästa steg handlar om att utveckla vissa delar av systemet.
  • Bra med ökat fokus på evidens och att lärosätena kan visa att uppföljningar och utvärderingar har genomförts och lett till resultat. Det är viktigt att finna en bra balans mellan tillit i systemet och krav på belägg/evidens.
  • Ansvarsfördelningen mellan UKÄ och lärosätena kan bli tydligare, och tilltron till lärosätenas eget ansvarstagande kan stärkas och tydliggöras.

De olika granskningsaktiviteterna

  • Det kom in många olika synpunkter på de olika granskningsaktiviteterna, hur de kan relatera till varandra, hur de kan utvecklas och hur de kan balanseras i relation till varandra.
  • Flera föreslår att lärosätesgranskningarna ”slimmas”. Det finns också förslag på hur utbildningsutvärderingar och lärosätesgranskningar kan kopplas till varandra.
  • Flera synpunkter rör integreringen av kvalitetssäkring av forskning, en del förespråkar att kvalitetssäkring forskning och utbildning bör integreras mer med varandra, andra att de bör särskiljas från varandra.
  • Att se över de olika granskningsaktiviteterna, vad som granskas inom var och en, hur bedömningsområden och bedömningsgrunder formuleras för att minska överlapp, öka tydligheten och minska detaljeringsgraden är områden som många pekar på i sina kommentarer.

Granskningsprocessen

  • stor samsyn att arbetsinsatsen i granskningarna behöver ses över.
  • Förutsägbarhet och goda planeringsförutsättningar lyfts av många, bland annat i relation till ökad flexibilitet.
  • Självvärderingarnas utformning, nytta och roll i granskningarna tar flera upp och har tankar om att de kan utvecklas.
  • Det uttrycks en oro för stora förändringar och att det kommer att innebära merarbete för lärosätena.

Den juridiska lärosätestillsynen och kvalitetssäkring

  • Kopplingen mellan den juridiska lärosätestillsynen och lärosätesgranskningarna upplevs inte alltid som tydlig och flera uttrycker att det finns överlapp som skapar onödigt merarbete.
  • Balansen mellan lag och ESG är viktig som kvalitetsdrivande incitament till sektorn. Viktigt att den juridiska tillsynen och kvalitetsgranskning är tydligt sammankopplad.

Dialog

  • Kortare, webbaserade tillfällen uppskattas av många, men dialog IRL efterlystes också.
  • Viktigt att UKÄ ser till att få in en bredd av synpunkter, från olika lärosäten och från olika grupper på lärosätena.
  • UKÄ får inte glömma att fördjupa dialogen med studentkårerna.

Frågor och svar från seminarierna 11 och 20 maj

Under seminarierna inkom också ett antal frågor. De presenteras med tillhörande svar här nedan.

1. Fråga: Hur förhåller sig åtgärdsredovisning av lärosätesgranskning till nästkommande cykler av lärosätesgranskningar? Det är viktigt att tänka till om detta tidsmässigt.

Svar: Vi har tolkat frågan som att den handlar om hur tidsplaneringen framåt tar hänsyn till åtgärdsredovisningar och uppföljningar från cykeln 2017-2022, som inte hunnit genomföras fram till och med 2022. Att planera tidsmässigt för kommande granskningar blir en del av metodutvecklingsarbetet, och i den planeringen kommer vi ta hänsyn till exempelvis uppföljningar som återstår.

2. Fråga: Borde det inte vara bättre att kalla det för tematisk ANALYS istället för utvärdering?

Svar: Tematisk analys och tematisk utvärdering är två delvis olika saker. Att se över hur UKÄ arbetar med tematiska analyser och tematiska utvärderingar blir en fråga för det fortsatta metodutvecklingsarbetet.

Tematisk utvärdering är en av fyra granskningar som UKÄ har i uppdrag av regeringen att genomföra. Syftet är att bidra med viktig kunskap och nationella jämförelser av hur lärosätena arbetar, och av vilka resultat som har nåtts i det aktuella temat. Att genomföra tematiska analyser finns med i ESG som en standard (3.4) för kvalitetssäkringsorganisationers arbete med kvalitetssäkring. Standarden i ESG säger att ”Kvalitetssäkringsorganen publicerar regelbundet rapporter som beskriver och analyserar generella observationer som framkommit under de externa kvalitetssäkringsaktiviteterna”.

3. Fråga: UKÄ tar ansvar för ESG 1:10 eller hur? Och vi på lärosätena tar hand om övriga 9.

4. Fråga: Om lärosätena försöker komplettera UKÄ:s utbildningsutvärderingar med egna i en sexårscykel så behöver det finnas en viss förutsägbarhet. Vad händer när UKÄ ändrar fokus där lärosätena räknat med en full utvärdering?

Svar: I rapporten Nationellt system för kvalitetssäkring av högre utbildning. Redovisning av ett regeringsuppdrag (UKÄ, Rapport 2016:15) skriver vi att ”Standard 1.10 i ESG slår fast att lärosätena återkommande bör genomgå extern granskning. UKÄ:s ståndpunkt är att denna del motsvaras av de granskningar som UKÄ genomför.”

UKÄ:s mål är att de utvärderingar som genomförs ska vara så ändamålsenliga som möjligt, och komplettera det interna kvalitetsarbete som lärosätena har ansvar att bedriva (ESG standard 1.9). De förändringar som eventuellt görs syftar till att, i dialog med sektorn, fokusera utvärderingarna där de gör mest nytta.

5. Fråga: Kommer erfarenheter hittills att påverka sista omgången i nuvarande cykel?

Svar: Förutom de revideringar som vi genomfört i vägledningen för granskning av lärosätenas kvalitetssäkringsarbete avseende forskning, baserat på erfarenheterna i piloten, kommer vi inte att genomföra några förändringar i lärosätesgranskningarna i omgångarna som är kvar i nuvarande cykel.
Läs mer om den reviderade vägledningen för granskning av lärosätenas kvalitetssäkringsarbete avseende forskning.

6. Fråga: Kommer det i kommande LSG finnas krav på att kvalitetssystemen för forskning respektive utbildning är uppbyggda på samma sätt?

Svar: Ett nationellt system som beaktar det enskilda lärosätets särskilda förutsättningar var en viktig utgångspunkt när nuvarande system utvecklades. Möjligheterna för lärosätena att anpassa sina interna kvalitetssystem utifrån sina egna behov och förutsättningar kommer även fortsättningsvis att vara en viktig utgångspunkt.

7. Fråga: Systemets komponenter - reflektioner kring om det ska kvarstå vid dessa fyra?

8. Fråga: Hur ska ni göra med utbildningsutvärderingarna? Ska de finnas kvar nu när kvalitetssäkringssystemet utvärderas.

Svar: Vi utgår från UKÄs instruktion och att dessa fyra granskningsaktiviteter kommer att utföras även efter 2022. Däremot kommer vi titta på syften och genomförande av aktiviteterna samt vilken roll de har i relation till helheten. Det innebär att utbildningsutvärderingarna kommer att finnas kvar, men att vi ser över deras roll i systemet.

9. Fråga: Hur resonerar UKÄ kring avvägningen mellan kollegial granskning och likvärdighet i bedömningen samt tydlighet i hur bedömningsgrunder ska tolkas?

Svar: Detta är en fråga som vi behöver diskutera vidare. Alla tre aspekterna är viktiga och vi bör alltid sträva efter så stor tydlighet som möjligt. När det gäller kollegial granskning och likvärdighet så bör den frågan sättas i relation till syftet med respektive granskningsaktivitet i systemet.

10. Fråga: Om det är 8 rättsliga områden som skall granskas inom den nya formen av juridisk lärosätestillsyn, kommer vissa göras tillsammans? Eller blir cykeln 8 årig?

Svar: Utgångspunkten är att ett rättsligt område granskas under ett år. Vilka de rättsliga områdena blir återstår att se. Vi planerar dock inte att granska samtliga nu aktuella åtta områden under en 8-årsperiod (cykel).