Vett og uvett i kunnskapsbasert utvikling og styring

Offentlige virksomheter bruker årlig milliarder på rapporteringer, evalueringer, utredninger og andre former for kunnskapsinnhenting. Kunnskap er et viktig grunnlag for læring, utvikling, forbedring og styring. Men i hvilken grad greier virksomhetene å nyttiggjøre seg denne kunnskapen for å levere på sitt samfunnsoppdrag? Ida Gram har arbeidet med evalueringer og utredninger siden 2008 og har gjort seg noen tanker om hvor forbedringspotensialet ligger.

Footstep’er Ida Gram har sin spisskompetanse innenfor analyse, utredning og evaluering. I dag jobber hun med prosjektstøtte i Kulturdepartementet. Ida har mer enn 10 års erfaring som konsulent og leder i Rambøll Management Consulting, hvor hun har hatt resultat- og personalansvar for ulike konsulentteam, og ledet mange prosjekter på oppdrag for offentlige virksomheter, kommuner og organisasjoner.

Min erfaring er at mange virksomheter sliter med å få på plass et system for å samle inn og bruke informasjon og data til styrings- og utviklingsformål. Det er ofte uklart hva man spør om og hvorfor en spør om det. I tillegg mangler det systemstøtte for å lagre og prosessere informasjonen. Mye innrapportert data brukes ikke, noe som kan skape misnøye og i verste fall mistillit. Andre virksomheter har kanskje systemunderstøttelse, men mangler intern kompetanse og kapasitet til å nyttiggjøre seg av informasjonen som samles inn. 

Noen virksomheter har nok i for stor grad også hvilt seg på eksterne konsulenter, og det er ikke levedyktig på sikt. Konsulentenes funksjon skal jo være å utvikle og overføre denne kompetansen til oppdragsgiverne sine, ikke dra teppet vekk når oppdraget er ferdig! Men det er viktig å si at virksomheter som NAV og Skatt har lagt vekt på å bygge opp gode analysemiljøer selv, og  de greier å tiltrekke seg flinke folk som videreutvikler og forbedrer virksomheten.

Mange virksomheter hadde tjent på å skaffe seg bedre oversikt over hvilke data, informasjon og kunnskap de faktisk sitter på.

Evaluering skaper innsikt

Jeg har først og fremst arbeidet med evaluerings- og utredningsoppdrag, i hovedsak for offentlig virksomhet. Og det jeg har erfart, er at det bestilles veldig mange evalueringer og utredninger. Det er på mange måter et sunnhetstegn. Det er viktig og riktig å undersøke om tiltak og innsats faktisk bidrar til ønsket endring. Men det som er min kjepphest når det gjelder kunder, er at de må tenke grundig gjennom hva de skal bruke, for eksempel, en evaluering til.

Det er mange årsaker til at virksomheter gjennomfører en evaluering. Som regel er det et hovedanliggende å si noe om i hvilken grad målene for et prosjekt eller program er nådd, og om implementeringen eller gjennomføringen er hensiktsmessig sett i lys av hva man prøver å oppnå. Andre ganger er evalueringen utløst av konkrete behov i en virksomhet eller som følge av stor politisk eller offentlig oppmerksomhet. Det kan for eksempel være en omorganisering som ikke blir helt som man hadde tenkt, eller at det er satt i gang et nytt tiltak som man lurer på effekten av. I staten har man også utredningsinstruksen som stiller krav til at visse ordninger skal evalueres regelmessig.

Når man skal gjennomføre en evaluering, kommer gjerne evaluator med forslag til metodisk tilnærming og prosess for gjennomføring. Basert på beste foreliggende kunnskap, både eksisterende og ny, utledes så forslag til hva som kan eller bør gjøres for å bedre måloppnåelsen. Det kan eksempelvis være at implementeringstakten bør justeres, praksiser endres, målformuleringer konkretiseres, eller kanskje noe bør nedskaleres eller velges bort. 

I evalueringer ligger det også ofte et verdiaspekt og et læringsaspekt – og dette er viktig: Er programmet eller tiltaket hensiktsmessig eller «rett medisin» for å oppnå det man ønsker? Er ambisjonen god – men strategien for å komme dit feilslått? Har virksomheten gode endringsagenter og får de som skal utføre endringen nødvendig hjelp og støtte underveis? 

I Norge er vi veldig opptatt av lokal handlefrihet og profesjonell autonomi. Det er mye bra med det. Det er for eksempel viktig å tilpasse tiltak og innsatser til lokale forutsetninger og behov for å øke treffsikkerhet og sikre forankring og legitimitet. Men det kan også medføre at de som er målet for tiltaket, tjenestemottaker eller -bruker, ikke får samme tilbud eller ikke et likeverdig tilbud. Det er alvorlig og typisk noe en evaluering skal belyse.

Resultater og virkninger og effekter

Mange oppdragsgivere er opptatt av «effekter» og at evalueringer skal si noe om hvorvidt det aktuelle tiltaket har bidratt til sterkere skoleprestasjoner, bedre helsetilstand, økt livskvalitet også videre. Men «effekter» er et stort ord som har fokus på noe som ligger langt der fremme, og som jeg nødig tar i min munn. Da er det bedre å snakke om konkrete resultater. Det er viktig å tenke grundig gjennom hva en vil ha ut av en evaluering og hva en skal bruke evalueringsresultatet til. Det er også viktig å sette av nok ressurser til å følge et program eller tiltak over noe tid for å se om en kommer dit en vil. Det handler om penger, helt klart, men det handler også om at oppdragsgiver har kapasitet til å følge opp og til å gi ting tid til å virke. Min erfaring – selv om det nok har blitt bedre – er at mange vil vite om virkningene av litt for mye, på litt for kort tid, og med litt for lite midler. Og uten at evalueringen er særlig godt forankret blant dem som kanskje skal bruke resultatene av den – slik som byråkrater og virksomhetsledere – og dem som blir «utsatt» for evalueringen, altså informanter og respondenter fra tjenesteyter- og tjenestemottakersiden. Det finnes også noen skrekkeksempler på politisk overstyring og avbestilling av evalueringer, hvor ryktet går om at resultatene ikke er som ønsket og en derfor avblåser hele greia. Jeg har ikke opplevd det ofte, men det forekommer. Og det er også noe oppdragsgiver bør ta en risikovurdering av. Hva om evalueringen viser at resultatene ble stikk motsatt av det en ønsket å oppnå? Hva med negative uintenderte effekter av innsatsen? Har organisasjonen et apparat for å håndtere det?

Men alt i alt vil jeg si at oppdragsgivere har blitt skarpere og bedre bestillere. Det sitter mye kompetanse rundt omkring og mange oppdragsgivere som selv har erfaring fra forskning og utredning og andre former for kunnskapsinnhenting, med øye for behovet for å balansere hensyn til pris, tid og kvalitet. Og for å plukke opp tråden fra innledningen – det er ikke slik at det offentlige nødvendigvis skal bruke mindre ressurser på kunnskapsinnhenting. Det vesentlige er at ressursene brukes på en fornuftig måte som faktisk gir innsikt og skaper verdi.

Du er kanskje også interessert i: