Monday, June 3, 2019

Delegationen för korrekta utbetalningar - Del 2. Förordet

Seså, ladda nu ner omfattningsrapporten om "läckaget" från välfärdssystemen så ni hänger med på vad jag snackar om. Länk: https://www.korrektautbetalningar.se/samlad-kunskap/lackaget-i-valfardssystemen-del-1-omfattning-av-felaktiga-utbetalningar-fran-vissa-valfardssystem/

Till att börja med ska vi ta oss ända till förordet! Jag kan ärligt säga att jag tidigare aldrig någonsin sett något intressant stå i ett förord till en offentlig utredning, men i den här texten finns följande avsnitt:


(Alltså: "Brottsförebyggande rådet har avrått från att använda expertbedömningar och menat att det är bättre att avstå från studier av de systemen. Att avstå från dessa studier hade dock inneburit att delegationen inte hade kunnat uppfylla sitt uppdrag att bedöma den totala omfattningen.")

Här behövs lite bakgrund. Vi får reda på två saker: att BRÅ inte vill använda expert elicitation och att utredningskansliet tolkar direktiven som att man måste använda metoden. Detta är inte första gången som BRÅ är kritiska mot expertbedömningar, de har varit kritiska ända sedan metoden plockades upp 2007 och har flera gånger också gett uttryck för denna kritik. Så har det också varit den här gången, där mitt material visar att de återkommande har bett om förtydliganden och motiveringar av metodvalet. Den här gången har de dock inte varit ensamma. Flera andra myndighetsföreträdare från tunga utbetalande myndigheter har varit skeptiska till metodvalet. Vi kommer återkomma till detta lite längre ner. Det finns en generell upplevelse bland människor som varit i kontakt med utredningen att man har motiverat expertuppskattningarna med att man är tvingad av utredningsdirektiven. Om man inte gör expertuppskattningar så fullgör man inte uppdraget som man har fått av regeringen. Så som Österberg uttrycker det så har det alltså inte funnits möjlighet för utredningen att förklara att det inte går att bedöma vissa system då det saknas vettiga metoder för uppdragsgivarna på regeringskansliet. Om denna möjlighet har prövats har jag ingen aning om, det jag dock ser är att det är ett stort problem för utredningsväsendets legitimitet om utredningar måste ta till undermåliga metoder för att fullgöra ett uppdrag.

Hur som helst. Det finns en annan sak här som är än mer intressant, nämligen att BRÅ har sagt att det är bättre att helt skippa att studera vissa system än att göra expertbedömningar. Det är nämligen inte alls den bild som framkommer i kommunikationen mellan BRÅ och utredningskansliet. För det första har jag begärt ut en inlaga som BRÅ:s expert i utredningen har gjort. Denna innehåller förvisso skarp kritik mot metoden, men har framförallt karaktären av en konstruktiv kritik som syftar till att göra expertuppskattningarna så transparenta och bra som möjligt.

För det andra finns en mailväxling mellan utredningskansliet och BRÅ:s före detta generaldirektör som inte heller stämmer överens med skrivningen i förordet. Det som sker i mailväxlingen är att BRÅ vill förhöra sig om metoden mot bakgrund av den kritik som har funnits. Svaren från Österberg och utredningens huvudsekreterare Sara Almer övertygar generaldirektören om att utredningen inte kommer presentera en punktuppskattning av de felaktiga utbetalningarnas omfattning som inte bygger på expert elicitation. Hela mailväxlingen följer nedan:


Datum: fredag 18 jan. 2019 8:51 fm
Ämne: KUT-delegationen

Hej Sven-Erik,

Brå deltar som du vet i delegationens arbete. Jag har fått en föredragning av några spörsmål som gör att jag nu kommer att ta ställning till om Brå ska fortsätta delta eller ej. (Bifogar föredragningspromemorian.)

Innan jag gör det vore det värdefullt att få växla några ord med dig. Finns tillgänglig (NUMMER) idag eftermiddag samt stora delar av måndagen.


Vänliga hälsningar
Erik Wennerström

Generaldirektör/Director-General

---

Från: Sven-Erik Österberg <sven-erik.osterberg@regeringskansliet.se> 2019-01-18 09:49 >>>
Jag är på resa idag ringer dig på måndag

Mvh

Sven Erik Österberg
Skickat med BlackBerry Work


---

Från: Sara Almer <sara.almer@regeringskansliet.se> 2019-02-11 11:02 >>>

Hej Erik!

Tack för bra samtal tidigare idag. Skulle vilja komplettera det vi pratade om med några saker som jag tror kan vara bra för dig att ha med sig när du ska ta ställning till BRÅ:s fortsatta medverkan i delegationen.

Vill först återigen understryka vårt fokus på empiriska studier och att vi har drivit det så långt det har varit möjligt givet myndigheternas resurser och vår tidsram. Det har helt enkelt inte varit möjligt att göra fler empiriska studier inom ramen för delegationens uppdrag. Samtidigt är vårt uppdrag tydligt; vi ska genomföra omfattningsstudier av system med väsentlig risk för fel och göra en bedömning av den totala omfattningen av felaktiga utbetalningar.

För att kunna uttala oss om den totala omfattningen behöver vi komplettera de empiriska studierna med några få expertbedömningar. Det har inte funnits några alternativ till detta, det enda alternativet hade varit att inte göra någonting alls, vilket skulle ha inneburit att vi inte kan uppfylla kravet i direktivet på en total bedömning. Men som sagt expertbedömningarna är komplement till de empiriska studierna och vi kommer att vara mycket tydliga med vad som vilar på empirisk grund och vad som vilar på expertbedömningar. Vår bedömning av den totala nivån kommer att vila på en gedigen empirisk grund i långt större utsträckning än vad som tidigare har gjorts.

Som du känner till består delegationen dessutom både av ledamöter och experter. Vi gör ingen skillnad i det löpande arbetet på ledamöter och experter. Däremot kommer det vara en tydlig skillnad när slutbetänkandet tas fram, ledamöterna ska tillsammans med ordföranden ska skriva under slutbetänkandet, det ska inte experterna göra.

Tveka inte att höra av dig om du har några frågor eller om något är oklart.

Med vänlig hälsning
Sara Almer
Kanslichef
__________________

Delegationen för korrekta utbetalningar (Fi 2016:07)

---

Från: Erik Wennerström <erik.wennerstrom@bra.se>
Ämne: Sv: RE: KUT-delegationen
Datum: 18 mars 2019 13:27:55 CET
Kopia: Björn Borschos <bjorn.borschos@bra.se>


Hej Sven Erik,

Tack för rådet att tala med Sara - efter samtalet med henne känner jag mig övertygad om att det som hade fått Brå att lämna utredningen eller i vart fall tillkännage en ståndpunkt som avviker från den inte kommer att inträffa. Dvs. utredningen kommer inte att tillkännage siffror för totaliteten felaktiga utbetalningar, baserade (till del) på den starkt ifrågasatta metoden expert elicitation.

Skulle situationen såsom jag uppfattat den av Saras beskrivning förändras kan Brå naturligtvis behöva göra nya ställningstaganden. Eftersom jag nu arbetar min näst sista arbetsvecka på Brå, innan jag ger mig av mot Strasbourg, kopierar jag in min ställföreträdare Björn Borschos.

Önskar dig, Sven Erik, och utredningen allt gott för det fortsatta arbetet. 

Vänliga hälsningar

Erik Wennerström

Generaldirektör/Director-General


Med andra ord. I den dokumenterade kommunikationen finns inget som tyder på att BRÅ säger att "ingen metod är bättre än expertuppskattningar". Däremot vill man inte att metoden ska bidra till att utredningen presenterar en siffra på de felaktiga utbetalningarnas omfattning, vilket man också tror sig få garantier för. I mailväxlingen beskriver utredningens huvudsekreterare expertmetoden som ett "komplement" till de empiriska undersökningarna, trots att expertmetoden genererar den största delen av de felaktiga utbetalningar man tror sig hitta. Här har jag så klart försökt få tillgång till dokumentation som stödjer formuleringarna i förordet och inväntar också en kommentar från BRÅ.

Allt detta verkar kanske som att jag uppehåller mig vid detaljer. Så tror jag inte att det är. Det är i sig intressant att utredningen formulerar sig vilseledande på det här sättet. Inte minst eftersom det ger en bild av hur utredningen har avvärjt kritik. Detta är ett återkommande tema i mina intervjuer. Bland ledamöter och experter har det funnits en utbredd kritik och många krav på förtydliganden kring metoden. I förordet förefaller det som att denna kritik, i alla fall från BRÅ, reduceras till att det är bättre att inte göra något alls. Vilket alltså inte verkar stämma. Och sen då med tillägget att man måste ta till metoden för att möta utredningsdirektiven.

Ett annat exempel på kritik mot expertuppskattningar finns i en utredning som Försäkringskassan gjort på begäran av KUT-delegationen. Även om det inte är en publicerad rapport (vilket vi kommer att återkomma till), så finns den diarieförd och går att begära ut (PM 2019i:3).


I rapporten framgår att denna gjorts på begäran av KUT, som sedan valt att inte publicera den. Rapporten är ett försök att tillämpa expertuppskattningar. I slutsatsdelen framförs en syrlig kritik av metodvalet. Man konstaterar bland annat:

- Att Försäkringskassan länge varit tveksam till metoden
- Att det saknas robust data att bygga skattningarna på
- Att detta leder till en risk att enskilda uppgifter kan bli väldigt tongivande
- Att experterna i princip bara har sin egen erfarenhet att utgå från
- Att använda anställda som experter innebär att dessas oberoende kan ifrågasättas

 Bilderna nedan från utredningens slutdiskussion styrker detta:



Det är så klart synd att KUT valt att inte publicera den här rapporten. Inte minst för att spegla den kritik som faktiskt finns mot expertuppskattningar, också inom statsapparaten.