Í febrúar á þessu ári kom út hjá Princeton University Press bók eftir bandaríska sagnfræðinginn Jerry Z. Muller sem heitir The Tyranny of Metrics. Í bókinni gagnrýnir Muller það sem hann kallar mælingaáráttu („metric fixation“) og lýsir ýmsum slæmum afleiðingum þess að láta staðlaðar árangursmælingar koma í staðinn fyrir dómgreind og persónulegt mat byggt á reynslu. Þetta er fremur stutt bók, aðeins 240 síður, en samt efnismikil og mér þykir margt sem þar segir vera orð í tíma töluð.

Í inngangi bókarinnar ræðir Muller nokkur dæmi sem skýra hvers vegna það getur verið varhugavert að láta staðlaðar árangursmælingar hafa áhrif á kjör fólks og úthlutun almannafjár. Eitt dæmið sem hann nefnir er um skurðlækna. Þeir viku sér undan því að sinna sjúklingum sem mjög tvísýnt var um vegna þess að kjör þeirra ultu á tölum um hve stór hluti aðgerða hjá þeim heppnaðist. Útkoman varð sú að þeir sem mest þurftu á læknishjálp að halda áttu erfiðast með að fá hana. Í framhaldi af þessu reifar Muller tilefni skrifa sinna, sem er að nú til dags hafa margir oftrú á gagnsæi, stöðluðu mati og árangurstengingum af ýmsu tagi.

Helstu einkenni þessa þankagangs segir hann (í 1. kafla) vera skoðanir í þá veru að:

a) Betra sé að styðjast við tölulegar upplýsingar og stöðluð samanburðarhæf gögn en mat byggt á persónulegri reynslu;

b) Með því að gera tölulegan samanburð opinberan sé tryggt að stofnanir sinni hlutverki sínu;

c) Besta leiðin til að drífa fólk áfram í vinnu sé að láta kjör þess velta á því hvernig frammi-staða þess mælist.

Muller útilokar ekki að þetta þrennt eigi við í vissum tilvikum þar sem starfsemi hefur aðeins eitt hlutverk og hægt er að mæla hve vel því er sinnt. En stofnanirnar sem hann fjallar mest um – eins og lögregla, spítalar og skólar – hafa í raun mörg hlutverk. Sumt sem þær eiga að gera er hægt að mæla með góðu móti en annað síður.

Umræddur þankagangur verður þá til þess að áherslan færist á það sem mælt er, en hitt fer forgörðum. Einnig gerist það jafnan að þeir sem eiga hagsmuna að gæta nota vit sitt og krafta til að skekkja mælitölur sér í vil í stað þess að sinna skjólstæðingum.

Dæmin sem hann tekur um þetta eru býsna mörg: Sum eru um skóla sem ná betri niðurstöðum úr samræmdum prófum með hreinu og kláru svindli eða með því að fá nemendur, sem eru líklegir til að fá lága einkunn, til að vera fjarverandi á prófdag eða flokka þá sem fatlaða svo þeir séu löglega undanþegnir. Sum eru um lögregluumdæmi sem láta mannslík liggja í yfirgefnum húsum fremur en að hækka tölu óleystra morðmála, eða skrá glæpi rangt til að tölfræðin líti betur út. Muller bendir líka á að árangursmælingar séu í mörgum tilvikum dýr starfsemi og tími og peningar sem fari í þær geti nýst til þarfari verka.

Dæmin sem Muller fjallar um eiga það sameiginlegt að staðfesta lögmál sem stundum er kennt við enska hagfræðinginn Charles A. E. Goodhart (f. 1936) og stundum bandarískan hugsuð sem hét Donald T. Campbell (1916–1996) og fjallaði jöfnum höndum um heimspeki, sálfræði og ýmsar greinar félagsvísinda. Með svolítilli einföldun má segja að þetta lögmál þýði að þegar mæling er notuð sem stjórntæki (til dæmis til að ákvarða laun fólks) verði lítið að marka niðurstöður hennar. Campbell orðaði þetta eitthvað á þá leið að því meira sem mæling af einverju tagi væri notuð við opinberar ákvarðanir, þeim mun meira brengluðust bæði mæligildin og það sem mælt væri.

Auk þess sem Muller sækir fræðilegar undirstöður í skrif Campbells og Goodharts byggir hann að nokkru á því sem Michael Polanyi (1891–1976), Friedrich Hayek (1899–1992) og Michael Oakeshott (1901–1990) rituðu um þekkingu. Þessir þrír íhaldsmenn (sem hann segir frá í 6. kafla) gerðu allir greinarmun á annars vegar almennri vitneskju sem hægt er að setja fram sem kenningar, reglur, töflur og töluleg gögn og hins vegar þekkingu á því einstaka og staðbundna sem menn afla með reynslu og er samofin tilfinningu og skynjun þess sem þekkir sínar heimaslóðir.

Muller tengir rök sín þó ekkert sérstaklega við íhaldssemi í stjórnmálum og bendir á að svipaður greinarmunur hafi líka verið gerður af róttækum hugsuðum eins og James C. Scott (f. 1936). Hann lýsir mælingaáráttunni eins og anga af rökhyggju þar sem einblínt er á þekkingu af fyrrnefndu gerðinni og helftin af því viti sem á þarf að halda er að engu höfð. Að mati Mullers gera þeir sem leggja ofuráherslu á árangursmælingar að mörgu leyti sömu mistökin og einkenndu hagstjórn í Sovétríkjunum sálugu, þar sem reynt var að stjórna öllu með því að setja mælanleg markmið og þvinga fram „árangur“ sem varð í tölum talinn.

Eins og góðum sagnfræðingi sæmir rekur Muller sögu þessarar mælingaáráttu (í 3. kafla) og segir til dæmis frá tilraunum til að tengja opinber framlög til skóla við mældan árangur, sem gerðar voru á Englandi þegar á nítjándu öld. Slík viðleitni reis og hné fram eftir tuttugustu öldinni en í aldarlok náði hún nýjum hæðum með svokallaðri nýskipan í opinberum rekstri (e. new public management) og hefur síst rénað síðan.

Upp úr miðri síðustu öld fékk umrædd árátta stuðning frá viðskiptadeildum háskóla, einkum í Bandaríkjunum, sem tóku að mennta fólk til stjórnunarstarfa óháð viðfangsefnum, þannig að það var allt á eina bókina lært hvort sem menn ætluðu að stjórna spítala eða bílaverksmiðju. Fram að því höfðu, segir Muller, flestir stjórnendur risið innan fyrirtækja og verið treyst fyrir forstjórastöðum vegna þess að þeir höfðu reynslu af vettvangi og höfðu staðið sig vel í vinnu. Þessi hugmynd um forstjórann sem kann bæði að stjórna spítala og bílaverksmiðju, þótt hann hafi hvorki unnið við lækningar né smíði á ökutækjum, byggist á þeirri ofureinföldun á mannlegri þekkingu sem áður er nefnd. Ef hægt væri að fanga alla vitneskju sem máli skipti í skýrslur og formleg matsgögn væri ef til vill hægt að stjórna vel án þess að hafa reynslu af vettvangi.

Eins og margir aðrir fræðimenn hafa fjallað um (t.d. Brien, 1998; Codd, 1999; Fitzgerald; 2009; Lingard, Martino, Rezai-Rashti og Sellar, 2016) hangir eftirlitsiðnaður og oftrú á árangursmælingum iðulega saman við stofnanabundið vantraust. Um þetta fjallar Muller (í 4. kafla) og segir að því minna sem fólk treysti hvert öðru, þeim mun háværari sé krafan um árangursmælingar og skriffinnsku sem þeim fylgir. Úr verður, segir hann, vítahringur þar sem vantraust kallar á eftirlit og eftirlitið elur á vantrausti. Þetta telur hann að sé afar dýrt fyrir samfélagið. Skaðinn segir hann að sé mestur í opinberum kerfum, eins og menntakerfi, þar sem ríkið borgar en ekki neytendur þjónustunnar. Í fyrirtækjum sem selja vöru beint til neytenda eru hins vegar takmörk fyrir því hvað hægt er að eyða miklu í eftirlit og skýrslugerð án þess að framleiðslan verði svo dýr að dragi úr eftirspurn.

Í framhaldi af þessari umræðu um vantraust fjallar Muller um árangurstengingu launa (í 5. kafla) og segir að mörg störf séu svo flókin og uppfylli svo margar þarfir að árangursmælingar nái aðeins utan um hluta af því sem máli skiptir. Ef sérhæfðum starfsmanni er borgað fyrir mæld afköst er til dæmis hætta á að hann verji minni tíma en þarf til að leiðbeina nýliða í starfinu eða styðja vinnufélaga sína með öðrum hætti sem gagnast fyrirtækinu. Sé reynt að bregðast við þessu með flóknara mati og taka allt með í reikninginn sem máli skiptir endar það með því að matið verður of dýrt og umfangsmikið til að borga sig. Í kafla um árangursmælingar í grunn- og framhaldsskólum (8. kafla) vísar Muller líka í rannsóknir sem sýna að námsárangur nemenda í skólum hefur ekki batnað við það að tengja laun kennara við mælingar á hversu vel þeir vinna. Sambærilegar niðurstöður eru líka reifaðar í kafla um heilbrigðiskerfið (9. kafla).

Það efni sem hér hefur verið rakið er mest úr fyrstu sex köflum bókarinnar. Næstu sjö kaflar, sem eru meira en helmingur textans, fjalla hver um sig um eitt svið sem hefur orðið illa fyrir barðinu á mælingaáráttunni: Sá sjöundi um háskóla; áttundi um grunnskóla og framhaldsskóla; níundi um heilbrigðiskerfið; tíundi um löggæslu; ellefti um her; tólfti um fjármálastofnanir og fyrirtæki á markaði; þrettándi um hjálparstarf og alþjóðlegt þróunarstarf. Í stuttu máli er niðurstaða Mullers að lögmálin sem kennd eru við Goodhart og Campbell gildi jafnt á öllum þessum sviðum. Mælingaáraátta og stofnanabundið vantraust auka, segir hann, bæði kostnað við stjórnun og spilla þeim þáttum starfsins sem þjóna almannahag.

Í lokakafla bókarinnar (16. kafla) dregur höfundur efnið saman og segir meðal annars að niðurstöður mælinga verði síður áreiðanlegar þegar mælingin sjálf hefur mikil áhrif það sem mælt er. Þetta á, segir hann, einkum við þegar reynt er að mæla athæfi manna, því fólkið sem mælt er hefur meðvitund og getur brugðist við. Ef umbun og refsing velta á útkomunni munu viðbrögðin valda því að mælingin verður skekkt og miður marktæk.

The Tyranny of Metrics er mikilvæg bók og merkileg. Höfundur horfir yfir vítt svið og ræðir af rökvísi og þekkingu um þankagang sem mótar samfélög, beggja vegna Atlantshafsins, í vaxandi mæli og full þörf er að gjalda varhug við.

Höfundur er heimspekingur og dósent við Menntavísindasvið Háskóla Íslands.

– Bókarýnin birtist í sumarhefti Þjóðmála, 2. tbl. 2018. Nánari heimildarskrá má finna í prentútgáfu blaðsins.