#tilastotiede

Näin taloustieteen tutkimuksissa valehdellaan pokerinaamalla

Viime vuonna uusi tutkimus vihreistä innovaatioista ja patenteista 27 maassa sai erään lukijan hämmästymään. Tulokset eivät olleet yllätys. Hämmentävää oli se, miten tekijät, kaksi eurooppalaista taloustieteen professoria, olivat ylipäätään tehneet tutkimuksen.

Lukija, taloustieteen tohtoriopiskelija, työskenteli samojen tietojen parissa, jotka on kuvattu artikkelissa. Hän tiesi, että niissä oli aukkoja — joskus isoja: Useista maista puuttui kokonaan havaintoja joistakin tutkimuksessa seuratuista muuttujista. Kirjoittajat eivät maininneet, miten he olivat ratkaisseet tämän ongelman. Päinvastoin, he kirjoittivat, että heillä oli ”tasapainotetut paneeliaineistot”, mikä taloustieteellisessä kielenkäytössä tarkoittaa aineistoa, jossa ei ole aukkoja.

”Olin tyrmistynyt viikon ajan”, sanoi opiskelija, joka pyysi pysymään nimettömänä, koska pelkäsi uransa vahingoittuvan. (Hänen henkilöllisyytensä on Retraction Watchin tiedossa.)

Opiskelija kirjoitti kohteliaan sähköpostiviestin artikkelin ensimmäiselle kirjoittajalle, Ruotsin Jönköpingin yliopiston taloustieteen professorille Almas Heshmatille, ja kysyi, miten hän käsitteli puuttuvia tietoja.

Retraction Watchin näkemässä sähköpostikirjeenvaihdossa ja sitä seuranneessa Zoom-puhelussa Heshmati kertoi opiskelijalle, että hän oli käyttänyt Excelin automaattista täyttötoimintoa tietojen korjaamiseen. Hän oli merkinnyt kahdesta neljään havaintoa ennen tai jälkeen puuttuvien arvojen ja vetänyt valittuja soluja alas- tai ylöspäin tapauksesta riippuen. Ohjelma täytti sitten tyhjät kohdat. Jos uudet luvut muuttuivat negatiivisiksi, Heshmati korvasi ne viimeisellä positiivisella arvolla, jonka Excel oli sylkenyt ulos.

Opiskelija oli järkyttynyt. Puuttuvien havaintojen korvaaminen korvaavilla arvoilla — operaatio tunnetaan tilastotieteessä nimellä imputointi — on yleinen mutta kiistanalainen tekniikka taloustieteessä, joka mahdollistaa tietyntyyppisten analyysien tekemisen epätäydellisille tiedoille. Tutkijoilla on vakiintuneita menetelmiä tätä käytäntöä varten; kullakin on omat haittapuolensa, jotka vaikuttavat siihen, miten tuloksia tulkitaan. Opiskelijan tietojen mukaan Excelin automaattinen täyttötoiminto ei kuulunut näihin menetelmiin, varsinkaan silloin, kun sitä sovellettiin sattumanvaraisesti ilman selkeitä perusteluja.

Mutta tilanne paheni. Heshmatin tiedot, jotka opiskelija suostutteli hänet jakamaan, osoittivat, että useissa tapauksissa, joissa ei ollut havaintoja, joita olisi voitu käyttää automaattisessa täyttötoiminnossa, professori oli ottanut arvot taulukkolaskentataulukon viereisestä maasta. Uuden-Seelannin tiedot oli esimerkiksi kopioitu Alankomaista ja Yhdysvaltojen tiedot Yhdistyneestä kuningaskunnasta.

Tällä tavoin Heshmati oli täyttänyt tuhansia tyhjiä soluja — reilusti yli kymmenesosan — mukaan lukien puuttuvat arvot tutkimuksen tulosmuuttujista. Taulukossa, jossa luetellaan tutkimuksen 25 muuttujan kuvailevat tilastot, viitataan ”783 havaintoon” kustakin muuttujasta, mutta siinä ei mainita, että monet näistä ”havainnoista” olivat itse asiassa imputointeja.

”Tämä kaveri, hän imputoi kaiken”, opiskelija sanoi. ”Hän on professori, hänen pitäisi tietää, että jos teet niin paljon imputointia, niin tietosi ovat täysin väärennettyjä.”

Muut asiantuntijat toistivat opiskelijan huolen, kun heille kerrottiin paperin taustalla olevista Excel-operaatioista.

”Se kuulostaa melko kauhealta”, sanoi Andrew Harvey, ekonometrian professori Cambridgen yliopistosta Englannista. ”Jos tällä tavalla täytetään paljon datapisteitä, se mitätöi monet tilastot ja niihin liittyvät testit. On olemassa keinoja käsitellä näitä ongelmia oikein, mutta ne vaativat jonkin verran työtä.

”Datan interpolointi on huono käytäntö, mutta monet ihmiset tekevät sitä, eikä se ole epärehellistä, kunhan se mainitaan”, Harvey lisäsi. ”Toinen kohta, joka koskee datan kopioimista maasta toiseen, kuulostaa paljon pahemmalta.”

Søren Johansen, ekonometrikko ja Kööpenhaminan yliopiston emeritusprofessori Tanskassa, luonnehti Heshmatin toimintaa ”huijaamiseksi”.

”Syy siihen, että se on huijaamista, ei ole se, että hän on tehnyt sen, vaan se, että hän ei ole kertonut siitä”, Johansen sanoi. ”Se on aika törkeää.”

Tutkimus ”Green innovations and patents in OECD countries” julkaistiin Elsevierin arvostetussa Journal of Cleaner Production –julkaisussa. Clarivate’s Web of Science -palvelun mukaan siihen on viitattu vain kerran.

Kumpikaan, ei kustantaja eikä lehden päätoimittajat, joille opiskelija sanoi ilmoittaneensa huolestuneisuudestaan, ei ole vastannut kommenttipyyntöihimme.

Heshmatin toinen kirjoittaja, brittiläisen Lancasterin yliopiston taloustieteen professori Mike Tsionas kuoli hiljattain. Kansainvälinen rahoitus- ja pankkialan järjestö International Finance and Banking Society kehui tammikuussa LinkedInissä julkaistussa muistokirjoituksessaan Tsionasia ”todelliseksi ekonometrian alan valopilkuksi”.

Retraction Watchille lähettämissään sähköpostiviesteissä Heshmati, joka paperin mukaan vastasi tietojen kuratoinnista, sanoi ensin, että Tsionas oli ollut tietoinen siitä, miten Heshmati käsitteli puuttuvia tietoja.

”Jos emme käytä imputointia, tällaiset tiedot ovat lähes hyödyttömiä”, Heshmati sanoi. Hän lisäsi, että artikkelin kuvaus tiedoista ”tasapainoisina” viittasi ”lopullisiin tietoihin” eli korjattuihin tietoihin.

Viitaten syytökseen Heshmati kirjoitti myöhemmin lähettämässään sähköpostissa:

Menettely on tietenkin tunnustettava ja selitettävä. Olen tahattomasti jättänyt selittämättä imputointimenettelyn aineisto-osassa kirjoitusvaiheessa. Olen täysin vastuussa imputoinneista ja olen jättänyt sen mainitsematta.

Hän lisäsi, että kun tohtoriopiskelija lähestyi häntä:

Tarjosin hänelle zoom-kokousta selittääkseni hänelle menettelyn ja annoin hänelle jopa tiedot. Jos minulla olisi muita aikomuksia enkä uskoisi imputointimenetelmääni, en jakaisi tietoja hänen kanssaan. Jos minun olisi pitänyt aloittaa alusta, olisin hallinnoinut tietoja samalla tavalla, koska vaihtoehto olisi merkinnyt useiden maiden ja vuosien jättämistä pois.

Kalifornian Claremontissa sijaitsevan Pomona Collegen taloustieteen professori Gary Smith sanoi, että tietojen kopiointi maiden välillä on ”enemmän kuin huolestuttavaa”. Hän tarkasteli Heshmatin taulukkoa Retraction Watchia varten ja löysi viisi tapausta, joissa yli kaksi tusinaa datapistettä oli kopioitu maasta toiseen.

Marco Hafner, voittoa tavoittelemattoman ajatushautomon RAND Corporationin vanhempi ekonomisti, sanoi, että ”automaattisen täyttötoiminnon käyttäminen ei ehkä ole alun alkaenkaan paras idea, koska voin kuvitella, ettei ole suoraan selvää, millä edellytyksillä puuttuvat arvot on määritetty/imputoitu”.

Hafner, joka on RAND Europen tutkimusjohtaja, lisäsi, että ”kohtuullisin oletuksin ja jos se on todella tarpeen analyyttisistä syistä, yhtä maata koskevat tietovajeet voidaan täyttää toisen maan tiedoilla”. Hänen mukaansa näiden oletusten vaikutukset olisi kuitenkin raportoitava herkkyysanalyysissä, jota Heshmati sanoi, ettei hän ole tehnyt.

”Vähintäänkin”, Hafner sanoi, paperissa olisi pitänyt mainita laskennan taustalla olevat oletukset ja se, miten se tehtiin — tämä olisi vähentänyt työn julkaisumahdollisuuksia, jos arvioijat olisivat pitäneet menetelmiä sopimattomina.

  Lähde: https://retractionwatch.com/2024/02/05/no-data-no-problem-undisclosed-tinkering-in-excel-behind-economics-paper/