U prethodnom tekstu govorio sam o važnosti korištenja eksperimentalnih metoda u društvenim znanostima. Istaknuo sam neke metodološke pristupe koji mogu biti korisni u postizanju nasumičnog odabira uzorka, što nam omogućuje da ispitivanu i kontrolnu skupinu učinimo što sličnijima za usporedbu, na temelju čega možemo zaključivati o uzročno-posljedičnim odnosima. U ovom ću tekstu upotrijebiti primjer kojeg često koristim kada studentima želim ilustrirati kako možemo donijeti kauzalne zaključke u ekonomiji koristeći prirodne eksperimente. Kratki podsjetnik: prirodni eksperimenti nisu eksperimenti sami po sebi; oni su dobra podloga za iskorištavanje opservacijskih podataka kako bi oponašali eksperimentalno okružje.
Pitanje koje postavljam, uvijek aktualno među studentima, glasi: da li bolje ocjene u školi uzrokuju veće plaće kasnije tokom karijere? Hoće li učenici i studenti koji prolaze s 5 imati veće plaće od onih koji prolaze s 3 ili 4?
Slika 1.
Razmotrite povezanost ocjena i plaća na slici. Koriste se američki podaci za plaće muškaraca i žena sa srednjoškolskim prosjekom ocjena (GPA, na skali od 1.0 do 4.0). Što je veći prosjek ocjena, veća je prosječna plaća i za muškarce i za žene. Međutim, ogroman je jaz između muškaraca i žena za svaku promatranu skupinu (prosječna žena s maksimalnih 4.0 GPA u srednjoj školi i dalje zarađuje manje od prosječnog muškarca sa samo 2.5 GPA; u Hrvatskoj bi to značilo da će žena koja prolazi s 5.0 u prosjeku zarađivati manje od muškarca koji jedva prođe sa 4, odnosno sa 3.5 – u igri je i zaokruživanje ocjena).
Ukupni obrazac je na prvi pogled jasan. Upućuje na zaključak da je dobro imati više ocjene jer vode do većih plaća.
No, je li doista tako ili postoji neki drugi vanjski čimbenik koji može utjecati i na ocjene u srednjoj školi i na plaće kasnije u životu? Na primjer sposobnost, inteligencija, obrazovanje, dohodak roditelja i slično.
Sposobniji pojedinci imaju istovremeno i veću vjerojatnost da imaju dobre ocjene i da u budućnosti imaju veće plaće. Nisu im stoga dobre ocjene uzrokovale veće plaće, već uzroci leže u njihovoj intrinzičnoj karakteristici uvjetovanoj odgojem. A to je nešto što ne možemo mjeriti i na što kao istraživači ne možemo utjecati.
Ovo nazivamo pristranost izostavljene varijable (omitted variable bias) – problem koji se pojavljuje kada pokušavate objasniti uzrok i posljedicu bez uzimanja u obzir svih potencijalnih čimbenika koji su mogli utjecati na ishod, uglavnom zbog toga što ih ne možemo mjeriti ili ih jednostavno ne znamo.
Najbolji način da utvrdimo postoji li uzročno-posljedična veza između ocjena i plaća bila bi pokretanje sljedećeg hipotetskog eksperimenta pod pretpostavkom da posjedujemo božanske moći. Uzmemo grupu učenika i damo im zadatak da prođu s 5. Potom ponovimo povijest i damo istoj skupini učenika zadaću da prođu s 4 (nekakav paralelni svemir). U oba slučaja promatramo konačni rezultat iz dvije različite vremenske dimenzije te uspoređujemo razlike u plaćama između prve i druge.
Upravo smo stvorili nešto što se naziva protučinjeničnost (engl. counterfactual) – kakav bi bio ishod kada bi se povijest odigrala drugačije. Bih li se isto osjećao bolje da nisam popio tabletu protiv glavobolje? Kolika bi mi bila plaća da nisam išao na fakultet? Bi li SAD napala Irak da je Al Gore pobijedio na izborima 2000.? Bismo li bili europski prvaci 2008. da nam Turska nije u zadnjim sekundama zabila gol u četvrtfinalu? Ne možemo odgovoriti niti na jedno od ovih pitanja.
Ali, na pitanje hoću li imati veću plaću ako imam bolje ocjene ipak možemo odgogovoriti čak i ako ne promatramo istog učenika sa visokom i niskom ocjenom u paralelnim svemirima.
U eksperimentalno razmatranje možemo uzeti usporedive studente. Na primjer, jednojajčane blizance, ako imamo sreće. Genetski gotovo identični pojedinci, s istim odgojem, jednakim obiteljskim nasljeđem, itd. Jednom damo prosjek odličan, drugome vrlo dobar i promatramo kako će im se to odraziti na kasnije ishode u životu.
Iako je ovo dobar eksperimentalni dizajn, postoji etički problem s manipuliranjem života ljudi. Stoga niti ovaj eksperiment ne bi bilo moguće (niti uputno) provesti.
Što je sljedeće? Možemo koristiti postojeće podatke o školskom uspjehu i kasnijim plaćama učenika. Imajte na umu da moramo imati usporedive skupine studenata kako bismo donijeli točne zaključke. Dakle, studenti koji su vrlo slični jedni drugima prema sposobnosti i ostalim karakteristikama, osim što je jedna grupa dobila prosjek odličan, a druga nije.
To možemo učiniti na dva načina. Jedno bi bilo jednostavno uparivanje učenika u usporedive skupine na temelju svih njihovih unaprijed zapaženih obilježja: spola, dobi, roditeljskog dohotka, roditeljskog obrazovanja, prethodnog školskog uspjeha, što god možemo mjeriti. To se naziva strategija uparivanja (matching) i zahtijeva da možemo mjeriti sve karakteristike koje bi mogle utjecati na uspješnost učenika kasnije u životu.
Jedina razlika između ispitivane i kontrolne skupine bit će konačna ocjena u školi. Sve ostalo što možemo mjeriti je isto kod jednih i drugih. Ako ih na taj način uspješno uparimo, možemo uspoređivati ishode u dvije slične skupine i vidjeti jesu li bolje ocjene rezultirale višim plaćama.
Međutim, opet postoji problem mjerenja nečega poput urođene sposobnosti ili inteligencije. Ako ih ne možemo mjeriti, čak i rezultati savršenog uparivanja još uvijek bi mogli biti pristrani. Postavlja se pitanje možemo li se u ovom svijetu potpuno osloboditi učinka nepromatranih varijabli?
Da bismo se oslobodili bilo koje nepromatrane (unobservable) varijable poput sposobnosti ili inteligencije koja može poremetiti procjene, moramo nametnuti nasumičan odabir našim dvjema skupinama; moramo osigurati nasumičnu alokaciju u ispitivane i kontrolirane jedinice. To se naziva randomizacija.
Randomizacija podrazumijeva statističku neovisnost. Kada nasumično određujemo tko će biti u ispitivanoj, a tko u kontrolnoj skupini, osiguravamo da su pojedinci iz obje skupine statistički jednaki jedni drugima. Bilo koja razlika u rezultatima između dvije skupine biti će rezultat samo onoga oko čega se razlikuju – u ovom slučaju boljih ocjena.
Ali, što ako ne možemo nasumično alocirati učenike u skupine? U tom slučaju koristimo jednostavan trik kako bismo bili sigurni da dobivamo nasumični uzorak (ili barem kao nasumičan).
Koristimo definiranu granicu koja određuje je li netko prošao sa 5 ili sa 4 – prosjek od 4.5 – te uspoređujemo učenike iznad i ispod ovog praga. Tko dobije 4.5 ima odličan. Tko dobije samo malo ispod, 4.4, ima vrlo dobar. Ideja je da učenici koji su unutar ove vrlo male granice, recimo između 4.4 i 4.6, zapravo nisu toliko različiti u sposobnostima jedni od drugih, odnosno gotovo su savršeno statistički zamjenjivi. Oni koji imaju 5.0 i oni koji imaju 4.0 su vjerojatno dosta različiti u sposobnostima i drugim karakteristikama koje ih određuju. No za osobu koja ima prosjek od 4.4 možemo reći da je jednako dobra kao i osoba koja ima 4.5, samo što je imala nešto manje sreće.
Kako onda dolazimo do našeg zaključka o utjecaju na plaće? Na slici 2 promatramo samo uski krug učenika koji su unutar granica, odnosno između prosjeka 4.4 i 4.6. Polazimo od pretpostavke da su takvi učenici međusobno usporedivi po urođenim sposobnostima, odnosno da možemo kontrolirati stvari koje ne možemo mjeriti. Tada uspoređujemo prosječne plaće onih malo iznad prosjeka od 4.5 (ispitivana skupina) te onih malo ispod prosjeka 4.5 (kontrolna skupina). Ukoliko postoji dovoljno velika razlika (skok) u visini plaće između ispitivane i kontrolne skupine, tada možemo zaključiti da bolje ocjene uzrokuju veće plaće. Ako ne, ako nema velike razlike u plaćama, te ako je odnos i dalje linearan, onda ne možemo donijeti takav zaključak.
Slika 2 ne pokazuje stvarni odnos plaće i ocjena nego je generirana umjetno primjera radi. Kada postoji ovakav diskontinuitet između kontrolne i ispitivane skupine možemo zaključiti da postoji kauzalni efekt jer uspoređujemo slične pojedince unutar vrlo uskog intervala oko granice. U ovom fiktivnom primjeru osoba koja taman prođe sa 5 imala bi oko 30% veću plaću od osobe kojoj je malo falilo da prođe sa 5.
Slika 2.
Pravi podaci ne pokazuju nikakav skok. Odnos je više-manje linearan (podsjetite se slike 1). Dakle, svaki veći prosjek ocjena u pravilu vodi do nešto veće plaće. Očito postoji intrinzična razlika između onih koji zamalo prođu sa 4.5 i onih koji zamalo ne uspiju u tome.
Što to znači za odgovor na naše pitanje o uzročnosti? Učenici koji dobro prolaze u školi imat će veće plaće kasnije, ali ne zbog ocjena, već zbog njihovih urođenih sposobnosti. Ista stvar koja uzrokuje da netko ima dobre ocjene, uzrokuje i veće plaće i bolju karijeru kasnije u životu. Stoga ne postoji kauzalni učinak ocjena na višu zaradu, iako postoji očigledna korelacija.
Zaključak je da ako imate dobre ocjene to znači da kasnije u životu i dalje trebate puno raditi da imate bolje plaće. U prosjeku naravno.
Primjer služi samo za ilustraciju. Njegova poanta nije bila u dokazivanju uzročno-posljedične veze između ocjena i plaća, već u isticanju načina razmišljanja o tome kako provoditi prirodne eksperimente u društvenim znanostima. Prikazano postavljanje problema ne zahtjeva veliko tehničko znanje niti zahtjeva pretjerano težak metodološki iskorak. Zahtjeva samo promjenu paradigme izvlačenja zaključaka iz korelacija i trendova. Snažna pozitivna korelacija ocjena i plaća ukazuje na to da ćemo često primijetiti da je netko tko je imao dobre ocjene dobro prošao kasnije u životu, no to ne znači da ocjene uzrokuju visoke plaće. Uzrokuje ih nešto drugo što ne možemo mjeriti.