Paradoks Simpsona. O dyskryminacji kobiet, kamicy nerkowej i bezrobociu.

Skoro na uniwerystecie w Kaliforni przyjęto tylko 35% aplikujących kobiet i 44% mężczyzn, to czy mamy do czynienia z dyskryminacją płci pięknej? Jaka metoda leczenia kamicy nerkowej przynosi najlepsze rezultaty? Gdzie jest najmniejsze bezrobocie? Kto najlepiej zdaje egzaminy? I gdzie w tym wszystkim jest miejsce dla Edwarda Simpsona?

Ostatnio staram się pokazać różne pułapki statystyczne. Już wiecie, że nie należy ufać dowodom anegdotycznym i nawet jeśli piątka długowiecznych staruszków objada się marchewką, to wcale nie jest to recepta na długie życie. Pokazywałam też, że korelacja jest super, ale nie ma nic wspólnego ze związkiem przyczynowo-skutkowym i piraci niekoniecznie mają wpływ na globalne ocieplenie (wybaczcie mi to Pastafarianie, Latający Potwór Spaghetti musi znaleźć inne dowody dla swoich wyznawców). Dziś pora na kolejną ciekawostę, która pokazuje, że wyciąganie wniosków to nie jest prosty temat.

Na początku mała zagadka. Jaś i Małgosia mają do zdania 5 egzaminów. Mogą je sobie dowolnie rozłożyć na dwa dni. Pierwszego dnia Jaś zdał 0% wszystkich wybranych w danym dniu egzaminów, a Małgosia 25%. Drugiego dnia Jaś zdał 75% wybranych egzaminów, a Małgosia zdała 100%.

pierwszy dzień drugi dzień
Jaś 0% 75%
Małgosia 25% 100%

Kto z powyższej pary sumarycznie zdał więcej egzaminów?

Odpowiedź tylko na pierwszy rzut oka wydaje się oczywista. Skoro Małgosia w pierwszym i drugim dniu pokonała Jasia w zdawalności, to wydaje się, że to ona zwyciężyła w naszym konkursie. Czy uwierzycie więc, jeśli Wam powiem, że sumarycznie Jaś zdał 60% swoich egzaminów, a Małgosia tylko 40%?

pierwszy dzień drugi dzień sumarycznie procentowo
Jaś 0 z 1 3 z 4 3 z 5 60%
Małgosia 1 z 4 1 z 1 2 z 5 40%

Ten nietypowy paradoks zauważył Karl Pearson (tak, ten sam, od korelacji) w 1899 roku, a także Udny Yule w 1903. Dokładnie wszystko opisał Edward Simpson w artykule opublikowanym w 1951 roku. I to jego nazwisko najczęściej kojarzy się z paradoksem, choć niekiedy nazywany jest on również efektem Yule-Simpsona.

Pomyślmy o innej sytuacji. Uczelnia przyjmuje studentów na dwa kierunki: polonistyka i matematyka. Na każdym kierunku, sprawiedliwie, dostaje się na studia dokładnie taki sam procent kandydatów obu płci. Ale… spójrzmy sumarycznie. Miało być sprawiedliwie, a tu się okazuje, że jednak mamy do czynienia z większym odsetkiem przyjętych mężczyzn. Wszystkie dane przedstawiam w tabelce:

polonistyka
przyjęci odrzuceni procentowo przyjęci
mężczyźni 200 200 50,00%
kobiety 100 100 50,00%
matematyka
przyjęci odrzuceni procentowo przyjęci
mężczyźni 50 100 33,33%
kobiety 150 300 33,33%
sumarycznie
przyjęci odrzuceni procentowo przyjęci
mężczyźni 250 300 45,45%
kobiety 250 400 38,46%

Przyjmujemy na polonistykę po 50% kobiet i mężczyzn. Na matematykę 33% kandydatów obu płci. Sumarycznie okazuje się, że przyjęliśmy 45% chętnych mężczyzn i tylko 38% chętnych kobiet. To jak to jest z naszą uczelnią? Dyskryminuje kobiety czy nie?

Temat ten nie jest zupełnie fikcyjny. W 1973 roku Uniwersytet Kalifornijski w Berkley został oskarżony o dyskryminację kobiet. Analiza wykazała, że przyjęli na studia 44% starających się mężczyzn i tylko 35% kobiet. Temat został szczegółowo przeanalizowany i poszczególne wydziały zaprezenowały swoje własne dane. Nie widać tu już dyskryminacji kobiet, a wręcz można pokusić się o stwierdzenie, że na większości wydziałów przyjmowano mniej mężczyzn niż kobiet. Oto dane dla sześciu największych wydziałów:

Mężczyźni Kobiety
Wydział 1 62% 82%
Wydział 2 63% 68%
Wydział 3 37% 34%
Wydział 4 33% 35%
Wydział 5 28% 24%
Wydział 6 6% 7%

Tak więc, drogie panie, czasem dyskryminacja jest tylko pozorna. Jak się pchacie na bardziej oblegane kierunki studiów, to takie są tego efekty.

Kolejna dziedzina, gdzie możemy mieć do czynienia z paradoksem Simpsona to medycyna. Tak, na lekarzy również czekają pułapki statystyczne, często zupełnie nieuświadomione. I klasyczny przykład podawany w wielu źródłach, czyli kamica nerkowa. Badano skuteczność dwóch metod: operacji chirurgicznych oraz przezskórnej nefrolitotypsji (żeby było jasne, nie wiem, na czym to drugie polega, mam nadzieję, że nazwę dobrze przepisałam). Poniższa tabela pokazuje skuteczność leczenia:

operacje chirurgiczne PCNL
małe kamienie 93% (81/87) 87% (234/270)
duże kamienie 73% (192/263) 69% (55/80)
sumarycznie 78% (273/350) 83% (289/350)

Na czym polega problem? Zarówno w przypadku małych jak i dużych kamieni, bardziej skuteczne okazują się operacje chirurgiczne. Jeśli natomiast spojrzymy całościowo, to więcej pacjentów cieszy się dobrym zdrowiem po zastosowaniu metody PCNL. Jak to możliwe? Wyjaśnienie jest bardzo proste. Zwykle metody chirurgiczne są stosowane u pacjentów z większymi (co zazwyczaj oznacza – trudniejszymi do wyleczenia) kamieniami. Przezskórna nefrolitotypsja jest używana w wtedy, kiedy kamienie są mniejsze i procentowy udział wyleczonych pacjentów jest zdecydowanie większy. Trudno więc porównywać obie metody biorąc pod uwagę zarówno „łatwiejszych” jak i „trudniejszych” pacjentów.

Paradoks Simpsona to trudny temat, który potrafi namieszać mocno w różnych analizach statystycznych. Warto mieć świadomość, że możemy być za jego pomocą na różne sposoby oszukiwani. Nigdy nie wiadomo, czy ktoś nie próbuje nami zmanipulować, pokazując tę część wyników, która jest dla niego korzystna. Pomyślmy o dwóch małych miejscowościach i bezrobociu. Podzieliliśmy mieszkańców na osoby w wieku poniżej i powyżej 50 roku życia. W miejscowości A mamy do czynienia z mniejszym bezrobociem zarówno wśród ludzi młodszych jak i starszych. Ale sumarycznie, niestety, okazuje się, że bezrobocie jest dwa razy wyższe niż w miejscowości B. Jeśli w obu miejscowościach rządzą dwie różne partie polityczne, to jestem przekonana, że każda z nich wykorzystywałaby inne dane, żeby przekonać swoich potencjalnych wyborców, że lepiej potrafi walczyć z bezrobociem. A jaka jest rzeczywistość – zajrzyjcie sami do tabelki:

miejscowość A zatrudnieni wszyscy bezrobocie
osoby w wieku powyżej 50 lat 65 120 45.83%
osoby w wieku poniżej 50 lat 175 180 2.78%
razem 240 300 20.00%
miejscowość B zatrudnieni wszyscy bezrobocie
osoby w wieku powyżej 50 lat 20 40 50.00%
osoby w wieku poniżej 50 lat 250 260 3.85%
razem 270 300 10.00%

W której miejscowości chętniej byście zamieszkali?

Paradoks Simpsona to temat, który potrafi zaskoczyć wiele osób. Warto zdawać sobie z niego sprawę i czasem poszukać drugiego dna tam, gdzie wszystko wydaje się proste i oczywiste.


Przy okazji wszystkich chętnych zapraszam na mojego Facebooka.


mapa myśli: Paradoks Simpsona

mapa myśli: Paradoks Simpsona

Please follow and like us:
  • Mateusz Er

    Badanie Universytetu z Berkley fajnie zostaly w sposob interaktywny przedstawione na http://vudlab.com/simpsons/ . Mozna sobie troche poklikac i latwo zrozumiec problem 😀 pozdrawiam

  • Stonsden

    Tak, już wiem, że nie można ufać dowodom anegdotycznym. Wiem też, że kiedy napotykam w tekście zdanie, które traktuje mnie jak idiotę, to jest to ostatnie zdanie, które czytam. Nie wiem, co trzeba mieć w głowie, żeby uznać własny, niszowy blog za jedyne źródło wiedzy każdego potencjalnego czytelnika.

    • Konieczny

      nie ma co się denerwować czytając o rzeczach dla siebie dość oczywistych. takie kompleksy odbiorców jedynie wymuszają przekaz pozbawiony kontekstu, zakładając że jest on wszystkim znany, co sprzyja niezrozumieniu treści, większej swobodzie w naginaniu rzeczywistości, etc. co prawda wcześniej omawiane tematy są zbędne do zrozumienia magicznych działań na procentach, to raczej autorka chciała w ramach wstępu zachęcić czytelników do zapoznania się z tamtymi artykułami. może w sposób nieco drażniący, ale nie powinniśmy się skupiać na formie tylko treści, która – o ile rozumiem intencje autorki – kierowana jest do mniej zaznajomionego z tematem odbiorcy.

      • Stonsden

        To prawda, trochę mnie poniosło i odczuwam lekkie symptomy „troll’s remorse”. Zgadzam się z tym, co piszesz i w ramach pokuty jednak przeczytam artykuł :).

    • Przepraszam, jeśli ktokolwiek poczuł się potraktowany jak idiota. Absolutnie nie było to moim zamierzeniem. Ten tekst o Paradoksie Simpsona jest dla mnie kontynuacją pewnego cyklu, który w mojej głowie nazwałam „pułapkami statystycznymi” i dlatego są tu odnośniki do wcześniejszych artykułów.
      Nigdy nie uważałam, że mój blog jest jedynym źródłem wiedzy czyjejkolwiek. Biorąc pod uwagę, jak wielu rzeczy sama nie wiem, to chętnie czytam merytoryczne uzupełnienia z komentarzy – czasem mogę się sama dużo douczyć.
      Mam nadzieję, że wpis się jednak spodoba – a jeśli jest zbyt oczywisty, to zazdroszczę wiedzy. Kiedy pierwszy raz spotkałam się z tematem Paradoksu Simpsona, to musiałam trochę pomyśleć, żeby zrozumieć. I myślę, że wielu czytelników nigdy wcześniej o tym nie słyszało.
      Pozdrawiam serdecznie i życzę miłej lektury!

      • Stonsden

        Taa, to ja przepraszam, blog jest okej. Chyba przez to, że nie mogę komentować tego, co naprawdę mnie bulwersuje (z obawy przed pozwem o sianie nienawiści), zacząłem się wyżywać na blogach statystycznych. Muszę się lepiej pilnować.
        (Też nie słyszałem o Paradoksie Simpsona i dlatego wlazłem na blog.)

  • Przezskórna nefrolitotrypsja to coś w rodzaju usuwania laparoskopowego – znieczulonego miejscowo pacjenta nakłuwa się na plecach, docierając aż do miedniczki nerki gdzie zwykle osadzają się kamienie. A potem poszerza się nakłucie tworząc kanał, przez który wyjmuje się kamień. Kanał musi być tak szeroki jak kamień, czyli do 2 cm średnicy, co oznacza że przejściowo robi się w pacjencie dość dużą dziurę. Ostatecznie jednak po zabiegu zostaje mała blizna na plecach, a rekonwalescencja jest krótsza.

    Dobry artykuł.

  • pajacek89

    Mój wykładowca zawsze powtarzał (właściwie cytował, ale nie pamiętam kogo 🙂 ), że:
    „Statystyka jest jak niedziałająca latarnia morska. Może i drogi nie rozświetli, ale zawsze można się o nią oprzeć.”
    Pozdrawiam

  • Pingback: Buzzfeedowy przegląd sieci, czyli co żarło w kwietniu 2016()

  • d67777

    Czy dobrze rozumiem, że średnia różnica w zarobkach kobiet i mężczyzn (gender pay gap), o której od czasu do czasu przypomina się w mediach to przykład paradoksu Simpsona? Chociaż tutaj ciężko mówić o odwróceniu wartości, raczej wyrównaniu, kiedy weźmie się pod uwagę konkretne zawody i wybory ludzi. Więc byłby to przykład ogólnie błędu pominiętej zmiennej.

    • Może być, ale nie musi. Pewnie trzeba by było sprawdzić, jak wygląda sytuacja na konkretnych danych.

    • Ada Pieńkowska

      Tak. Tzw. pay gap jest obliczany przez zsumowanie wszystkich zarobków kobiet i podzielenie ich przez liczbę pracujących kobiet, to samo się robi w przypadku mężczyzn. Nie jest nawet brana pod uwagę ilość przepracowanych godzin.

      • Dzięki za wartościowy komentarz i uzupełnienie informacji 🙂

  • Pingback: Kwartet Anscombe'a, Datasaurus - czyli po co w ogóle rysować?()