Cytat na dziś: novel concepts

06Czer17

I obviously agree that we have to follow the latest guidelines, I’m just worried if deviating from the convention may rub reviewers off the wrong way (Oczywiście, że powinniśmy stosować się do najnowszych rekomendacji, ale obawiam się, że odstawanie od konwencji może nie spodobać się recenzentom)

Współautorka, młodsza ode mnie o dekadę, krytykuje pomysł podawania przedziałów ufności zamiast wartości p (które są i tak w dodatkowej tabeli w manuskrypcie) — konwencji, która jest starsza od niej o parę dekad, a która przeszła do mainstreamu w czasie, gdy ona była jeszcze w szkole podstawowej. Wartości p są oczywiście potrzebne, ale dalece nie wystarczające; ślepe stosowanie wartości p uważa się za jedno ze źródeł kryzysu powtarzalności wyników (reproducibility crisis) w nauce. W szczególności nie powinno się ich stosować gdy mamy do czynienia z estymacją, a nie, explicite, testowaniem.

Poza tym, zawsze wyobrażałem sobie, że gdy będę miał te czterdzieści ileś lat, to będę z cynicznym uśmiechem uczył młodych, naiwnych naukowców jak porzucić durne naukowe ideały, by pozyskać lepsze recenzje i impakt faktory. Nigdy nie myślałem, że będzie odwrotnie.

Cytat bonusowy:

Q: Why do so many colleges and grad schools teach p = 0.05? (dlaczego tak wiele uniwersytetów uczy p=0.05?)

A: Because that’s still what the scientific community and journal editors use. (bo tego ciągle używa środowisko naukowe i redaktorzy czasopism)

Q: Why do so many people still use p = 0.05? (dlaczego ludzie wciąż używają p=0.05?)

A: Because that’s what they were taught in college or grad school. (bo tego ich nauczono na studiach)

George Cobb, za Wasserstein i Lazar, „The ASA’s Statement on p-Values: Context, Process, and Purpose”, The American Statistician 70(2), 2016.

Reklamy


12 Responses to “Cytat na dziś: novel concepts”

  1. 1 Izabela

    Poczepiam się trochę współautorki, i to nie statystycznie. Statystycznie potem.
    it rubs me the wrong way, or it rubs me up the wrong way – synonimy: „aggravate, annoy, bug, disturb”
    rub off znaczy „be transferred by contact or association” e.g. when parents are having a hard time, their tension can easily rub off on the kids.

    Chyba autorka miała na myśli pierwsze znaczenie.

  2. 2 Izabela

    Przepraszam za czepialstwo, teraz merytorycznie.

    ślepe stosowanie wartości p uważa się za jedno ze źródeł kryzysu powtarzalności wyników

    Zgadzam się, ale z naciskiem na „ślepe”. Ślepe stosowanie czegokolwiek będzie problemem, a czy to jest p-value czy przedziały ufności, to już rzecz drugorzędna. To trochę jak leczenie symptomów. Ale może przyniesie chwilową ulgę. A prawdziwym problemem jest nieznajomość (czy lepiej niezrozumienie) pojęć statystycznych.

    Psychologia miała ostatnio wyjątkowo złą prasę, te kilka przykładów (z renomowanych magazynów), to jest po prosu naukowy nonsens, gibberish. Wpływ urody rodziców na płeć dziecka. Wpływ menstruacji na kolor ubrania, czy preferencje wyborcze. I tym podobne bzdety. Na swym blogu częstokroć pomstował na to Andrew Gelman. Powiedziałabym „it rubbed him the wrong way”. Nawiasem mówiąc to bardzo dobry statystyczny blog (światowej klasy bezjanisty i profesora socjologii w jednym), więc jak ktoś chce więcej szczegółów to najlepiej u niego.

    Autorzy na wszelką krytykę mówią, ale przecież p-value jest 0.05, więc o co chodzi. Więc teraz im się ten argument odbierze, ale jeśli recenzenci nadal będą niekompetentni, to szybko znajdzie się inny wytrych.

    A głowne argumenty krytyków to:
    – Power testu jest za mały (czyli prawdopodobieństwo wykrycia efektu jeśli on tam jest), po prostu za mała próbka na tak mały efekt
    – data fishing, p-hacking, multiple testing, inaczej „garden of forking paths”
    – it’s all noise

    To wszystko powinien zauważyć recenzent, bez uciekania się do zbanowania wartości p. Ale może teraz chociaż zauważą że parametry nie są „statistically significant”.

    A czy p-value ma być 0.05? Czy może 0.01? To nie jest przecież jakaś stała fizyczna, tylko zwykłe prawdopodobieństwo popełnienie błędu typu I. Bo ten błąd (w naszej cywilizacji przynajmniej) staramy się kontrolować.

    • 3 January

      Zgadzam się z wszystkim co piszesz, jednak mi chodziło o coś trochę innego — o odróżnianie estymacji od testowania; o zapobieżenie automatycznemu testowaniu hipotezy statystycznej za każdym razem, kiedy coś mierzę. Pewien rodzaj naukowców jak zmierzy pięć wartości, to zrobi pięć porównań każdej z nich z zerem, a potem jeszcze 5(5-1)/2, bo porówna każdy z każdym (i zrobi barplota z gwiazdkami).

      Ale tak naprawdę to nawet nie o to chodzi; tylko o to, że ze strachu przed recenzentem jesteśmy gotowi do porzucenia drogi, którą uważamy za właściwszą. A najgorsze jest to, że oni (bo to nie jest tylko moja koleżanka) mają rację. Konformizm w nauce się opłaca.

    • 4 gszczepa

      Błagam, co znaczy słowo „bezjanista” ?
      (gugiel nie pokazuje innych trafień niż ten blog, szukałem!)

      • 5 kwik

        @ bezjanista – z hasła w Wikipedii: „Gelman is a practitioner of Bayesian statistics”, więc intencja jest oczywista. Gelman to bayesjanista, a jak to się naprawdę powinno pisać po polsku to już nie na temat, zresztą sam piszesz gugiel.

      • 7 January

        Właśnie miałem napisać „matematyk, który lubi bezy” ale zostałem wyprzedzony…

  3. 8 kwik

    Już po jednym z tagów widać, że potrzebujesz wsparcia moralnego. Na statystyce się co prawda nie znam, ale z grubsza rozumiem w czym problem. Colquhoun wrzucił niedawno na biorxiv
    The Reproducibility Of Research And The Misinterpretation Of P Values, jeśli nie widziałeś to może rzuć okiem.

    Chodzenie na skróty czy po linii najmniejszego oporu niekoniecznie wynika z cynizmu/oportunizmu, wystarczy mieć inne priorytety. Np. można uważać że są dużo ciekawsze zajęcia niż użeranie się z niechętnymi czy niedouczonymi recenzentami. Współautorka delikatnie Ciebie ostrzega, że nie ma na to ochoty. Ale przecież niczego nie krytykuje, przynajmniej nie w cytowanym fragmencie. Masz wolną rękę. Oczywiście każdy chciałby, żeby inni ochoczo brali udział w jego krucjacie, ale nie wypada tego wymagać.

    • 9 January

      Nie czytałem jeszcze tego Colquhouna, ale sądząc z abstraktu, czy to nie jest to samo, co już napisał?

      Gdyby chodziło o użeranie się, to można by wysłać pracę do PLoS ONE. Z tego, że zamierzamy ją wysłać do czasopisma z wyższej półki wynika, że jednak łatwość publikacji nie jest głównym priorytetem. Albo chcemy napisać artykuł wysokiej jakości; albo chcemy zrobić to minimalnym wysiłkiem.

      Zresztą, to, co piszesz, pasuje do obrazu naukowca, dla którego proces recenzyjny to jedynie niepotrzebna upierdliwość.

      Wolnej ręki nie mam, nikt z nas nie ma, nie przy takich projektach, niestety. Albo się dogadamy, wszyscy kluczowi naukowcy, albo nie będzie pracy.

  4. 10 kwik

    W zasadzie pewnie to samo, już na początku sam się cytuje (Colquhoun, 2014, An investigation of the false discovery rate and the misinterpretation of p-values) ale skoro odczuwał silną potrzebę napisania jeszcze raz, to może miał powody.

    Nie wiem jak w czasopismach z najwyżej półki, może tam każdy recenzent też jest najwyższej jakości i zgłasza wyłącznie sensowne uwagi. Ale tym bardziej, przecież taki recenzent na pewno nie będzie się czepiał statystyki zrobionej porządniej niż zwykle, więc w czym problem.

    Z peer review (wbrew nazwie) największy pożytek jest wtedy, gdy recenzenci są jednak mądrzejsi od autorów recenzowanej pracy. Niestety trudno na to liczyć, częściej zdarza się, że recenzenci nie siedzą w temacie albo nie są na bieżąco, więc wysilają się na oderwane od rzeczywistości uwagi „warto jeszcze zrobić cośtam”, z reguły w kierunku w którym sami czują się mocni. Zmorą każdego przeciętnego naukowca jest dorabianie doświadczeń na żądanie upierdliwego recenzenta.

    Może szkoda że już na początku nie umówiliście się co do podziału kompetencji, że np. jeśli chodzi o statystykę to Ty będziesz decydować bo lubisz i masz w małym palcu. Przy dłuższej współpracy to samo wychodzi.

    • 11 January

      W dużej mierze decyduję, ale to i tak nie o to chodzi, tylko o dość późne odkrycie kto robi karierę, a kto nie. Bo najgorsze w tym wszystkim jest to, że oni oczywiście mają rację; tak, uproszczenie przekazu, użycie błędnych (ale zwyczajowych) sformułowań oczywiście zwiększa nasze szanse na publikację w czasopiśmie z górnej półki.

      • 12 kwik

        Jeśli nie ucierpi na tym meritum to rozsądny kompromis między precyzją i zasięgiem przekazu jest najprostszym rozwiązaniem. Użycie błędnych zwyczajowych sformułowań można załatwić wyjaśnieniami w odnośniku. Albo odesłać do materiałów dodatkowych i tam się popisać erudycją, naprawdę zainteresowani na pewno tam dotrą.


Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Wyloguj / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Wyloguj / Zmień )

Zdjęcie na Facebooku

Komentujesz korzystając z konta Facebook. Wyloguj / Zmień )

Zdjęcie na Google+

Komentujesz korzystając z konta Google+. Wyloguj / Zmień )

Connecting to %s


%d blogerów lubi to: