Szukanie i czytanie artykułów naukowych

08Lip12

…czasem spędzenie kilku miesięcy w laboratorium oszczędzi pójścia na pół godziny do biblioteki

Żyjemy w pięknych czasach: prawie cała literatura naukowa — przynajmniej w naukach przyrodniczych — dostępna jest online. A coraz więcej ważnych artykułów w ogóle jest za darmo dzięki czasopismom open access. Po co czytać artykuły naukowe?

  • Artykuły naukowe zmuszają do większej staranności i precyzji niż artykuły popularnonaukowe czy prasówki. Każdy artykuł naukowy został przynajmniej raz, a najczęściej dwa razy zrecenzowany przez anonimowego recenzenta — często innego, zazdrosnego naukowca. Artykuł naukowy musi rozdzielać wyniki od ich interpretacji i od spekulacji, prezentować ze szczegółami wszystkie wyniki i metody itd.
  • Wydobywają na światło dzienne rzeczy, z których autorzy nie zawsze są dumni, np. rzeczywistą wielkość obserwowanego efektu albo konkretną grupę, w której go zaobserwowano (np. „jedzenie X zmniejsza zachorowywalność na raka!” zamienia się w „jedzenie X zmniejszyło szansę zachorowania na raka tarczycy o 1% wśród pacjentów pracujących w rosyjskich elektrowniach jądrowych. Efekt nie był istotny statystycznie”).

  • Najczęściej spuszczają powietrze z nadętych tez stawianych przez wydział prasowy uczelni albo brukowce (zresztą czasem brukowce, a w każdym razie gazety bywają nawet rzetelniejsze).
  • Umożliwiają osadzenie artykułu w kontekście: kto już wcześniej co odkrył, co jest naprawdę nowego. Doniesienia prasowe o niedawnym odkryciu paleontologicznym w Birmie zdawały się sugerować przełom. Tymczasem przełom został dokonany już lata temu przez kogo innego (Chrisa Bearda), i to właśnie prace Bearda są warte większej uwagi.

Do szukania literatury najczęściej używa się PubMedu albo Google Scholar. Osobiście wolę Scholara, m.in. dlatego, że łatwo odnaleźć artykuły cytujące jakiś artykuł. Samo szukanie nie jest trudniejsze od googlania, ale warto wiedzieć o paru rzeczach.

Najszybsza metoda czytania pracy naukowej: przeczytać ostatnie zdanie streszczenia (abstraktu). Jeśli autorzy naprawdę coś ciekawego odkryli, mieli konkretną hipotezę, mogą wyciągnąć wyraźne wnioski, to najczęściej odnajdzie się to pod koniec abstraktu. Jeśli pod koniec abstraktu jest ogólnik („our research furthers the knowledge of transcription in M. pneumoniae”), to zapewne nic konkretnego czy ciekawego nie wyszło. Metoda nie jest stuprocentowa (daleko od tego).

Przeglądówki (reviews) nie tylko są warte czytania same dla siebie, ale są też nieocenionym źródłem odnośników do oryginalnych publikacji.

Liczba cytowań publikacji (tzn. ile razy artykuł został cytowany przez inne artykuły) koreluje do pewnego stopnia z wagą i wartością artykułu.

  • Jest oczywiście cała masa wartościowych artykułów, które nie doczekały się licznych cytowań.
  • Wysoka liczba cytowań jest bardziej pewną informacją niż niska, tzn. wysoka liczba cytowań świadczy najczęściej o tym, że artykuł jest dobry lub ważny, ale odwrotnie słabiej to działa. Niska liczba cytowań nie musi świadczyć o tym, że artykuł jest do niczego. Niestety, artykuły naukowe też poddane są „power law”: kilka najczęściej cytowanych prac zbiera najwięcej odnośników, gdy tysiące innych prac — wcale nie aż o tyle gorszych — zbierają tylko po parę cytowań.
  • W różnych dziedzinach słowa „wiele cytowań” mogą oznaczać różne rzeczy; np. w medycynie liczba cytowań artykułu zazwyczaj jest bardzo wysoka, a na przykład w astrofizyce — dość niska

Impact factor czasopisma to średnia liczba cytowań, które uzyskuje praca opublikowana w tym czasopiśmie.

  • Nie wszystkie artykuły w Nature są znakomite. I odwrotnie, bywa że znakomite lub bardzo ważne publikacje ukazują się w niszowych czasopismach. Słynna praca Manfreda Eigena i Petera Schustera, „A principle of natural self-organization” ukazała się w „Naturwissenschaften” (impact factor 2.5), ale zebrała — wg. google scholar — prawie dwa i pół tysiąca cytowań. Ale to jeszcze nic: praca opisująca algorytm BLAST (basic local alignment and search tool) ma ponad czterdzieści tysięcy cytowań, a ukazała się w Journal of Molecular Biology (impact factor 4). Dzięki Open Access waga przesuwa się z impact factora czasopisma do liczby cytowań konkretnego artykułu.
  • Takie przypadki są jednak rzadkie; jeśli się widzi pracę o rewolucyjnych wnioskach opublikowaną w jakimś tajemniczym czasopiśmie o impact factor bliskim jedności, to nie ma niczego złego w byciu podejrzliwym.
  • Zwłaszcza, jeśli na liście autorów jest przynajmniej jedno znane nazwisko ze znaczną liczbą dobrze cytowanych pracy. Praca nikomu nieznanego naukowca nie będzie miała dużych szans dostać się od razu do Nature; trzeba przejść pośrednie etapy publikując w nieco bardziej specjalistycznych czasopismach. Ale jeśli „big shot” z doświadczeniem, bagażem dobrych publikacji i koneksjami publikuje przełomową pracę w jakimś niskoimpaktowym czasopiśmie, to coś tu nie gra.
  • Nature i Science są bardzo znane i popularne, ale nawet nie są najwyżej impaktowanymi czasopismami. Poza tym w każdej, choćby bardzo małej dziedzinie istnieje jakieś czasopismo (albo kilka), które w obrębie tej dziedziny mają zasłużoną renomę. Stosunkowo niski impact factor „Bioinformatics” nie oddaje sprawiedliwości prestiżowi tego pisma. Niestety, po prostu trzeba to wiedzieć, albo sprawdzić w ISI (jeśli ma się dostęp).

Wyszukiwanie po odnośnikach w przód. Każdy artykuł opiera się na wielu wcześniejszych artykułach, i odwrotnie, jest cytowany przez inne. Jeśli interesują nas wnioski płynące z pewnego artykułu, to trzeba sprawdzić, co piszą (i w jakim kontekście) artykuły, które go cytują. Często po prostu będą się do niego odwoływały we wstępie, ale bywa, że będą z nim polemizowały czy wręcz obalały przedstawione tam wnioski. Czasami prace o błędnych wnioskach są bardzo wysoko cytowane; praca Fleischmanna i Ponsa o zimnej fuzji ma ponad tysiąc cytowań.

Żeby samemu cytować jakąś pracę, trzeba ją przeczytać. W trakcie szukania literatury często czytam prace po łebkach, może nawet same streszczenia. Ale jeśli się chce zacytować taką pracę (nawet w prywatnej rozmowie), to trzeba ją przeczytać: zdarza się, że abstrakt jest mylący, albo zbyt optymistyczny. Często bywa tak, że — nie znając języka konkretnej dziedziny — abstrakt się źle zrozumiało. Dla mnie to jest męka, bo mam tendencję do czytania byle jak byle dużo, ale nie ma przebacz. Bywa, że nie ma dostępu do pracy, którą się chce przeczytać; coraz częściej jednak się zdarza, że są wolno dostępne alternatywy (inne prace o podobnych wnioskach).

Najczęściej popełniany błąd to poprzestać na lekturze jednej pracy. Widzę to często u studentów, ale nie tylko. Ktoś robi prezentację na „journal club” (albo wpis na bloga), i referuje tylko jedną pracę, ze wszystkimi szczegółami, ale bez ogarnięcia kontekstu i bez skonfrontowania z innymi wynikami. A zazwyczaj jest przynajmniej jedna inna grupa naukowców zajmująca się dokładnie tą samą tematyką.

Drugi typowy błąd to traktowanie pracy jak objawienia albo dzieła geniusza. Mnóstwo prac — w tym bardzo dobrych — została napisana przez takich samych studentów i doktorantów jak czytelnik; zresztą, profesorzy nierzadko też publikują poza swoją dziedziną. Prace często są pisane na chybcika, „pod recenzentów” (zwłaszcza, jeśli trzeba było korygować manuskrypt zgodnie z zaleceniami recenzenta), bez ładu i składu bo termin grantu goni, każdy stara się też sprawić, żeby praca była możliwie „seksowna”. Sposoby manipulacji — świadomej i nieświadomej — wyników to temat na osobną notkę. W mojej dziedzinie, na ile moge to ocenić, błędy w planowaniu eksperymentów i statystycznej obróbce są nagminne, choć nie zawsze mają większe znaczenie. Niedawno w Nature Neuroscience ukazała się praca poświęcona pewnemu konkrentemu rodzajowi błędu statystycznego. Autorzy zbadali kilkaset publikacji z czasopism z górnej półki. Okazało się, że z tych, w których była szansa na popełnienie tego błędu, połowa go popełniła.

Nie brać niczego na wiarę. Największą przyjemność z czytania artykułów naukowych mam wtedy, gdy mnie artykuł najpierw wkurzy, a potem przekona. Wtedy, gdy podchodzę do czegoś uprzedzony, doszukując się co zdanie dziury w całym, i gdy artykuł zdoła pokonać moje uprzedzenia, pobić moje argumenty i przeciągnąc mnie na swoją stronę. Niestety, z krytykowaniem też nie należy przesadzać, bo można łatwo paść ofiarą efektu Dunninga-Krugera.

Wykrywanie bulszitu. Z czytaniem artykułów jest trochę jak z recenzowaniem ich: nie można ich tak po prostu odrzucić, jeśli się nie potrafi szczegółowo wypunktować dlaczego. Ale jak już zrobiłem sobie taką listę, i skonfrontowałem ją z artykułem (i ewentualnie artykułami, które są cytowane, i artykułami na ten sam temat), i dalej nie bangla, to może faktycznie jest to bulszit. Bulszitu jest więcej niżby się wydawało.



13 Responses to “Szukanie i czytanie artykułów naukowych”

  1. 1 Ezechiel

    Problemem w materiałówce jest też bliskość patentów. Czasami publikacje są ogólnikowe co do metodologii, aby nie zablokować patentu. Cierpi na tym sama jakość badań, bo bez szczegółów ciężko porównać wyniki. Pod tym względem bio ma świetne standardy opisywania preparatyki.

  2. i referuje tylko jedną pracę, ze wszystkimi szczegółami, ale bez ogarnięcia kontekstu i bez skonfrontowania z innymi wynikami.

    To poważny problem, można go nazwać „niepotwierdzone wnioski”.
    Może pamiętasz dyskusję o znaczeniu statystyki, poziomach istotności, przedziałach ufności, korelacji wyników prac naukowych z posiadaniem psa itd.

    Istota wszechświata jest taka, że co jakiś czas praca naukowa opierająca się na statystycznym uogólnieniu zjawisk jednostkowych da wyniki „od czapy”, mimo poprawności jej przeprowadzenia. W nauce jest także postęp – badania wykonane „drzewiej” z różnych względów mogą się różnić od obecnych.

    Dlaczego to piszę – często mam do czynienia z groźnie sformułowanymi mailami typu: Co ty wypisujesz, może nie wiesz, że w 1996 r opublikowano prace o leczeniu depresji hormonami tarczycy?

    Czytając prace naukowe, zwłaszcza te z wnioskami różniącymi się od dotychczasowych ustaleń konieczne jest zadanie sobie pytania: W jaki sposób autor odniósł się do dotychczasowych prac prezentujących wnioski odmienne Jeżeli nijak się nie odniósł – praca może nie mieć istotnego znaczenia.

    • 4 January

      Może pamiętasz dyskusję o znaczeniu statystyki, poziomach istotności, przedziałach ufności, korelacji wyników prac naukowych z posiadaniem psa itd.

      No właśnie pamiętam, że była, ale za nic nie moge sobie przypomnieć, gdzie.

      Jeżeli nijak się nie odniósł – praca może nie mieć istotnego znaczenia.

      No ale to też nie zawsze jest tak, prawda? Czasami autor jest leniwy, a wyniki na tyle ciekawe, że przyjmują publikację prawie bez rozsądnego wstępu i dyskusji; radź sobie sam, czytelniku.

      • No jak to – pod Twoim artykułem o urozmaiconej żywności chroniącej przed rakiem.

        • 6 January

          Jejku, przeczytałem tamtą dyskusję — jaka fajna. I przypomniał mi się prof. Henryk Szarski, którego jeszcze miałem szansę poznać. Szarski do końca życia pisał artykuły naukowe, ale skarżył się, że często przychodzi mu do głowy pomysł, zaczyna szukać literatury, i proszę, znajduje napisany dawno temu artykuł dokładnie na ten sam temat — i sam jest jego autorem. Trochę mam tak z notkami na biokompost, co jest kolejnym dowodem na to, że wszystko, co miałem do powiedzenia, już powiedziałem.

  3. 7 Ezechiel

    W materiałówce jest pewien paradoks. Pewne tematy stają się modne, ale nadal brakuje mocniejszych teorii tłumaczących całość. W efekcie ciężko nawet odnieść się do wcześniejszych prac, bo wiele materiałów jest stosunkowo nowych.

  4. Bardzo ciekawy wpis. Na studiach nie miałem jeszcze sytuacji abym musiał przeglądać najnowsze prace bo to jest potrzebne do wykładu, coś do notki na bloga się zdarzało, no ale na magisterce chyba się będę musiał w grzebaniu wyspecjalizować.
    Nie masz aby czasem wrażenia, że pewne prace są często cytowane bo są znane? Na przykład mamy dwie prace – jedna z lat 70. która przyczyniła się do odkrycia czynnika X wpływającego na jakąś chorobę i sprawiła że jej autor stał się autorytetem w tej dziedzinie, i druga z lat 90 która udowodniła to samo ale nowszymi technikami i na większej grupie. I jakoś tak w nowych artykułach cytuje się głównie tą pierwszą, bo „jest klasyczna”.

    • 9 January

      Bardzo ciekawy wpis. Na studiach nie miałem jeszcze sytuacji abym musiał przeglądać najnowsze prace bo to jest potrzebne do wykładu

      Zmuszałem już studentów drugiego roku do czytania prac naukowych i pisania pracek o strukturze pracy naukowej. Dopiero drugiego, bo studentów pierwszego nie uczyłem :-)

      Nie masz aby czasem wrażenia, że pewne prace są często cytowane bo są znane?

      To jest bardzo ogólne zjawisko, nazywa się „preferential attachment” i uważa się, że w ten sposób powstają sieci typu „scale free”, takie właśnie w których „zwycięzca bierze wszystko”, tzn. górne 1% prac bierze 99% cytowań (czy jakoś tak). I oczywiście mechanizm może być całkiem prosty: lenistwo (bo nową pracę to trzeba byłoby dopiero znaleźć, a starą przejmuje się z odnośników do starszych prac).

  5. 11 pp

    A ja własnie dostaje szewskiej pasji… jestem w trakcie pisania pracy magisterskiej i niestety dostęp do sporej cześci artykłów w pełnej wersji jest ciężki a czasami wręcz nie możliwy dla przeciętnego człowieka!

  6. 12 KW

    Dlaczego warto czytać i chodzić do biblioteki? Odpowiedź na http://www.lustrobiblioteki.pl/2013/04/dlaczego-warto-chodzic-do-biblioteki.html

  7. 13 pismak

    Inspirujący tekst. „Gnijąc w sieci” zazwyczaj skupiamy się na mainstreamie i blogach. Oldschoolowcy mają jeszcze grupy ale zapominamy – przynajmniej ja to tak widzę po sobie o pierwotnych źródłach. A prace naukowe powinny być cytowane w artykułach popularnonaukowych które czytamy. To jednak rzadkość, ale gdyby było inaczej to może ich popularność znacznie by wzrosła. Co innego bowiem odkrycie a co innego jego interpretacja czy streszczenie. No i oczywiście bariera językowa. Pisma naukowe są najczęściej sztucznie podbijane naukowym językiem by podkreślić ich jakość – tym samym ich przeczytanie jest dość sporym wyzwaniem.



%d bloggers like this: