Szukanie i czytanie artykułów naukowych

…czasem spędzenie kilku miesięcy w laboratorium oszczędzi pójścia na pół godziny do biblioteki

Żyjemy w pięknych czasach: prawie cała literatura naukowa — przynajmniej w naukach przyrodniczych — dostępna jest online. A coraz więcej ważnych artykułów w ogóle jest za darmo dzięki czasopismom open access. Po co czytać artykuły naukowe?

• Artykuły naukowe zmuszają do większej staranności i precyzji niż artykuły popularnonaukowe czy prasówki. Każdy artykuł naukowy został przynajmniej raz, a najczęściej dwa razy zrecenzowany przez anonimowego recenzenta — często innego, zazdrosnego naukowca. Artykuł naukowy musi rozdzielać wyniki od ich interpretacji i od spekulacji, prezentować ze szczegółami wszystkie wyniki i metody itd.



• Wydobywają na światło dzienne rzeczy, z których autorzy nie zawsze są dumni, np. rzeczywistą wielkość obserwowanego efektu albo konkretną grupę, w której go zaobserwowano (np. „jedzenie X zmniejsza zachorowywalność na raka!” zamienia się w „jedzenie X zmniejszyło szansę zachorowania na raka tarczycy o 1% wśród pacjentów pracujących w rosyjskich elektrowniach jądrowych. Efekt nie był istotny statystycznie”).

  

• Najczęściej spuszczają powietrze z nadętych tez stawianych przez wydział prasowy uczelni albo brukowce (zresztą czasem brukowce, a w każdym razie gazety bywają nawet rzetelniejsze).
• Umożliwiają osadzenie artykułu w kontekście: kto już wcześniej co odkrył, co jest naprawdę nowego. Doniesienia prasowe o niedawnym odkryciu paleontologicznym w Birmie zdawały się sugerować przełom. Tymczasem przełom został dokonany już lata temu przez kogo innego (Chrisa Bearda), i to właśnie prace Bearda są warte większej uwagi.

Do szukania literatury najczęściej używa się PubMedu albo Google Scholar. Osobiście wolę Scholara, m.in. dlatego, że łatwo odnaleźć artykuły cytujące jakiś artykuł. Samo szukanie nie jest trudniejsze od googlania, ale warto wiedzieć o paru rzeczach.

Najszybsza metoda czytania pracy naukowej: przeczytać ostatnie zdanie streszczenia (abstraktu). Jeśli autorzy naprawdę coś ciekawego odkryli, mieli konkretną hipotezę, mogą wyciągnąć wyraźne wnioski, to najczęściej odnajdzie się to pod koniec abstraktu. Jeśli pod koniec abstraktu jest ogólnik („our research furthers the knowledge of transcription in M. pneumoniae”), to zapewne nic konkretnego czy ciekawego nie wyszło. Metoda nie jest stuprocentowa (daleko od tego).

Przeglądówki (reviews) nie tylko są warte czytania same dla siebie, ale są też nieocenionym źródłem odnośników do oryginalnych publikacji.

Liczba cytowań publikacji (tzn. ile razy artykuł został cytowany przez inne artykuły) koreluje do pewnego stopnia z wagą i wartością artykułu.

• Jest oczywiście cała masa wartościowych artykułów, które nie doczekały się licznych cytowań.
• Wysoka liczba cytowań jest bardziej pewną informacją niż niska, tzn. wysoka liczba cytowań świadczy najczęściej o tym, że artykuł jest dobry lub ważny, ale odwrotnie słabiej to działa. Niska liczba cytowań nie musi świadczyć o tym, że artykuł jest do niczego. Niestety, artykuły naukowe też poddane są „power law”: kilka najczęściej cytowanych prac zbiera najwięcej odnośników, gdy tysiące innych prac — wcale nie aż o tyle gorszych — zbierają tylko po parę cytowań.
• W różnych dziedzinach słowa „wiele cytowań” mogą oznaczać różne rzeczy; np. w medycynie liczba cytowań artykułu zazwyczaj jest bardzo wysoka, a na przykład w astrofizyce — dość niska

Impact factor czasopisma to średnia liczba cytowań, które uzyskuje praca opublikowana w tym czasopiśmie.

• Nie wszystkie artykuły w Nature są znakomite. I odwrotnie, bywa że znakomite lub bardzo ważne publikacje ukazują się w niszowych czasopismach. Słynna praca Manfreda Eigena i Petera Schustera, „A principle of natural self-organization” ukazała się w „Naturwissenschaften” (impact factor 2.5), ale zebrała — wg. google scholar — prawie dwa i pół tysiąca cytowań. Ale to jeszcze nic: praca opisująca algorytm BLAST (basic local alignment and search tool) ma ponad czterdzieści tysięcy cytowań, a ukazała się w Journal of Molecular Biology (impact factor 4). Dzięki Open Access waga przesuwa się z impact factora czasopisma do liczby cytowań konkretnego artykułu.
• Takie przypadki są jednak rzadkie; jeśli się widzi pracę o rewolucyjnych wnioskach opublikowaną w jakimś tajemniczym czasopiśmie o impact factor bliskim jedności, to nie ma niczego złego w byciu podejrzliwym.
• Zwłaszcza, jeśli na liście autorów jest przynajmniej jedno znane nazwisko ze znaczną liczbą dobrze cytowanych pracy. Praca nikomu nieznanego naukowca nie będzie miała dużych szans dostać się od razu do Nature; trzeba przejść pośrednie etapy publikując w nieco bardziej specjalistycznych czasopismach. Ale jeśli „big shot” z doświadczeniem, bagażem dobrych publikacji i koneksjami publikuje przełomową pracę w jakimś niskoimpaktowym czasopiśmie, to coś tu nie gra.



• Nature i Science są bardzo znane i popularne, ale nawet nie są najwyżej impaktowanymi czasopismami. Poza tym w każdej, choćby bardzo małej dziedzinie istnieje jakieś czasopismo (albo kilka), które w obrębie tej dziedziny mają zasłużoną renomę. Stosunkowo niski impact factor „Bioinformatics” nie oddaje sprawiedliwości prestiżowi tego pisma. Niestety, po prostu trzeba to wiedzieć, albo sprawdzić w ISI (jeśli ma się dostęp).

Wyszukiwanie po odnośnikach w przód. Każdy artykuł opiera się na wielu wcześniejszych artykułach, i odwrotnie, jest cytowany przez inne. Jeśli interesują nas wnioski płynące z pewnego artykułu, to trzeba sprawdzić, co piszą (i w jakim kontekście) artykuły, które go cytują. Często po prostu będą się do niego odwoływały we wstępie, ale bywa, że będą z nim polemizowały czy wręcz obalały przedstawione tam wnioski. Czasami prace o błędnych wnioskach są bardzo wysoko cytowane; praca Fleischmanna i Ponsa o zimnej fuzji ma ponad tysiąc cytowań.

Żeby samemu cytować jakąś pracę, trzeba ją przeczytać. W trakcie szukania literatury często czytam prace po łebkach, może nawet same streszczenia. Ale jeśli się chce zacytować taką pracę (nawet w prywatnej rozmowie), to trzeba ją przeczytać: zdarza się, że abstrakt jest mylący, albo zbyt optymistyczny. Często bywa tak, że — nie znając języka konkretnej dziedziny — abstrakt się źle zrozumiało. Dla mnie to jest męka, bo mam tendencję do czytania byle jak byle dużo, ale nie ma przebacz. Bywa, że nie ma dostępu do pracy, którą się chce przeczytać; coraz częściej jednak się zdarza, że są wolno dostępne alternatywy (inne prace o podobnych wnioskach).

Najczęściej popełniany błąd to poprzestać na lekturze jednej pracy. Widzę to często u studentów, ale nie tylko. Ktoś robi prezentację na „journal club” (albo wpis na bloga), i referuje tylko jedną pracę, ze wszystkimi szczegółami, ale bez ogarnięcia kontekstu i bez skonfrontowania z innymi wynikami. A zazwyczaj jest przynajmniej jedna inna grupa naukowców zajmująca się dokładnie tą samą tematyką.

Drugi typowy błąd to traktowanie pracy jak objawienia albo dzieła geniusza. Mnóstwo prac — w tym bardzo dobrych — została napisana przez takich samych studentów i doktorantów jak czytelnik; zresztą, profesorzy nierzadko też publikują poza swoją dziedziną. Prace często są pisane na chybcika, „pod recenzentów” (zwłaszcza, jeśli trzeba było korygować manuskrypt zgodnie z zaleceniami recenzenta), bez ładu i składu bo termin grantu goni, każdy stara się też sprawić, żeby praca była możliwie „seksowna”. Sposoby manipulacji — świadomej i nieświadomej — wyników to temat na osobną notkę. W mojej dziedzinie, na ile moge to ocenić, błędy w planowaniu eksperymentów i statystycznej obróbce są nagminne, choć nie zawsze mają większe znaczenie. Niedawno w Nature Neuroscience ukazała się praca poświęcona pewnemu konkrentemu rodzajowi błędu statystycznego. Autorzy zbadali kilkaset publikacji z czasopism z górnej półki. Okazało się, że z tych, w których była szansa na popełnienie tego błędu, połowa go popełniła.

Nie brać niczego na wiarę. Największą przyjemność z czytania artykułów naukowych mam wtedy, gdy mnie artykuł najpierw wkurzy, a potem przekona. Wtedy, gdy podchodzę do czegoś uprzedzony, doszukując się co zdanie dziury w całym, i gdy artykuł zdoła pokonać moje uprzedzenia, pobić moje argumenty i przeciągnąc mnie na swoją stronę. Niestety, z krytykowaniem też nie należy przesadzać, bo można łatwo paść ofiarą efektu Dunninga-Krugera.

Wykrywanie bulszitu. Z czytaniem artykułów jest trochę jak z recenzowaniem ich: nie można ich tak po prostu odrzucić, jeśli się nie potrafi szczegółowo wypunktować dlaczego. Ale jak już zrobiłem sobie taką listę, i skonfrontowałem ją z artykułem (i ewentualnie artykułami, które są cytowane, i artykułami na ten sam temat), i dalej nie bangla, to może faktycznie jest to bulszit. Bulszitu jest więcej niżby się wydawało.