Sobota, 1 października 2022

Kłopoty z odtwarzaniem wyników

18 września 2022

Przez ostatnie kilka lat naukowcy debatowali nad tym, czy w badaniach biomedycznych mamy do czynienia z kryzysem odtwarzalności. Nie jest to zaskoczeniem: jak często jesteś w stanie powtórzyć dokładne wyniki swoich własnych eksperymentów, nie mówiąc już o tych z innego laboratorium? Jasne, istnieje pewna zmienność, biorąc pod uwagę naturę złożonych systemów komórkowych. Jednak jeśli chodzi o wykorzystanie tych odkryć do czegoś większego, to powtarzalność wyników ma kluczowe znaczenie. Dlaczego więc wydaje się, że wyniki nie mogą być potwierdzone zbyt często? I jak duży jest to naprawdę problem?

Dlaczego tak trudno jest odtworzyć wyniki innych?

Odpowiedź na to pytanie leży w tym, jak trudno jest odtworzyć wyniki z własnego laboratorium. Pomyślcie o wszystkich przypadkach, kiedy musieliście powtórzyć czyjś eksperyment, albo dlatego, że ta osoba skończyła studia, albo dlatego, że musieliście użyć jej poprzednich wyników jako kontroli, aby upewnić się, że wasz własny eksperyment działa. Aby idealnie odtworzyć wyniki starego kolegi, musielibyście przekopać się przez nieskończoną ilość książek laboratoryjnych, w tym, miejmy nadzieję, przez ich SOP, odkupić odczynniki, które wcześniej straciły ważność, a kiedy już macie większość (ale nigdy wszystkie) szczegóły, mieć nadzieję, że partie komórek lub myszy, których używacie, zachowały te same cechy, które miały, kiedy wasz kolega z nimi pracował. Teraz wyobraź sobie, że robisz to samo dla badania, które miało miejsce poza twoją instytucją akademicką, gdzie w artykule wymieniono tylko połowę użytych odczynników i nie wyjaśniono w pełni żadnego z protokołów. Ciągłość jest trudna do utrzymania, szczególnie w środowisku, w którym większość naukowców pracuje tylko przez kilka lat przed opuszczeniem laboratorium. Jedna grupa odkryła nawet, że próbując skontaktować się z badaczami 500 oryginalnych artykułów, tylko 25% powiedziało, że zachowało swoje dane, podczas gdy 25% autorów nigdzie nie można było znaleźć, kropka.1

Zakres problemu

Nie można wiedzieć, które badania są godne zaufania w sferze nauki, dopóki inni nie spróbują powtórzyć ich wyników. Niektórzy podjęli inicjatywę, aby ocenić, czy rzekomy "kryzys odtwarzalności" jest prawdziwy, próbując odtworzyć wyniki z garstki artykułów o dużym znaczeniu. W 2012 roku C. Glenn Begley i jego zespół z Amgen przetestowali wyniki 53 prac i wykazali, że tylko 6 (11%) z nich było powtarzalnych.3 Rok wcześniej naukowcy z firmy Bayer stwierdzili, że tylko 35% badanych przez nich badań można było odtworzyć w całości.4 Jedną z większych inicjatyw ostatnich lat jest projekt Reproducibility Project: Cancer Biology (RP:CP), którego celem było odtworzenie wyników z 50 dużych prac na temat raka. Projekt rozpoczął się po tym, jak dwie firmy farmaceutyczne skarżyły się, że nie mogą powtórzyć wyników kilku badań nad rakiem. Projekt był finansowany z około 25 000 dolarów na badanie i miał trwać tylko 1 rok. Niestety, ta liczba skurczyła się do zaledwie 18 badań od czasu rozpoczęcia projektu w 2013 roku. Dlaczego? Wkradły się te same problemy, które nękają przeciętnych naukowców, uniemożliwiając powtórzenie kilku badań: potrzebne było więcej funduszy niż pierwotnie sądzono, oryginalne materiały były niedostępne lub w złym stanie, a odtworzenie protokołów stosowanych w oryginalnych artykułach było prawie niemożliwe ze względu na zagubione informacje. Na dodatek tylko 5 z 10 powtórzonych badań opublikowanych z RP:CP było w większości powtarzalnych.1,5

Rozwiązywanie problemów z odtwarzalnością w środowisku akademickim

RP:CP został częściowo sfinansowany przez Science Exchange, kierowaną przez Elizabeth Iorns w Palo Alto w Kalifornii.1,5 Science Exchange uruchomiło również w 2012 roku "Inicjatywę na rzecz odtwarzalności", której celem było skłonienie naukowców do walidacji swoich prac w niezależnych laboratoriach. Niestety, po czterech latach nikt nie skorzystał z tej oferty, najprawdopodobniej dlatego, że obawiali się, iż zostaną uznani za nadużywających pieniędzy z grantów poprzez podwójne sprawdzanie swoich wyników. Jeffrey S. Mogil i Malcolm R. Macleod, neuronaukowcy odpowiednio z McGill University i University of Edinburgh, zasugerowali, że wszystkie badania na zwierzętach dotyczące terapii chorób powinny być poddawane "próbom przedklinicznym", w których główne założenia każdego badania są niezależnie weryfikowane przy użyciu rygorystycznych metod statystycznych i rygorystycznego projektu eksperymentalnego (np. zaślepienie i randomizacja).6 Uniwersyteckie biura transferu technologii (TTO), które zajmują się komercjalizacją nowych technologii, również zostały uznane za sposób na zwiększenie odtwarzalności, ponieważ mogą być wykorzystywane do finansowania zewnętrznych laboratoriów w celu weryfikacji wyników.4

Główną wadą wszystkich tych opcji jest to, że powtarzanie eksperymentów wymaga dużych nakładów finansowych. Niektórzy nie są przekonani, że istnieje problem związany z kryzysem odtwarzalności, ale nadal istnieje wiele sposobów, w jaki naukowcy mogą poprawić wiarygodność własnych wyników bez potrzeby niezależnej weryfikacji.2 Zastosowanie wyższego progu statystycznego zwiększyłoby prawdopodobieństwo, że Twoje wyniki są powtarzalne, a złożenie bardziej szczegółowych protokołów do czasopism akademickich ułatwiłoby naukowcom z innych laboratoriów potwierdzenie Twoich badań. Zrozumiałe jest, że nie każdy ma nieograniczone zasoby, aby powtarzać eksperymenty, ale wszyscy możemy dołożyć swoją cegiełkę, analizując sposób przeprowadzania badań i czyniąc je tak wydajnymi i technicznie spójnymi, jak to tylko możliwe. Samo prowadzenie przejrzystego, czytelnego rejestru wszystkich próbek, linii komórkowych i wyników eksperymentów przy użyciu systemu zarządzania informacjami laboratoryjnymi, w połączeniu z etykietami z kodami kreskowymi, stanowi długą drogę do tego, aby inni w Twoim laboratorium mogli powtórzyć Twoje wstępne wyniki.

LabTAG firmy GA International jest wiodącym producentem wysokiej jakości etykiet specjalnychi dostawcą rozwiązań identyfikacyjnych stosowanych w laboratoriach badawczych i medycznych, a także w instytucjach opieki zdrowotnej.

Referencje:

  1. Engber D. Cancer Research is Broken. Slate. April 2016:1-11.
  2. Fanelli D. Opinia: Czy nauka naprawdę stoi w obliczu kryzysu odtwarzalności i czy jest nam potrzebna? Proc Natl Acad Sci. 2018;115(11):2628-2631.
  3. Begley C, Ellis L. Raise standards for preclinical cancer research. Nature. 2012;483:531-533.
  4. Owens B. Reliability of 'new drug target' claims called into question. Nature. September 2011:1-5.
  5. Kaiser J. Plan zreplikowania 50 ważnych prac na temat raka zmniejsza się do zaledwie 18. Science (80- ). July 2018:1-13.
  6. Mogil J, Macleod M. Nie ma publikacji bez potwierdzenia. Nature. 2017;542:409-411.