Synteza wyników bez metaanalizy. Jak opisać badania, które użyły różnych miar?

Wyobraź sobie dwa badania, w których 60% studentów po szkoleniu samodzielnie znalazło książkę w katalogu. W pierwszym z nich z zadaniem poradziło sobie także 45% osób korzystających ze standardowej instrukcji, a w drugim 50% osób mających dostęp do zwykłych materiałów biblioteki. Stąd dwie różne przewagi, 15 i 10 punktów procentowych. Obok masz artykuł ze średnią 8,1 na skali do 10 i raport z liczbą otwarć instrukcji. Które liczby mogą stać w jednym zdaniu o wykonaniu zadania? Te z dwóch pierwszych badań, pod warunkiem że obok każdej wskażesz grupę odniesienia. Wynik testu i rejestr otwarć mają własne pytania.

Pracę nad syntezą zacznij od zadania jednego konkretnego pytania. Do każdej liczby dopisz, kogo dotyczy, co porównano, kiedy mierzono wynik i jaką ma jednostkę. Zapisz przedział lub inne dane o precyzji, jeśli autorzy je podali. Później łatwiej rozpoznać, które wyniki można zestawić bez zmiany ich znaczenia. W fikcyjnym przykładzie o szkoleniu bibliotecznym spotkasz jeszcze dwie częste sytuacje. Jeden raport prawdopodobnie dotyczy części uczestników opisywanych w innej publikacji. W kolejnym autorzy zaplanowali potrzebne porównanie, ale jego wyniku nie podali.

Który wynik odpowiada na Twoje pytanie?

Czy po krótkim szkoleniu z katalogu student potrafi samodzielnie znaleźć konkretną publikację? Do odpowiedzi najbardziej przyda się rezultat zadania. W rejestrze otwarć można szukać informacji o korzystaniu z instrukcji, a w ankiecie o tym, jak uczestnicy ocenili jej przydatność. To też przydatne materiały. Pomagają opisać wdrożenie albo podpowiadają, czego szukać przy wyjaśnianiu wyników. Sama pozytywna ocena instrukcji nie powie jednak, ilu studentów odnalazło książkę.

„Skuteczność szkolenia” jest na tym etapie za szeroką nazwą. „Student samodzielnie znajduje wskazaną książkę w katalogu w ciągu 10 minut” pozwala sprawdzić, jak autorzy doszli do wyniku. Potrzebna jest jeszcze informacja, kto wykonał zadanie i jakie materiały miała grupa odniesienia. Jeżeli autor podaje tylko udział osób, które wykonały zadanie po szkoleniu, możesz opisać jego poziom w tej grupie. Żeby obliczyć różnicę, trzeba mieć również odsetek w grupie porównawczej.

Różnica w punktach procentowych może pochodzić z losowanego porównania, z zestawienia dwóch roczników albo z obserwacji przed i po szkoleniu. Za każdym razem trzeba inaczej czytać wynik. Losowanie przy właściwym projekcie i analizie może wspierać ocenę wpływu szkolenia. Przy porównaniu roczników warto sprawdzić, czy studenci mieli podobne doświadczenie. W badaniu przed i po znaczenie ma również to, co wydarzyło się między pomiarami. Jednostka rachunku pozostaje ta sama. Podstawa do wniosku o przyczynach zależy od projektu.

Co wpisać do karty wyniku?

Dobra karta pozwala drugiej osobie odnaleźć liczbę i sprawdzić jej znaczenie. Wystarczy dokument lub arkusz. Jeśli artykuł podaje pięć wyników, można dać każdemu osobny wiersz. Przy takim zapisie trudniej przypisać średniej z testu mianownik podany obok innego zadania.

• Populacja i jednostka. Jeden wynik może dotyczyć osoby, zespołu, zgłoszenia albo próby. Gdy każdy z 60 studentów wykonuje po trzy zadania, do raportu może trafić 180 prób. Liczba studentów nadal wynosi 60.
• Porównanie i warunki. Co otrzymała każda grupa? Inny kurs online i brak szkolenia to dwie różne podstawy porównania. Wpisz także sposób przydziału oraz to, czy mierzono poziom wyjściowy.
• Wynik i miernik. Ukończenie zadania może oznaczać znalezienie książki przed upływem 10 minut. Wynik punktowy może uwzględniać poprawność kilku osobnych czynności. Ustal, czy liczba oznacza punkty, czas, zdarzenia czy udział osób.
• Skala i kierunek. Większa liczba punktów może oznaczać więcej poprawnych odpowiedzi lub więcej błędów. Krótszy czas zwykle świadczy o sprawniejszym wykonaniu, pod warunkiem że zadanie rozwiązano poprawnie. Zapisz także zakres skali.
• Mianownik i termin. W mianowniku mogą być wszyscy przydzieleni, osoby z dostępnym wynikiem albo tylko ci, którzy ukończyli kurs. Zadanie dzień po szkoleniu i zadanie po miesiącu pozwalają opisać różne etapy.
• Wielkość i precyzja. Zapisz surowe liczby, oszacowanie i dostępny przedział lub błąd standardowy. Jeśli któregoś elementu brakuje, zaznacz to w karcie. Czasem w publikacji znajdziesz dane pozwalające odtworzyć miarę.
• Miejsce w źródle. Numer strony, nazwa wykresu lub wskazanie dodatku pomagają wrócić do wyniku. Zaznacz, czy drugi raport korzysta z tej samej próby. Jedno badanie może mieć artykuł główny, późniejszy i oddzielny raport o podgrupie.

Jeśli podczas pracy nad kartami trudno ustalić, które pytania w ogóle zadawać lekturze, zobacz poradnik o porównywaniu badań w przeglądzie literatury. Tu przyjmujemy, że wyniki są już wypisane. Można wtedy wziąć przykładowo dwie karty z odsetkami i przejść po kolei przez definicję wyniku, porównanie i sposób liczenia. Już w tej parze często widać, czy najpierw trzeba uzgodnić jednostkę, czy opisać osobno dwa pomiary.

Wspólna jednostka to dopiero początek

Dwie minuty to 120 sekund. Ten prosty przelicznik działa dla dwóch badań, w których stoper uruchamiano i zatrzymywano w taki sam sposób. Jeśli jeden zespół włączał go po przeczytaniu instrukcji, a drugi w chwili jej wyświetlenia, jeden z pomiarów obejmuje też czytanie. Po przeliczeniu oba wyniki nadal opisują różne odcinki czasu. Z punktami jest podobnie. Dwa punkty różnicy na skali 0-10 można zapisać jako 20 na skali 0-100, o ile chodzi o liniową zmianę zapisu tej samej skali. Nadal są to punkty skali, nawet jeśli ktoś przy wyniku dopisał znak procentu.

Czasem dwie skale powstały po to, żeby mierzyć tę samą cechę, choć mają różne pytania i zakresy. Przy porównywalnych wynikach, zgodnym kierunku i odpowiednich danych o zmienności można w niektórych projektach użyć standaryzowanej różnicy średnich. Sama zmiana jednostki nie sprawi jednak, że czas przygotowania zgłoszenia i ocena zadowolenia staną się wskaźnikami tej samej cechy. Warto też sprawdzić, jak zmienność grup wpływa na wynik. Takie samo przesunięcie średniej może dać inną wartość standaryzowaną przy innym rozrzucie wyników.

Pozorną zgodność łatwo też zobaczyć przy dwóch procentach. Jeden artykuł podaje udział osób, które dotarły do strony katalogu. Drugi liczy tych, którzy wykonali zadanie. W pierwszym zdarzeniem jest otwarcie strony, w drugim poprawne wykonanie czynności. Gdy dodatkowo pierwsze badanie liczy wszystkich przydzielonych, a drugie tylko aktywnych czytelników instrukcji, różni się też podstawa. To może mieć znaczenie nawet przy jednakowej definicji sukcesu. Jeżeli trudna część zadania polega na dotarciu do katalogu, pominięcie osób, które do niego nie weszły, zmienia pytanie, na jakie odpowiada odsetek.

Które wyniki trafią razem i z którego terminu?

Z treści kart można wyodrębnić porównania wykonania zadania, wyniki testów punktowych i dane o korzystaniu z materiałów. Potem przy każdej grupie sprawdzić projekt, termin oraz warunek odniesienia. Na przykład porównania zweryfikowanego wykonania zadania można opisać razem, jeśli zakres pytania dopuszcza oba sposoby szkolenia i jasno widać, co otrzymały grupy odniesienia. Wynik testu lub dane z rejestru mogą wejść do innych części opisu. Jedno badanie może dostarczyć wynik do kilku pytań. Przy każdym z nich nadal obowiązuje jawna reguła wyboru, żeby kilka raportów albo miar tej samej próby nie liczyło się bez uzasadnienia jako osobne dowody.

Załóżmy, że interesuje Cię samodzielne wyszukiwanie około tygodnia po zajęciach. Pomiar zaraz po lekcji może wyglądać lepiej, ale dotyczy innego terminu. W metodach można z góry wyznaczyć okno od 5 do 10 dni i określić, jak wybrać jeden pomiar, gdy dostępne są dwa. Późniejszy wynik nadal da się omówić osobno. Czasami reguła powstaje dopiero po sprawdzeniu, co raportowali autorzy. Wtedy w notatce warto zapisać, które materiały znano w momencie decyzji i czego wymagała zmiana. Taki zapis pozwala sprawdzić, czy wybór wynikał z pytania, czy z uzyskanych liczb.

Nawet zgodna nazwa „zadanie ukończone” wymaga doczytania metody. Jeśli wyniki sprawdzał obserwator, ukończenie może oznaczać, że student odnalazł książkę i wskazał prawidłową sygnaturę. W rejestrze kliknięć może oznaczać zatwierdzenie formularza. Kryterium dla grupy opisywanej razem da się sformułować prosto, na przykład „zweryfikowane samodzielne wykonanie zadania”. Czytelnik rozumie wtedy, czemu raport z samego formularza ma oddzielne miejsce.

Co można pokazać bez wspólnej miary?

Oszacowania możesz przedstawić w jednostkach z poszczególnych badań razem z definicjami, porównaniami i dostępnymi przedziałami. Możesz też w uzasadnionej grupie omówić zgodność kierunków. Cochrane odróżnia formalne zestawienie kierunku efektu od głosowania według istotności statystycznej [2]. W głosowaniu wynik badania zostaje etykietą zależną między innymi od liczebności i precyzji. Samo „trzy efekty istotne i dwa nieistotne” pomija wielkość i kierunek różnic. Przez to badania z podobnymi oszacowaniami mogą trafić na przeciwne strony tego rachunku.

Przy opisie kierunków trzeba określić, co jest korzyścią, jak wybierasz jeden wynik na niezależne badanie w obrębie pytania i co robisz z zerem lub brakiem danych. Jeżeli kierunek jednego pomiaru trzeba odwrócić, podaj regułę. Mniej błędów i więcej poprawnych odpowiedzi mogą wskazywać korzyść, choć jedna liczba maleje, a druga rośnie. Kierunek daje tylko część informacji. Obok dodatniego i ujemnego wyniku warto pokazać dostępne wielkości oraz przedziały, jeśli wiadomo, co mierzą. W przykładzie dwa porównania podają różnice w punktach procentowych. Użycie samych strzałek zasłoniłoby wartości, które możemy podać wprost.

Sześć publikacji o szkoleniu bibliotecznym

Pytanie jest takie jak na początku. Czy po krótkim szkoleniu studenci potrafią samodzielnie znaleźć w katalogu konkretną książkę w ciągu 10 minut od rozpoczęcia zadania? Główny wynik to odsetek osób, które się w tym czasie zmieściły i poprawnie wykonały zadanie. A, B, B2, C, D i E oznaczają sześć fikcyjnych publikacji. B2 może opisywać część uczestników badania B. Liczby służą do ćwiczenia na materiale o różnym stopniu kompletności.

A i B. Ten sam odsetek po szkoleniu, dwie różnice względem grup odniesienia

A. Dwie niezależne grupy pracowały równolegle. Po tygodniu uczestnicy szkolenia stacjonarnego oraz studenci, którzy dostali standardową instrukcję PDF, podeszli do tego samego zadania. W pierwszej grupie zaliczyło je 36 z 60 osób, w drugiej 27 z 60. Mamy pełne wyniki przydzielonych osób. Otrzymujemy 60% w grupie szkolonej i 45% w grupie z instrukcją. Różnica wynosi 15 punktów procentowych. Jej 95-procentowy przedział ufności dla niezależnych proporcji wynosi od około -2,8 do 31,5 punktu procentowego. Obliczamy go metodą Newcombe'a opartą na przedziałach Wilsona [3].

B. W innej bibliotece takie samo zadanie oceniono po dziewięciu dniach. Żaden z uczestników nie brał udziału w A. Badano krótkie szkolenie online i porównano je z dotychczasowym dostępem do materiałów biblioteki, bez dodatkowej instrukcji PDF. W dwóch niezależnych grupach zadanie ukończyło po 48 osób. W szkolonej było 80 uczestników, w drugiej 96, więc te same liczniki dały dwa odsetki, 60% i 50%. Różnica wyniosła 10 punktów procentowych. Przy tej samej metodzie i założeniach 95-procentowy przedział dla różnicy mieści się w przybliżeniu od -4,7 do 24,0 punktów procentowych.

Co pomija stwierdzenie „w obu badaniach było 60%”? Nie uwzględnia tego, co osiągnęły grupy odniesienia. Pomija też precyzję oszacowań. Przedziały dla obu różnic obejmują wartości poniżej zera i wyraźne dodatnie różnice. Dane i przyjęta metoda dopuszczają więc niewielką przewagę grupy odniesienia, jak również zwiększenie odsetka o kilkanaście punktów procentowych po szkoleniu. Z samego przedziału nie wnioskujemy o prawdopodobieństwie poszczególnych wartości. Dodatni wynik punktowy daje informację o zaobserwowanym kierunku, a szerokość przedziału pokazuje, ile wciąż nie wiadomo o wielkości różnicy.

Żeby odtworzyć przedział, najpierw wyznacz oddzielne granice Wilsona dla obu proporcji. Przy obliczaniu różnicy „szkolenie minus grupa odniesienia” do dolnego końca potrzebujesz dwóch odległości. Pierwsza to odległość od wyniku szkolenia do jego dolnej granicy, druga od wyniku grupy odniesienia do jej górnej granicy. Każdą podnosisz do kwadratu, dodajesz kwadraty, a z sumy wyciągasz pierwiastek. O tę wartość obniżasz oszacowanie różnicy. Dla górnej granicy bierzesz odległości do górnej granicy szkolenia i dolnej granicy grupy odniesienia. Pierwiastek z sumy ich kwadratów dodajesz do oszacowania różnicy. W A granice dla 36 z 60 to około 47,4% i 71,4%, a dla 27 z 60 około 33,1% i 57,5%. W rachunku użyj wartości przed zaokrągleniem. Jeśli porównanie jest sparowane, uczestników mierzono wielokrotnie lub losowano całe grupy zajęciowe, skorzystaj z przedziału podanego przez autorów albo metody uwzględniającej ten projekt.

B2. Dodatkowy raport, prawdopodobnie ta sama rekrutacja

Autorzy B2 opisują zadanie po dziewięciu dniach dla części studentów z jednego miejsca. W metodach podają tę samą rekrutację i odsyłają do raportu B. B2 może dopowiedzieć, jak poradziła sobie określona podgrupa. Jako podstawę głównego porównania weź B, jeśli to tam jest wynik potrzebny do odpowiedzi na pytanie. Podgrupę można omówić osobno, z informacją, czy jej analizę przewidziano z góry. Czytelnik powinien wiedzieć, że obie publikacje prawdopodobnie korzystają z tych samych danych przynajmniej w części.

Czasami jedynym śladem są nazwiska autorów lub ten sam okres badania. To za mało, aby potwierdzić, że próby się pokrywają. Więcej powiedzą numer projektu, ośrodki, kryteria, daty rekrutacji, wielkości podgrup albo odwołanie do raportu głównego. Jeżeli dane pozwalają jedynie podejrzewać zbieżność, zachowaj tę informację przy obu kartach i opisz, jak wpłynęła na syntezę. Sześć publikacji w folderze może obejmować mniej niż sześć osobnych badań. Więcej o szukaniu pierwotnego raportu jest w poradniku jak odróżniać przegląd i badanie pierwotne w magisterce.

C i D. Test punktowy i korzystanie z instrukcji

C. Test na skali od 0 do 10 łączył znajomość funkcji katalogu z elementami zadania. Po zajęciach dwie surowe średnie wyniosły 8,1 i 7,4 punktu. Różnica 0,7 punktu dotyczy wyniku tego testu. Z tych liczb nie odtworzysz, ilu uczestników odnalazło książkę w wyznaczonym czasie. Fikcyjny raport nie zawiera odchyleń standardowych ani przedziału dla różnicy, więc w syntezie podaj średnie i nazwij lukę w danych. Podzielenie 0,7 przez 10 da ułamek pełnego zakresu skali. Do standaryzowanej różnicy średnich lub przedziału potrzebujesz innych informacji.

D. Rejestr odnotował 112 otwarć instrukcji w trakcie wdrożenia. Jeżeli jedna osoba otwierała ją trzy razy, mogła zostawić trzy takie zapisy. Jednostką jest zdarzenie. Autorzy nie podali odsetka osób, które ukończyły zadanie, ani wyniku w grupie odniesienia. W syntezie liczba 112 może więc opisywać zarejestrowane użycie materiału. Jeśli później dostaniesz liczbę unikatowych użytkowników oraz liczbę osób z dostępem do instrukcji, można zbudować osobny wskaźnik zasięgu. Nadal dotyczyłby on korzystania z materiału.

E. Autorzy zaplanowali porównanie, ale wyniku brakuje

W metodach E zapowiedziano porównanie samodzielnego ukończenia zadania. W tekście, tabelach i dodatkach znajdujemy jedynie liczbę osób zapisanych na szkolenie oraz ocenę jego organizacji. W karcie można wpisać „brak danych do oszacowania wyniku głównego” i odnotować sprawdzone miejsca. Gdy masz wyłącznie streszczenie, uczciwszy jest zapis „nie ustalono na podstawie dostępnego materiału”. To mówi o granicy tego, co udało się sprawdzić. Jeśli dostępny jest protokół, porównaj go z raportem. Samo pominięcie zapowiadanego wyniku nie pozwala powiedzieć, czy niepokazana różnica wyniosła zero ani w którą stronę mogła iść.

W tym przykładzie mamy dwa niezależne oszacowania ukończenia zadania, raport prawdopodobnie częściowo pokrywający się z B, wynik osobnego testu, dane o użyciu materiału oraz zaplanowane porównanie bez danych. Zdanie w rodzaju „pięć badań potwierdziło skuteczność” zacierałoby jednocześnie różnice między miarami i zależność między raportami. Ukończenie zadania da się omówić przy A i B. Wynik punktowy można opisać przy C, częstotliwość otwarć przy D, a brak wyniku przy E. Taki akapit pozwala wskazać, na które części pytania da się odpowiedzieć.

Jak zapisać decyzje w metodach, a liczby w wynikach?

Po lekturze metod czytelnik powinien umieć odtworzyć Twój podział publikacji. Dlaczego średnie 8,1 i 7,4 zostały opisane osobno, a A i B trafiły do wspólnego akapitu? Podaj jednostkę obserwacji, zakres czasu, definicję zdarzenia, sposób postępowania z powiązanymi raportami i powód, dla którego nie obliczono wielkości łącznej. Sformułowanie „badania były heterogeniczne” zostawia to wszystko bez odpowiedzi.

Przy A i B mamy porównania wykonania zadania w tej samej jednostce, lecz program stacjonarny porównywano ze standardową instrukcją PDF, a online z dotychczasowym dostępem do materiałów. Różniły się też dni pomiaru. To powody, żeby podać obie różnice z objaśnieniem warunków i nie tworzyć z nich wspólnej estymaty. W C dochodzi inny sposób pomiaru wyniku, a D nie podaje danych o ukończeniu zadania ani porównania. Przy E nie dało się odtworzyć zapowiadanego wyniku. Warto wymienić te powody przy konkretnych publikacjach. Wyjaśniają one różne decyzje.

Kiedy przydaje się SWiM?

Campbell i współautorzy opisali SWiM jako wytyczną raportowania przeglądów systematycznych ilościowych efektów interwencji, gdy przynajmniej części wyników nie łączy się w metaanalizie [1]. Wytyczna obejmuje dziewięć obszarów. Pyta o grupowanie badań, wybór miar i przeliczeń, sposób syntezy, wybór wyników, badanie różnic, ocenę pewności dowodów, sposób prezentacji, opis wyników i ograniczenia. Metoda syntezy jest jedną z decyzji, które autor ma uzasadnić. Jej dobór nadal zależy od pytania i dostępnych danych.

W rozdziale opartym na literaturze można skorzystać z tej pomocy przy wyjaśnianiu, jak powstały grupy i czego zabrakło w źródłach. Formalna deklaracja zgodności z SWiM wymaga sprawdzenia, czy rodzaj pracy mieści się w zakresie wytycznej i czy raport rzeczywiście ją spełnia. W nazwie przeglądu warto odzwierciedlić sposób wyszukiwania, wyboru i oceny materiału. Gdy potrzebujesz opisać samą kwerendę, przyda się dziennik wyszukiwania źródeł.

W rozdziale Cochrane o metodach syntezy można znaleźć kilka sposobów prezentacji wyników poza obliczeniem wspólnego efektu [2]. Gdy potrzebujesz typowej wielkości różnicy, ale źródła podają tylko kierunek oszacowań, z tekstu powinno wynikać, jakiej informacji nie dało się odtworzyć. Jeśli podano wielkości i przedziały, można zestawić dostępne wartości obok definicji. Wykres z jedną osią wymaga wspólnego znaczenia jednostki. Gdy każda miara odpowiada na inne pytanie, czytelne będą oddzielne fragmenty tekstu albo osobne panele z własnymi jednostkami.

Przykładowy zapis do metod i wyników

Metody. „Wyniki pogrupowano według tego, czy opisywały samodzielne ukończenie zadania, wynik testu punktowego, czy korzystanie z materiałów. Dla ukończenia zadania zestawiono różnice odsetków w punktach procentowych z przedziałami dla porównań o dostępnych liczebnościach. Za wynik główny uznano zadanie ocenione od 5 do 10 dni po szkoleniu. Dla szkolenia stacjonarnego punktem odniesienia była standardowa instrukcja PDF. Dla szkolenia online był nim dotychczasowy dostęp do materiałów biblioteki. Przy powiązanych raportach z tej samej próby uwzględniono jedno główne porównanie. Z uwagi na różnice w przebiegu szkoleń, grupach odniesienia i terminie pomiaru zestawiono dwa wyniki bez obliczania wspólnego efektu. Bez grupy odniesienia opisywano dostępny poziom wyniku, a o użyciu materiału pisano wtedy, gdy było mierzone”.

Wyniki. „W dwóch niezależnych porównaniach oszacowania różnic odsetka ukończenia zadania wyniosły 15 punktów procentowych w A i 10 w B na korzyść grupy szkolonej. Oba 95-procentowe przedziały ufności obejmowały zero. Raport B2 prawdopodobnie obejmował część uczestników B i posłużył do opisu podgrupy. C podało różnicę 0,7 punktu na skali od 0 do 10, bez danych potrzebnych do odtworzenia przedziału i bez odsetka ukończenia zadania. W D podano liczbę otwarć instrukcji, a w E brakowało danych do zaplanowanego porównania”.

W ten sposób widać dodatni kierunek dwóch porównań i ograniczoną precyzję ich oszacowań. W dyskusji można zapytać, czy przebieg szkoleń, wcześniejsze doświadczenie studentów lub sposób przygotowania grup pomogłyby wyjaśnić różnicę między badaniami. Gdy raporty nie dostarczają na ten temat danych, uzasadniony będzie zapis w formie hipotezy. Nie sposób ustalić roli tych czynników na podstawie samych dwóch odsetków.

Co sprawdzić, gdy wyniki wyglądają podobnie?

Dwa podobne oszacowania, dwa różne przedziały

Wyobraź sobie, że w jednym artykule różnicę oszacowano na 10 punktów, a w innym na 11. Pierwsze badanie obejmowało niewiele osób i przedział wynosił od -7 do 27. W drugim przedział mieścił się od 7 do 15. Wyniki mogą więc dostać różne etykiety istotności przy bardzo podobnych oszacowaniach punktowych. W syntezie warto podać obie wartości i ich przedziały. Jeśli pytanie dotyczy tego, czy wielkość efektu różni się między badaniami, trzeba ją bezpośrednio porównać odpowiednią metodą. Dwa osobne wyniki testu względem zera do tego nie wystarczą.

Liczba uczestników jest ważna dla oceny precyzji, ale nie rozstrzyga o tym, które badanie daje podstawę do wniosku. Duże badanie może porównywać inne warunki, mieć większe ryzyko obciążenia albo mierzyć coś odległego od Twojego pytania. Jeżeli da się zestawić dwie publikacje, w odrębnych zdaniach wskaż wielkość różnicy, dostępne dane o precyzji i przydatność obu badań. Nawet bez formalnego porównania można opisać różnice, które widać w metodach, a pytanie o ich przyczyny zostawić otwarte.

Kilka miar w jednym badaniu

Autorzy mogą podać dla tego samego zadania odsetek ukończenia, średni czas i liczbę błędów. Jeżeli z góry ustalono definicję wyniku głównego, skorzystaj z niej. Pozostałe wskaźniki można pokazać w dalszej części opisu. Jeśli decyzję podejmujesz dopiero po lekturze materiału, zapisz regułę i stosuj ją także przy kolejnych źródłach. To szczególnie ważne przy kilku terminach pomiaru, progach zaliczenia i wersjach tej samej skali. Jeżeli z każdego artykułu weźmiesz najkorzystniejszy wynik, czytelnik zobaczy tylko wybrane momenty i miary.

Kilka miar może też opisywać to samo zdarzenie. Różnica ryzyka, iloraz ryzyka i iloraz szans porównują częstość, ale każdy robi to na swój sposób. Sprawdź punkt odniesienia, definicję zdarzenia i mianowniki. Przeliczenie zależy od rodzaju dostępnych danych i zgodności tych informacji. Gdy podstawy są niepełne, opisz wyniki w jednostkach podanych przez autorów i wyjaśnij, co można z nich odczytać. Przy oszacowaniu skorygowanym potrzebujesz też opisu modelu, grupy odniesienia i populacji, do której odnosi się wynik. Surowy odsetek z tego samego artykułu może pomóc opisać próbę. Sam nie odtworzy oszacowania skorygowanego.

Braki i wielokrotne pomiary zmieniają podstawę rachunku

Dwie prace mogą podawać średni czas wykonania zadania. W pierwszej liczy się go tylko dla studentów, którzy skończyli. W drugiej osobom, które nie skończyły, przypisuje się 10 minut, zgodnie z limitem. Pierwsza średnia opisuje osoby, które dotarły do końca. Druga uwzględnia nieukończone próby, a 10 minut może być przyjętą wartością, nie zaobserwowanym czasem ukończenia. W karcie wyniku zapisz, ilu osobom brakowało ukończonej próby i co autorzy zrobili z ich danymi. Wtedy nawet wspólna etykieta „czas wykonania” nie ukryje różnicy między pomiarami.

Jeżeli każdy student wykonał po pięć prób, warto ustalić, czy autor podaje średnią z prób, czy średnią z wyników studentów. Przy brakach w kolejnych podejściach obie metody mogą dawać inną wagę poszczególnym osobom. Analiza może oczywiście korzystać ze wszystkich pomiarów. Trzeba wiedzieć, kto lub co było losowane i jak uwzględniono zależność wyników tej samej osoby. Jeżeli raport mówi o 300 próbach, zapis „300 studentów” zawyżyłby zarówno liczebność, jak i wrażenie o ilości niezależnych informacji.

Wyniku z właściwego terminu nie ma w dostępnym materiale

Bywa, że w metodach widnieje pomiar po miesiącu, a wyniki pokazują tylko pomiar następnego dnia. Zajrzyj do dodatków, protokołu i powiązanych artykułów, jeśli znajdują się w zakresie pracy. Jeżeli wynik się nie znajdzie, zapisz w karcie „wynik po miesiącu nieodnaleziony”. Wczesny pomiar może się przydać w części o krótkim okresie. Z jednego dnia nie da się wywnioskować, czy zmiana utrzymała się przez miesiąc. Jeśli rozszerzasz okno czasowe, nazwij tę decyzję i wskaż, jaki wniosek jest po niej możliwy.

Brak może też zależeć od zakresu poszukiwań. Jeśli uwzględniono tylko teksty dostępne w całości albo przeszukano jedną bazę i jeden język, zaznacz to przy wniosku o luce. „W przejrzanym materiale nie znaleziono pomiaru po miesiącu” jest zdaniem o Twojej kwerendzie. Żeby stwierdzić, że nikt nie przeprowadził takiego pomiaru, trzeba byłoby mieć szerszą podstawę. Warto przy jednym zdaniu od razu pokazać zakres poszukiwań, gdy to on ogranicza wniosek.

Czy z akapitu da się wrócić do źródła?

Weź zdanie „szkolenie poprawia samodzielne wyszukiwanie”. Na jakich porównaniach się opiera? Czy w obu mierzono samodzielne wykonanie zadania? Czy wynik był odsetkiem, czasem, punktami skali lub deklaracją? W naszym ćwiczeniu da się napisać konkretniej. „Dwa porównania wykonania zadania dały dodatnie oszacowania różnic odsetków, a oba przedziały ufności obejmowały również niewielkie ujemne różnice”. Kolejne zdanie może podać wartości i przypomnieć o rodzaju szkolenia. Osobno można dodać, co sprawdzał test punktowy i na jakie pytanie pozwala odpowiedzieć.

Spróbuj także przejść w drugą stronę. Otwórz kartę D z liczbą 112 i znajdź miejsca, w których powołujesz się na ten raport. Jeżeli raz pojawia się 112 otwarć, a innym razem 112 studentów, źródło pozwala stwierdzić, który zapis jest prawidłowy. Można też zauważyć mniej oczywistą pomyłkę. „Wykorzystanie instrukcji” brzmi jak opis tego, co ktoś z nią zrobił, a rejestr mierzył samo otwarcie dokumentu. Nazwanie zdarzenia wprost pozwala czytelnikowi zrozumieć, na jakiej podstawie umieszczasz pracę w części o wdrożeniu.

Wzór do uzupełnienia własnymi danymi

„Wyniki podzielono na [grupa wyniku 1], [grupa wyniku 2] oraz [wyniki wdrożenia] według [kryterium]. W pierwszej grupie wykorzystano [liczba] odrębne porównania dotyczące [definicja i punkt czasowy]. Wielkości podano w [jednostka]. Ich precyzję opisano na podstawie [dostępne informacje]. W drugiej grupie autorzy mierzyli [inny konstrukt lub narzędzie], co pozwoliło odpowiedzieć na pytanie o [konkretne osobne pytanie]. W [badanie] brakowało danych do oszacowania [miara]. Raport [raport] dotyczy [wspólna próba lub wątpliwość]. Wspólnego oszacowania nie obliczono z powodu [konkretny powód]”.

Czasami plan zakłada wspólną miarę, dopóki lektura definicji nie pokaże, że autorzy mierzyli różne rzeczy. Po zmianie zapisz poprzednią decyzję, ustalenie, które ją zmieniło, i nowy podział. Przyda się to w rozmowie o tym, czy zmienił się sposób analizy, czy też węższe jest samo pytanie. Jeśli po lekturze ustalasz inny wynik główny, odnotuj, jakie publikacje i wartości były już wtedy znane. W metodach będzie później można uczciwie opisać moment wyboru.

Krótka kontrola przed oddaniem rozdziału

1. Przy wyniku potrafisz wskazać mierzoną cechę, jednostkę obserwacji, mianownik, termin i grupę odniesienia.
2. Z metod wynika, które porównania omawiasz razem i gdzie zmieniają się jednostki, definicje lub warunki.
3. Przy przeliczeniu widać surową wartość, jednostkę docelową i regułę stosowaną do każdego z pasujących raportów.
4. W wynikach widać powiązania między raportami. Jeśli podgrupę omówiono dodatkowo, opis wskazuje jej odrębne ograniczenia.
5. Czytelnik rozpoznaje różnicę między brakiem grupy odniesienia, zerem i zaplanowanym wynikiem pominiętym w raporcie. Widać też, do czego nie udało się uzyskać dostępu.
6. Obok kierunku podano dostępne wielkości i niepewność. Pewność wniosku ma podstawę w danych i ocenie badań.
7. Da się odróżnić wynik raportu od wyjaśnienia zaproponowanego w dyskusji. Hipoteza jest nazwana jako hipoteza.
8. Nazwa typu przeglądu odpowiada wykonanej kwerendzie, doborowi i ocenie źródeł. Opis zgodności z wytyczną mieści się w jej zakresie.
9. Każdy wykres, podpis i akapit zachowuje jednostkę właściwą dla swojego pytania.
10. W rozdziale jest zdanie, które odpowiada na pytanie główne i podaje, co ogranicza siłę odpowiedzi.

Jeśli masz już roboczy akapit, dołącz do niego tylko karty tych publikacji, na które rzeczywiście się powołujesz. Otwórz także zapis decyzji o przeliczeniu lub rozdzieleniu grup. W ćwiczeniu można tak prześledzić drogę od 60% w obu grupach szkolonych do dwóch różnic, 15 i 10 punktów procentowych. W przypadku 112 otwarć da się z kolei pokazać konkretną stronę raportu i definicję zdarzenia. Po przejściu obu ścieżek wiadomo, które zdania mają podstawę w porównaniu, a które opisują zakres obserwacji.

Bibliografia

1. Campbell M, McKenzie JE, Sowden A i in. Synthesis without meta-analysis (SWiM) in systematic reviews: reporting guideline. BMJ. 2020;368:l6890. DOI 10.1136/bmj.l6890.
2. McKenzie JE, Brennan SE. Synthesizing and presenting findings using other methods. W: Cochrane Handbook for Systematic Reviews of Interventions, v6.5, rozdział 12. cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-12
3. Newcombe RG. Interval estimation for the difference between independent proportions: comparison of eleven methods. Statistics in Medicine. 1998;17(8):873-890. DOI 10.1002/(SICI)1097-0258(19980430)17:8<873::AID-SIM779>3.0.CO;2-I. PMID 9595617.

Najczęstsze pytania