Przejdź do treści

Poradnik

Jak ocenić badanie jakościowe do przeglądu literatury?

Czytelniczka porównuje dwa spięte artykuły naukowe

Zacznij od sprawdzenia, na czym autorzy oparli wniosek, który chcesz wykorzystać w magisterce. W pełnym artykule i załącznikach odszukaj pytanie badawcze, zasady doboru uczestników, sposób zbierania materiału i opis analizy. Zanotuj, co udało się potwierdzić. Przy brakujących informacjach wyjaśnij, czego nie możesz ocenić i jakie ma to znaczenie dla zdania w Twojej pracy.

Przygotuj krótką kartę oceny, w której obok komentarza zanotujesz odpowiedni fragment lub stronę raportu. Zamiast notatki „badanie dobre” zapisz np. „autorzy opisali dobór osób, pokazali dwie odmienne perspektywy i podali cytaty ilustrujące temat, ale nie wyjaśnili relacji prowadzącego rozmowy z badanymi”. Do tej notatki dopisz konsekwencję dla własnego pytania badawczego. Jeśli badanie dotyczy trudności w kontaktach z przełożonym, relacja badacza z uczestnikami może być istotna dla interpretacji wypowiedzi.

W przykładzie prześledzisz ocenę trzech fikcyjnych raportów o szukaniu pomocy. Każdy pozwala powiedzieć coś innego, dlatego potrzebne będą osobne uzasadnienia. Pytania porządkują formularze JBI i CASP. Ich zastosowanie dobierz do rodzaju przeglądu i uzgodnień z promotorem. W opisie własnej pracy uwzględnij jej rzeczywisty zakres, od krytycznej lektury kilku publikacji w rozdziale teoretycznym po ocenę stanowiącą część przeglądu systematycznego.

Ustal, do czego chcesz użyć wyniku

Wybierz jedno zdanie z własnego rozdziału. Jeżeli piszesz „Studenci opisują skrępowanie przy proszeniu o pomoc”, potrzebujesz materiału o ich doświadczeniach i sposobie interpretacji wypowiedzi. Zdanie „co trzeci student nie prosi o pomoc” wymaga natomiast podstawy pozwalającej oszacować częstość w określonej grupie. Wywiady mogą ujawnić ważny rodzaj trudności, lecz liczba cytatów w artykule nie odpowie na drugie pytanie. Przy ocenie pomyśl więc najpierw, jaki rodzaj twierdzenia ma wspierać dana publikacja.

Następnie sprawdź, czy publikacja jest badaniem, opracowaniem teoretycznym, komentarzem czy przeglądem. Samo słowo „jakościowe” w opisie wyszukiwarki może oznaczać różne rzeczy. Tekst może przedstawiać wywiady, obserwację, analizę dokumentów albo tylko omawiać metodę. Jeśli autorzy przywołują cudze badania, zanotuj, czy do własnego zdania chcesz użyć ich syntezy, czy wyniku z badania pierwotnego. Pomoże w tym poradnik o rozróżnieniu przeglądu i badania pierwotnego.

Rozdziel wynik autorów i własną ocenę

W karcie rozdziel ustalenie autorów i własny komentarz. Najpierw streść wynik i podaj miejsce w źródle. Następnie wyjaśnij, co w opisanej metodzie pozwala go ocenić i jakie widzisz ograniczenie. Na przykład „W wypowiedziach rozmówców obawa przed oceną ograniczała gotowość zadawania pytań, sekcja Wyniki”. Dalej „Rekrutacja obejmowała osoby, które już skorzystały z konsultacji. Wynik dotyczy ich relacji z wcześniejszych sytuacji. Nie opisuje samodzielnie osób, które w ogóle nie dotarły do pomocy”.

Dzięki takiej notatce podczas pisania pamiętasz, kogo dotyczy wynik. Gdy wrócisz do artykułu po kilku tygodniach, łatwiej unikniesz rozszerzenia go na wszystkich studentów. Ocena nie musi kończyć się odrzuceniem artykułu. Często prowadzi do lepszego sformułowania: „Osoby korzystające z konsultacji wspominały trudność z rozpoznaniem, czy wolno im zgłosić wątpliwość”. Zdanie wskazuje wówczas doświadczenie określonej grupy. Częstość problemu w populacji pozostaje osobnym pytaniem.

Sprawdź też aktualność kontekstu dla swojego celu. Wywiady sprzed zmiany sposobu zapisów mogą nadal pomagać opisać doświadczenie proszenia o pomoc, ale nie dowodzą, jak działa obecny formularz. Rok publikacji i czas zbierania materiału bywają różne. Zapisz okres, w którym odbyły się rozmowy, oraz ważne warunki instytucjonalne. Takie porównanie pomaga ocenić przydatność wyniku w Twoim rozdziale także wtedy, gdy samo badanie przeprowadzono starannie.

Dobierz narzędzie do badania, które czytasz

JBI udostępnia listę pytań do oceny badań jakościowych, a CASP ma osobny formularz dla takiego rodzaju badań. Każdy z tych formularzy pomaga systematycznie przeczytać pełny raport i uzasadnić ocenę. Formularz do badania randomizowanego lub przekrojowej ankiety sprawdza inne elementy. Zanim zaczniesz zaznaczać odpowiedzi, potwierdź projekt i sprawdź wersję narzędzia. Jeśli korzystasz z wywiadowej części badania mieszanego, ustal, które wyniki pochodzą z tej części i jaki materiał ją opisuje.

Na początku karty podaj pełną nazwę i wersję narzędzia oraz wyjaśnij, jak je zastosowano. Jeśli wybierasz kilka pytań do zwykłego rozdziału teoretycznego, opisz, że wykorzystałeś je jako pomoc przy krytycznej lekturze. W pełnym przeglądzie z określoną metodą zastosuj procedurę przewidzianą w tej metodzie. JBI w swoich materiałach do przeglądów systematycznych przewiduje niezależną ocenę przez dwie osoby. Jeśli oceniasz sam, wskaż rzeczywisty zakres pracy i jego ograniczenie. Rozmowę z promotorem o jednej karcie opisz jako konsultację tego przypadku. Niezależna ocena wszystkich badań przez dwie osoby oznacza szerszą procedurę.

Uzasadnij odpowiedzi w formularzu

Samo „tak” przy pytaniu niewiele mówi. Za każdym razem dołóż krótki fragment albo lokalizację, na której opierasz ocenę, oraz komentarz. Jeśli dobór uczestników jest opisany, podaj, czy odpowiada celowi. Jeśli nie wiadomo, jak rekrutowano, zanotuj, gdzie szukałeś tej informacji. Po ponownym otwarciu karty powinieneś rozumieć, dlaczego wykorzystujesz ten wynik w danym miejscu rozdziału i z jakim zastrzeżeniem.

Przy każdej zmianie pytań lub sposobu zapisywania odpowiedzi wyjaśnij, z jakiej wersji formularza korzystasz. Jeśli oficjalna kategoria brzmi „nie wiadomo”, zachowaj ten sens. Gdy w projekcie adaptujesz sposób zapisu, odnotuj zmianę i powód. Twój roboczy komentarz może być swobodniejszy niż nazwa pola. W każdym wypadku powinno być jasne, co oznacza brak, co jest wykrytą sprzecznością, a co oceniono jako właściwe. Zmiana narzędzia w połowie zestawu wymaga powrotu do wcześniejszych kart, jeśli wpływa na porównywalność ocen.

Raportowanie i jakość postępowania

SRQR autorstwa O’Brien i współautorów obejmuje 21 elementów raportowania badań jakościowych. Pomaga zorientować się, jakich informacji szukać w opisie. EQUATOR zaznacza jednak, że wytyczne raportowania służą opisaniu badania, a nie zastępują narzędzi oceny jego projektu. Artykuł może mieć wszystkie śródtytuły, a mimo to formułować wniosek wykraczający poza zebrany materiał.

Ostrożności wymaga również ocena niepełnego opisu. Jeśli nie znaleziono informacji o jakimś kroku, pozostaje niewiadoma co do jego wykonania. CASP w instrukcji ostrzega przed dopowiadaniem sobie tego, co zrobili badacze. Wybierz odpowiedź wskazującą, że nie można tego ustalić, a potem oceń konsekwencję dla wniosku. Zdanie „autorzy nie opisali, jak opracowali kategorie” jest dokładniejsze niż „autorzy nie przeprowadzili analizy”. Pierwsze wynika z lektury, drugie wymagałoby dodatkowej wiedzy.

Przejdź od pytania autorów do ich wniosku

Przeczytaj razem cel, metodę, wyniki i ograniczenia. Dopiero wtedy oceń, czy końcowe zdanie ma oparcie w badaniu. Jeśli po lekturze zdania końcowego wracasz do metody, zapytaj, co musiałoby być prawdą, żeby ten wniosek był uzasadniony. Gdy autor opisuje powstrzymywanie się od zadawania pytań, potrzebuje wypowiedzi odnoszących się do takich sytuacji. Gdy pisze o ocenie kanałów pomocy przez koordynatorów, daje inną perspektywę niż bezpośrednie relacje studentów. W karcie wyraźnie nazwij, czyją perspektywę przedstawia wynik.

Spójność celu, podejścia i materiału

W JBI kilka pytań dotyczy zgodności między przyjętą perspektywą, celem, metodą pozyskania danych, analizą i interpretacją. Przeczytaj deklarację podejścia, jeśli jest podana, i zobacz, co faktycznie zrobiono. Samo użycie nazwy „fenomenologia” lub „analiza tematyczna” nie wyjaśnia przebiegu. Jeżeli autorzy chcieli zrozumieć doświadczenie pierwszej rozmowy z opiekunem, poszukaj informacji o tym, jak o nią pytali i jak opracowali wypowiedzi. Sprawdź, czy czytelnik może prześledzić znaczenie przypisane tym relacjom.

Zwróć uwagę na zmianę rodzaju twierdzenia w ostatnim akapicie. Z opisu doświadczeń pracowników można wyprowadzić temat do dalszego badania albo propozycję działania. Gdy zakończenie ogłasza, że konkretna organizacja spotkań „zapobiega rezygnacji”, sprawdź, czy badanie w ogóle mierzyło rezygnację i pozwala ocenić taki skutek. Możliwe, że rozmówcy mówili o przydatności spotkań. Z takiego materiału można wyprowadzić opis ich przekonań i doświadczeń. Gdy chcesz wyprowadzić z nich zalecenie dla organizacji spotkań, uzasadnij ten dalszy krok.

Kogo zaproszono i kto mógł się wypowiedzieć?

W badaniu jakościowym liczba osób sama nie przesądza o przydatności materiału. Sprawdź, dlaczego wybrano dane osoby, jak odnoszą się do celu i czy opis pozwala zrozumieć ich doświadczenie. W analizie barier wejścia do programu dobór wyłącznie jego aktywnych uczestników daje określoną perspektywę. Tacy rozmówcy mogą pamiętać własne wahania, lecz nie zastępują głosu osób, które programu nigdy nie wybrały. Jeśli projekt dotyczy właśnie udanej ścieżki wejścia, ten dobór może odpowiadać zadaniu.

Poszukaj sposobu rekrutacji i warunków udziału. Czy uczestnicy zgłaszali się po publicznym ogłoszeniu? Czy zaproszenie przekazała osoba, która ich ocenia? Czy autorzy opisali, jakie doświadczenie miały osoby biorące udział? Każdą z tych informacji rozpatrz w związku z celem badania. Dobór celowy może służyć poznaniu bardzo konkretnej sytuacji. Ocena dotyczy tego, jakie informacje z niego wynikają oraz czy autorzy uwzględnili granice przy interpretacji.

Jeżeli autorzy wspominają o nasyceniu, zobacz, co przez nie rozumieją i do jakiego elementu analizy je odnoszą. Samo słowo na końcu metody nie dowodzi, że zebrano wystarczający materiał. Różne podejścia jakościowe inaczej uzasadniają zakres i zakończenie zbierania. Nie wymagaj mechanicznie jednego kryterium od każdego projektu. W komentarzu wskaż, jak autorzy uzasadnili wystarczalność materiału dla swojego pytania i jakie doświadczenia pozostają poza jego zakresem.

Jak powstały wypowiedzi i co wnosi relacja z badaczem?

Wywiad, grupa fokusowa i notatki z obserwacji dają różne rodzaje materiału. Ustal, o jakie sytuacje pytano, czy rozmowa dotyczyła jednego okresu i w jakich warunkach się odbywała. Jeśli opisano tylko „rozmowy ze studentami”, może brakować informacji o tematach i sposobie prowadzenia. Sprawdź załączony scenariusz albo dodatkowy raport, jeśli są dostępne. Czasem potrzebny szczegół znajduje się w osobnym materiale tej samej publikacji.

JBI i CASP kierują uwagę również na rolę badacza. Osoba prowadząca rozmowę może znać uczestników albo odpowiadać za usługę, o której pytano. Taka relacja może wpływać na to, co łatwo powiedzieć i jak autor interpretuje odpowiedź. Poszukaj opisu tej relacji i namysłu nad jej znaczeniem. Znajomość uczestników może być istotną cechą projektu. Jeśli autorzy jej nie omawiają, trudniej ocenić warunki rozmowy i sposób interpretowania odpowiedzi.

W rozmowie grupowej jedna osoba może dominować, a inne rozwijać wątki podane przez kolegów. Jeśli pytanie dotyczy wspólnego negocjowania znaczeń, to interakcja może być istotnym materiałem. Jeśli autor chce opisać indywidualne, wrażliwe doświadczenia, warunki wypowiedzi wymagają bliższej oceny. Sprawdź, czy grupa pozwalała mówić swobodnie i jak autorzy interpretowali wypowiedzi na tle pozostałych osób. Zacytowane zdanie odczytaj razem z opisem sposobu jego uzyskania.

Czy można prześledzić analizę?

Znajdź opis przejścia od materiału do kategorii, tematów lub innych rezultatów. Jak wybierano fragmenty? Czy autorzy przedstawili przykłady tego przejścia? Czy wyjaśnili, co zrobiono z przypadkami, które odbiegały od początkowego rozumienia? W niektórych projektach ważna będzie zmiana kategorii w kolejnych wersjach. W innych autor pokaże, jak użył określonej perspektywy interpretacyjnej. Opis analizy powinien pokazywać, jak autorzy wyprowadzili wniosek z materiału w ramach przyjętej metody.

Każdą technikę oceniaj w związku z podejściem zastosowanym w badaniu. Dwóch koderów, oddanie transkrypcji rozmówcom do wglądu albo oprogramowanie do analizy mogą być częścią wybranego postępowania. Samo ich wymienienie nie mówi, co sprawdzono i z jakim skutkiem. Jeśli autorzy pracowali samodzielnie, spójrz, jak uzasadniają interpretację, pokazują materiał i rozważają odmienny odczyt. Jeżeli podają zgodność kodowania, sprawdź, czy odpowiada sposobowi analizy i co konkretnie oceniano.

Kiedy publikacja pokazuje tylko zbiór cytatów, zobacz, jak ich użyto. Krótka wypowiedź może dobrze ilustrować temat. Bez opisu analizy trudno jednak ustalić, czy wybrano ją jako jeden z wielu przykładów, czy stanowi podstawę całego wniosku. W karcie odnotuj zakres widocznej drogi od materiału do ustalenia. Uwzględnij ten komentarz, gdy będziesz formułować zdanie o wyniku w swoim rozdziale.

Wypowiedzi uczestników i kwestie etyczne

Sprawdź, czy raport oddaje różnorodność perspektyw, którą obiecuje jego cel. Jeżeli analizuje trudne doświadczenie, a przedstawia tylko wypowiedzi najbardziej zaangażowanych uczestników, zobacz, czy autorzy uzasadniają wybór. Zajrzyj do informacji o zgodzie na udział, ochronie poufności i ocenie etycznej właściwej dla tego projektu. Brak jednego zdania w artykule jest informacją o raporcie. Sam z siebie nie potwierdza, że postępowanie naruszało zasady. Przy istotnej niewiadomej potrzebujesz dokładniej nazwać to, czego nie da się ocenić.

Opisane procedury etyczne również nie zastępują rozpoznania metody. Artykuł może starannie podawać ochronę danych i zgodę, a skąpo wyjaśniać analizę. W ocenie zostaw obie informacje. W karcie będzie wtedy widać, które działania opisano, a o których nadal brakuje informacji. Ogólna etykieta „niska jakość” zatarłaby tę różnicę. W podsumowaniu wskaż, czy niewiadoma dotyczy podstawy konkretnego rezultatu albo możliwości jego wykorzystania w Twojej pracy.

Jak ocenić trzy raporty o poszukiwaniu pomocy?

Agnieszka pisze rozdział o tym, jak studenci rozpoznają, do kogo zwrócić się z problemem na początku studiów. Interesuje ją doświadczenie wyboru osoby lub miejsca, a nie częstość korzystania z każdej usługi. Ma trzy raporty z wywiadów. Wszystkie poniższe tytuły, liczby, fragmenty i szczegóły są fikcyjne. Przygotowano je do pokazania krytycznej lektury. Nie należy ich włączać do rzeczywistej bibliografii ani traktować jako ustaleń o studentach.

Raport A. Opisana analiza i ograniczony zakres grupy

„Pierwszy kontakt z punktem konsultacji” opisuje rozmowy z 16 osobami, które skorzystały z punktu pomocy dla pierwszego roku. Autorzy chcieli odtworzyć drogę od rozpoznania trudności do pierwszego zgłoszenia. Zapraszali osoby już po spotkaniu. Podali kryteria, okres rozmów i fragment scenariusza. Wywiady prowadziła osoba spoza punktu, a informacja dla rozmówców wyjaśniała, że odpowiedzi nie będą oceną indywidualnego doradcy. Raport pokazuje fragmenty ilustrujące trzy tematy i opisuje, jak dopracowywano je przy powrocie do transkrypcji.

Przy jednym z tematów jest przykład, w którym uczestniczka wybrała punkt dzięki jasnej informacji o sprawach, z jakimi można się zgłosić. Drugi fragment opisuje osobę, która poszła dopiero po rozmowie ze znajomą. Autorzy rozróżniają dostępność formalnej informacji i wskazówkę od kogoś znanego. W ograniczeniach zaznaczają, że rozmawiali tylko z osobami, które ostatecznie skorzystały z usługi.

Agnieszka wpisuje do karty: „Dobór odpowiada pytaniu o ścieżkę pierwszego kontaktu użytkowników. Opis nie obejmuje doświadczeń osób, które nie dotarły do punktu. Mogę przywołać rozpoznane sposoby docierania do pomocy w tej grupie. Nie ustalam z tego, jaka część wszystkich studentów nie potrafiła znaleźć pomocy”. Ocenę wiąże z metodą i z fragmentami wyników. Zachowuje odwołanie do ograniczenia, bo będzie potrzebne przy formułowaniu wniosku.

Ta notatka dotyczy doboru i uzasadnienia wyniku. Agnieszka ocenia też pozostałe obszary formularza, zapisując przy każdym odpowiedni fragment lub miejsce w raporcie. Do przykładu w rozdziale wybiera ten aspekt, który ma znaczenie dla użycia wyniku. Stwierdzenie, że metodę opisano, nie uzasadnia rozszerzenia wniosku poza użytkowników punktu.

Raport B. Trafne pytanie i niewyjaśniony sposób analizy

„Kogo można zapytać na pierwszym semestrze?” zawiera 12 indywidualnych wywiadów ze studentami. Pytanie dotyczyło rozpoznawania źródeł pomocy. Autorzy podają, że dobierali osoby z doświadczeniem problemu organizacyjnego w pierwszym semestrze. Opisują nagranie, transkrypcję oraz okres rozmów. W wynikach pokazują kategorię „nie wiem, czy to właściwa osoba” i kilka wypowiedzi o odkładaniu prośby. Raport przedstawia jednak tylko krótkie zdanie o „wyłonieniu tematów”. Nie wiadomo, jak wybierano fragmenty, jak powstały kategorie ani jak rozważano wypowiedzi odmienne.

W materiale dodatkowym Agnieszka znajduje scenariusz. Opisu analizy nadal brakuje. W karcie wpisuje „nie można ustalić” przy obszarze dotyczącym przejścia od wypowiedzi do tematów, zgodnie z sensem wybranego narzędzia. Nie dopisuje, że autorzy nie wykonali żadnej analizy. Sam brak opisu nie pozwala ustalić, co autorzy rzeczywiście wykonali. Zapisuje dokładnie zakres poszukiwania: część Metoda, załącznik i materiały powiązane przy artykule.

W rozdziale może napisać, że raport przedstawia wypowiedzi o trudnościach z rozpoznaniem właściwego adresata prośby. Gdy wykorzystuje tę kategorię w syntezie, powinna zaznaczyć, że raport skąpo wyjaśnia sposób jej opracowania. Może przygotować pytanie do autorów, jeśli pozwalają na to czas i plan przeglądu. Odpowiedź dołączałaby do dokumentacji z własną datą i zakresem. Do czasu otrzymania odpowiedzi w karcie pozostaje niewiadoma. Samo wysłanie pytania jej nie usuwa.

Gdyby po kontakcie autorzy udostępnili opis reguły i odpowiednie fragmenty, Agnieszka mogłaby uaktualnić kartę. Zapisałaby, które odpowiedzi i na jakiej podstawie zmieniła. W pracy wskazałaby również, że część oceny oparto na materiale dodatkowym otrzymanym od autorów, jeżeli jest to potrzebne do zrozumienia procedury. W zaktualizowanej karcie byłoby widać, czego Agnieszka dowiedziała się z nowego materiału. Pozostałe zastrzeżenia do metody wymagałyby ponownej, odrębnej oceny.

Raport C. Starannie opisane badanie z perspektywy mentorów

„Wsparcie koleżeńskie w programie adaptacyjnym” obejmuje dziewięć rozmów z mentorami-studentami, którzy wspierają nowych uczestników. Autorzy wyjaśniają dobór, prowadzenie rozmów, relacje badaczy z mentorami i sposób analizy. Wynik dotyczy tego, jak mentorzy rozumieją własną rolę i z jakimi sprawami spotykają się w kontakcie z pierwszym rokiem. W raporcie są dobrze opisane przykłady rozpoznawania, kiedy przekazać sprawę do specjalisty.

Agnieszka chciała wpisać ten tekst do grupy badań o trudnościach zgłaszania własnego problemu przez studentów pierwszego roku. Po lekturze widzi, że to inna perspektywa. Może wykorzystać badanie w części o organizacji wsparcia i o granicach roli mentora. Gdy wniosek dotyczy doświadczenia pierwszorocznych odbiorców, potrzebuje bezpośrednich danych tej grupy albo wyraźnego oznaczenia perspektywy pośredniej. Wykorzystując starannie opisany raport C, nadal musi zaznaczyć, czyje doświadczenia on przedstawia.

W karcie zapisuje osobno ocenę analizy i przydatności wyniku. Autorzy wyjaśnili sposób opracowania rozmów. Badana grupa odpowiada jednak pytaniu o rolę mentora, podczas gdy A i B przedstawiają perspektywę osób szukających pomocy. Jeśli wcześniej przyjęte kryteria wymagają wyłącznie relacji studentów pierwszego roku, raport C nie wchodzi do właściwej syntezy tych relacji. Może pozostać źródłem kontekstowym, jeśli taki zakres przewiduje projekt. Powód decyzji jest związany z pytaniem i doborem materiału.

Jak dwie osoby mogą dojść do różnych ocen?

Agnieszka prosi Marka o niezależne przeczytanie kart i raportów w zakresie ćwiczenia. Przy B oboje zauważają skąpy opis analizy. Marek zaznaczył jednak „nie”, a Agnieszka „nie wiadomo”. Wspólnie czytają instrukcję i sprawdzają, czy raport opisuje faktyczne zaniechanie, czy tylko nie podaje informacji. Ponieważ widzą tylko drugą sytuację, uzgadniają kategorię niewiadomej i zapisują powód. W pozostałych obszarach mogą pozostać różnice, które wymagają kolejnej lektury. Nie rozstrzygają ich przez uśrednienie odpowiedzi.

Przy C Marek początkowo stwierdził, że skoro dokumentacja jest dobra, badanie powinno mieć duży udział w końcowym wniosku. Agnieszka wraca do swojego pytania i odróżnia podstawę metody od perspektywy badanych. Wynik C mówi o mentorach. Oboje mogą dobrze ocenić opis postępowania w C i jednocześnie przyznać mu rolę źródła o doświadczeniu mentorów. O użyciu konkretnego wyniku decyduje także pytanie Agnieszki.

W rzeczywistym przeglądzie zapisz, kto i w jakim zakresie oceniał. Jeśli druga osoba przejrzała tylko dwa najbardziej niejasne raporty, napisz właśnie to. Jeśli każdy raport oceniono niezależnie i potem uzgodniono rozbieżności, przedstaw tę procedurę. Nie zamieniaj konsultacji jednego spornego miejsca w deklarację, że całą ocenę wykonały dwie osoby. Informacja o przebiegu pomaga czytelnikowi ocenić ograniczenia przeglądu.

Przełóż ocenę na zdania w przeglądzie

W pierwszej wersji Agnieszka napisała „Badania dowodzą, że studenci nie potrafią znaleźć pomocy, a mentorzy rozwiązują ten problem”. Po ocenie trzech raportów widzi dwie nieuzasadnione części. Żaden nie oszacował częstości trudności w całej grupie. Raport mentorów mówi o rozumieniu własnej roli, a nie o zbadanym skutku programu. Agnieszka pisze akapit ponownie, wskazując osobno wynik każdego raportu i granice jego wykorzystania.

Przykładowa synteza kart mogłaby brzmieć: „Relacje osób korzystających z punktu konsultacji pokazują dwie drogi pierwszego kontaktu: samodzielne rozpoznanie dostępnej informacji i wskazanie przez znajomego. Raport wywiadów ze studentami opisuje także wahanie, czy wybrano właściwego adresata prośby. Skąpy opis wyprowadzania tematów w drugim raporcie ogranicza możliwość oceny podstaw tego wyniku. Badanie mentorów uzupełnia kontekst organizacyjny, pokazując ich sposób rozpoznawania granic własnej roli. Te materiały nie pozwalają określić częstości trudności wśród wszystkich studentów ani skutku mentoringu”.

We własnej pracy oprzyj taki akapit na zweryfikowanych publikacjach. Dodaj odsyłacze oraz informacje o grupie i kontekście potrzebne do zrozumienia wyniku. Akapit ma pokazać, jak wykorzystano wyniki w granicach materiału. Zastrzeżenie umieszczone obok wyniku pozwala od razu ocenić jego znaczenie. Czytelnik nie musi szukać w ostatnim akapicie ogólnego zdania „badania mają pewne ograniczenia”, żeby dowiedzieć się, co z nich naprawdę wynika.

Gdzie opisać sposób oceny?

W części o metodzie własnego przeglądu podaj nazwę i wersję narzędzia, sposób wykonania oraz to, jak oceny wpływały na wykorzystanie badań. W rozdziale teoretycznym przygotowywanym jako krytyczne omówienie można krótko przedstawić przyjęte pytania do źródeł i granice ich użycia. Wybierz nazwę przeglądu zgodną z tym, co rzeczywiście wykonano. Same karty oceny i staranna lektura nie wyznaczają pełnej metody przeglądu systematycznego.

Możesz użyć takiego wzoru: „W krytycznej lekturze raportów jakościowych zwracano uwagę na zgodność celu i materiału, opis analizy, rolę badacza oraz powiązanie wniosków z danymi. Jako pomoc wykorzystano wskazane pytania formularza CASP w wersji 2024. Dla każdego zastrzeżenia zapisano podstawę w raporcie i znaczenie dla omawianego ustalenia. Braków opisu nie utożsamiano z potwierdzonym niewykonaniem procedury”. Taki zapis jest odpowiedni tylko wtedy, gdy rzeczywiście w ten sposób pracowałeś.

Jeżeli wykonałeś pełną ocenę JBI, opisz to przy użyciu rzeczywistej nazwy, zakresu i osób. Wskaż także zasady rozstrzygania niewiadomych oraz ewentualnych wyłączeń. Jeśli przegląd miał z góry przyjęte kryteria, sprawdź, czy ocena służyła interpretacji, czy miała również prowadzić do wyłączenia określonych badań. W obu wariantach potrzebne jest uzasadnienie związane z planem, a nie z tym, czy wynik pasuje do oczekiwanej tezy.

Czy słabszy raport trzeba wykluczyć?

Najpierw ustal, czego dotyczy ograniczenie. Badanie może być trafne dla pytania i zawierać przydatny materiał, ale nie pozwalać ocenić części procedury. W krytycznym omówieniu możesz pokazać jego wynik z odpowiednio nazwanym zastrzeżeniem. W przeglądzie o określonych regułach postępuj według przyjętego planu i metody. Jeśli wyłączasz badanie, zapisz powód tak, żeby można go było sprawdzić w dokumentacji.

Przy wyłączeniu źródła odwołaj się do wcześniej przyjętych kryteriów i sposobu oceny. Odmienne doświadczenie albo wniosek niewygodny dla Twojej tezy wymagają analizy na tych samych zasadach co pozostałe wyniki. Jeśli odmienna perspektywa spełnia kryteria Twojego pytania, uwzględnij ją w analizie. Może wskazać warunek, pod którym dotychczasowy wniosek wymaga zawężenia. Gdy przyczyną odmienności jest inna grupa lub kontekst, opisz tę różnicę. Sam fakt, że ktoś inaczej doświadcza pomocy, nie czyni jego relacji gorszym materiałem.

Po tych decyzjach możesz przejść do porównywania badań w przeglądzie literatury. Gdy już wiesz, co pozwala ustalić każdy raport, łatwiej porównać jego wynik z pozostałymi. W kartach zachowaj komentarze z oceny, aby zastrzeżenia pozostały widoczne także podczas syntezy.

Co zrobić, gdy informacje nie układają się w prostą ocenę?

Pełny opis i duże ograniczenie mogą występować razem

Autorzy mogli dokładnie opisać, że zapraszali wyłącznie osoby rekomendowane przez kierownika programu. Wiesz więc, jak powstała grupa, i możesz ocenić konsekwencję. Jeśli pytanie dotyczyło relacji o konflikcie z tym kierownikiem, dobór i okoliczności zaproszenia mogą mieć duże znaczenie. W karcie zachowaj opis rekrutacji i wyjaśnij, jak te warunki mogą ograniczać interpretację wypowiedzi. Szczegółowość raportu pomaga wykonać tę ocenę, ale sama jej nie rozstrzyga.

Podobnie z cytatami. Duża liczba długich wypowiedzi może pokazać materiał, ale jeśli wszystkie pochodzą od jednej osoby, nie uzasadnia automatycznie tematu przypisanego całej grupie. Sprawdź, co autorzy twierdzą i w jakim zakresie. Jeśli analizują pojedynczy przypadek, szczegółowość tej jednej historii może odpowiadać metodzie. Jeśli ogłaszają wspólny temat wszystkich uczestników, odbiorca potrzebuje odpowiednio przedstawionej podstawy tego uogólnienia.

Nie przeliczaj różnych pytań na dowolny procent

Zsumowanie zaznaczeń może dać pozornie przejrzyste 8/10. Dwa raporty z takim samym wynikiem mogą jednak mieć różne problemy. W jednym nie znamy roli badacza, w drugim nie można odtworzyć przejścia od danych do wniosku. Dla konkretnej interpretacji waga tych braków może być inna. Suma zaciera też różnicę między odpowiedzią „nie” a „nie można ustalić”. W kartach zachowaj oceny tych obszarów i uzasadnienia każdej z nich.

Jeśli określona metoda przeglądu wymaga ustalonego sposobu podsumowania, korzystaj z jej instrukcji i wyjaśnij, co oznacza wynik. Nie twórz samodzielnie progu „powyżej 70% badanie dobre”, żeby przyspieszyć wybór. Kiedy chcesz zapisać ocenę zwięźle, przygotuj krótkie zdanie o najważniejszej podstawie i najistotniejszym ograniczeniu. Z takim uzasadnieniem łatwiej zdecydować, gdzie przywołać publikację i jakie zastrzeżenie zamieścić przy jej wyniku.

Kilka artykułów może uzupełniać opis jednego projektu

W głównym artykule autorzy mogą krótko przedstawić metodę, a w osobnym opisie rozwinąć dobór i sposób analizy. Sprawdź, czy dodatkowy materiał rzeczywiście dotyczy tych samych danych i postępowania. Porównaj uczestników, okres, pytanie oraz informacje o wersji projektu. Gdy korzystasz z kilku raportów jednego badania, połącz je w dokumentacji oceny i oznacz, z którego źródła pochodzi dana informacja.

Nie licz tych raportów jako niezależnych badań tylko dlatego, że mają osobne tytuły. Przed połączeniem raportów potwierdź wspólne dane. Same podobieństwa nazwisk autorów i tematu do tego nie wystarczą. Jeśli nie potrafisz ustalić relacji, zapisz niewiadomą. Pytanie o niezależność materiału wpływa na to, jak potem sformułujesz wniosek o liczbie potwierdzeń. Sama karta jakości nie rozwiązuje problemu identyfikacji badania.

Użyteczność w Twoim kontekście wymaga dodatkowego pytania

W badaniu dobór i analiza mogły dobrze odpowiadać pytaniu autorów, ale inny system wsparcia albo inny etap studiów ograniczają odniesienie do Twojego tematu. Zapisz, jak różni się kontekst i dlaczego to może mieć znaczenie. Student w programie obowiązkowych konsultacji ma inną drogę wejścia niż osoba zgłaszająca się dobrowolnie. Porównaj więc sposób wejścia do programu i warunki udziału. Oparcie wyjaśnienia wyłącznie na różnicy nazw uczelni lub miast pomijałoby te informacje.

W rezultacie jedna publikacja może być dobrze udokumentowana, trafna dla części pytania i słabo odpowiadać na inną jego część. Ocenę zapisuj przy używanym wyniku. Gdy w rozdziale przywołujesz tylko opis roli mentora, ograniczenie dotyczące szacowania częstości w całej populacji może nie być główną kwestią. Jeśli chcesz stwierdzić, jak wielu studentów doświadcza problemu, to samo ograniczenie staje się rozstrzygające.

Sprawdź kartę obok gotowego akapitu

Wybierz najważniejsze zdanie z podrozdziału i wróć do karty. Czy potrafisz wskazać uczestników, rodzaj materiału i miejsce wyniku w publikacji? Czy zastrzeżenie dotyczy tego samego ustalenia? Jeśli karta mówi o trudności oceny relacji z badaczem, a wniosek w pracy dotyczy różnicy między grupami, potrzebujesz sprawdzić jeszcze podstawę samego porównania. Karta powinna pomagać w sprawdzeniu właśnie tego twierdzenia, które zamieszczasz w rozdziale.

Przy kilku kartach sprawdź, czy używałeś podobnego rozumienia odpowiedzi. Jeśli na początku „nie” znaczyło brak informacji, a później oznaczało potwierdzony problem, wróć do pierwszych ocen. Zachowaj poprzednią wersję i zapisz przyczynę korekty. Podobne sytuacje wymagają stosowania tej samej zasady, także gdy prowadzi ona do różnych ocen raportów. Przy współpracy dwóch osób porównaj najpierw regułę i źródło, dopiero potem końcowy opis.

Lista kontrolna

  1. Sprawdź typ badania, pytanie i wynik, który zamierzasz wykorzystać.
  2. Dobierz narzędzie do metody i zapisz jego wersję oraz zakres zastosowania.
  3. Przy każdej ważnej ocenie zachowaj podstawę z raportu i lokalizację.
  4. Odróżnij potwierdzone ograniczenie od informacji, której nie udało się znaleźć.
  5. Zapisz, jak ocena zmienia interpretację danego ustalenia.
  6. Opisz rzeczywisty udział osób oceniających i sposób rozstrzygania rozbieżności.
  7. Sprawdź, czy raporty odnoszą się do odrębnych badań.
  8. Przeczytaj końcowy akapit z wynikiem źródła otwartym obok.

Jeśli promotor prosi o „bardziej krytyczny przegląd”, pokaż dwa konkretne zdania po korekcie i karty, na których się opierają. Łatwiej wtedy uzgodnić, czy brakuje opisu metody, porównania wyników czy konsekwencji ograniczenia. W kolejnym etapie możesz rozwinąć tę kontrolę na pozostałe publikacje, zachowując tę samą definicję ocen i zakres własnego pytania.

Bibliografia

  • JBI. Checklist for Qualitative Research. Oficjalny formularz z omówieniem kryteriów, plik udostępniony w katalogu 2020.
  • Critical Appraisal Skills Programme. (2024). CASP checklist: For qualitative research. Oficjalny formularz wraz z instrukcją postępowania przy niewystarczających informacjach.
  • O’Brien, B. C., Harris, I. B., Beckman, T. J., Reed, D. A., & Cook, D. A. (2014). Standards for reporting qualitative research: A synthesis of recommendations. Academic Medicine, 89(9), 1245–1251. DOI 10.1097/ACM.0000000000000388.
  • EQUATOR Network. Standards for reporting qualitative research: A synthesis of recommendations. Opis SRQR oraz zakresu wytycznych raportowania.
  • Biblioteka Uniwersytetu Medycznego w Łodzi. Narzędzia do oceny jakościowej badań. Instytucjonalny przewodnik po typach narzędzi.

Najczęstsze pytania

Czy brak opisu analizy w artykule oznacza, że badacze jej nie wykonali?

Sam brak opisu tego nie rozstrzyga. Sprawdź pełny raport, załączniki i powiązane materiały. Jeśli nadal brakuje informacji, zaznacz niewiadomą zgodnie z instrukcją narzędzia. Dopisz, jak utrudnia ona ocenę konkretnego wniosku. Przypisanie autorom niewykonania analizy wymagałoby dodatkowego potwierdzenia.

Czy wynik 8 na 10 punktów wystarcza do uznania badania jakościowego za dobre?

Sprawdź oceny poszczególnych obszarów i ich uzasadnienia. Suma 8/10 nie wyjaśnia, czego dotyczy problem ani czy potwierdzono ograniczenie, czy zabrakło informacji. Stosuj sposób podsumowania przewidziany w metodzie przeglądu i wyjaśnij znaczenie wyniku. Samodzielnie ustalony próg nie daje podstaw do oceny jakości badania.

Czy SRQR służy do oceny jakości metody badania?

SRQR pomaga sprawdzić, jakie informacje zawiera opis badania jakościowego. Do krytycznej oceny metody dobierz odpowiednie narzędzie i sprawdź spójność celu, materiału, analizy oraz wniosków. Szczegółowy raport może ujawniać ograniczenie postępowania. Przy brakującej informacji pozostaje natomiast niewiadoma, czy dany krok wykonano.

Czy do wywiadów stosuje się tę samą listę oceny co do ankiety przekrojowej?

Listę dobierz do rzeczywistego projektu i wyniku, który chcesz wykorzystać. W badaniu jakościowym oceniasz między innymi powiązanie interpretacji z materiałem i rolę badacza. Ocena ankiety przekrojowej wymaga pytań właściwych dla takiego projektu. Przy badaniu mieszanym wskaż część, którą oceniasz, i pochodzące z niej wyniki.

Czy możecie uporządkować literaturę, którą już zebrałem?

Tak. Możemy ocenić przydatność przekazanych materiałów względem problemu i rozdziałów oraz wskazać luki. Zakres lektury pełnych tekstów i notatek uzgadniamy przed wyceną.

Jak zamówić sprawdzenie rozdziału o przeglądzie literatury?

Skorzystaj z formularza kontaktowego i dołącz pytanie badawcze, kryteria, przykłady decyzji o źródłach oraz fragment rozdziału z uwagami promotora. Wskaż, czy chodzi o dobór publikacji, opis selekcji czy oba elementy. Zakres, cenę i termin ustalamy po sprawdzeniu materiałów.