Luka badawcza w magisterce. Co zrobić, gdy podobne badanie już istnieje?

Jeśli znajdujesz publikację przypominającą Twój plan, zapisz obok siebie pytanie tamtego badania i własne pytanie. W każdym wskaż, kogo lub co badano, jaki wynik rzeczywiście zebrano i do jakich warunków odnosi się wniosek. Dopiero wtedy zdecyduj, czy pozostała istotna niewiadoma. Możesz zaprojektować niezależne powtórzenie, sprawdzić uzasadnioną zmianę warunków, zawęzić pytanie albo wybrać inne. Pomocny pierwszy krok to jedna karta najbliższego badania, z dokładnym miejscem w publikacji przy każdym ustaleniu. Tytuł i streszczenie potraktuj jako wskazówki do lektury.

Załóżmy, że ktoś już badał, czy przypomnienie pomaga studentom zgłosić się na zajęcia wyrównawcze. Ty chcesz pracować z osobami studiującymi niestacjonarnie. Sam fakt, że pierwsze badanie przeprowadzono wśród studentów stacjonarnych, otwiera pytanie o możliwość przeniesienia wyniku. Wartość projektu zależy od tego, czy potrafisz wskazać znaczącą różnicę warunków i zebrać materiał pasujący do pytania. Jeśli w nowym projekcie pytasz wyłącznie, czy przypomnienie się podobało, wynik dotyczy opinii o komunikacie. Może być użyteczny, ale odpowiada na inne pytanie niż pomiar faktycznych zgłoszeń. Dalej przejdziemy przez ten przykład od lektury trzech fikcyjnych publikacji do gotowej notatki na seminarium.

Zapisz, jaką odpowiedź daje najbliższe badanie

Szeroki temat porządkuje obszar pracy, a pytanie określa informację potrzebną do rozstrzygnięcia. „Komunikacja ze studentami” to obszar. „Czy dodatkowe przypomnienie 48 godzin przed terminem wiąże się z większym odsetkiem ukończonych zgłoszeń wśród zaproszonych?” wskazuje już komunikat, punkt odniesienia i konkretny wynik. Nadal trzeba ustalić, czy układ badania pozwala mówić o związku, czy o efekcie przypomnienia. Po tym doprecyzowaniu można sprawdzić, w jakim stopniu wcześniejsze prace już dostarczają odpowiedzi.

Ułóż kartę z sześciu informacji

• Jednostka obserwacji. Zapisz, co oznacza jeden przypadek: student, zgłoszenie, kurs, grupa zajęciowa lub instytucja. Ten sam student może wysłać kilka zgłoszeń, więc liczba zgłoszeń może być większa od liczby osób. Gdy wcześniejszy artykuł opisuje kursy, ustal, czy wynik liczono dla kursów, dla wszystkich studentów czy dla osób, które otworzyły wiadomość.
• Populacja i warunki. Odczytaj kryteria włączenia, sposób doboru oraz miejsce i okres pomiaru. Rozróżnij grupę docelową od tej, do której zespół faktycznie dotarł. Ważne mogą być długość okna zapisów, kanał kontaktu i moment w semestrze. Nazwa kierunku lub uczelni w tytule bywa mniej istotna niż to, kto był objęty przypomnieniem.
• Porównanie. Ustal, co dokładnie zestawiono. Jeden artykuł może porównywać dwie grupy z podobnego okresu, inny wynik przed zmianą procedury i po niej. Jeżeli w obu okresach zmienił się też termin zgłoszeń, odnotuj tę różnicę. Przy jakościowym projekcie wskaż, jakie przypadki lub perspektywy zestawiono oraz na czym oparto wybór rozmówców.
• Pomiar. Przepisz definicję wyniku i sprawdź, jak powstał. Status w rejestrze, odpowiedź „uważam, że przypomnienie było pomocne” i intencja „planuję się zapisać” niosą różne informacje. Zapisz, czy rejestrowano wynik przed zamknięciem zapisów, po terminie, czy w dowolnym momencie.
• Wniosek oraz niepewność. Zapisz, jakie oszacowanie lub obserwację przedstawiono, a potem ostrożnie streść interpretację. Jeśli możesz odczytać mianownik, liczbę przypadków i przedział niepewności, zachowaj je. Jeśli autorzy nie podają potrzebnego elementu, oznacz go jako nieustalony.
• Granica źródła. Przy każdym ustaleniu zanotuj stronę, część metod, podpis wykresu albo fragment dodatku. Jeśli masz wyłącznie streszczenie, zachowaj ten fakt. Przy późniejszym odnalezieniu pełnego tekstu zaktualizuj kartę i oddziel to, co zmieniło się dzięki lekturze.

Obok pierwszej karty przygotuj taką samą dla własnego pomysłu. Tam, gdzie nie masz jeszcze decyzji, wpisz „do ustalenia” i zanotuj, czego potrzebujesz. Jeżeli w rubryce „pomiar” piszesz tylko „ankieta”, czytelnik nie dowie się, co będzie mierzone. Dopisz jednostkę odpowiedzi, pytanie lub konkretną miarę, nawet jako wersję roboczą. Następnie zakreśl różnice, które mogłyby zmienić treść wniosku. Na tym etapie mogą się okazać dwie rzeczy: wcześniejsze źródło daje już potrzebną odpowiedź, a Twój plan trzeba zmienić, albo różnica rzeczywiście uzasadnia osobne pytanie.

Porównuj definicje z miejscem, w którym powstają dane

Czasem publikacje używają identycznego określenia, lecz po zajrzeniu do metod okazuje się, że jedna liczy osoby z ukończonym zgłoszeniem, a druga wszystkie osoby, które kliknęły link. W obu tytułach może być mowa o „skuteczności informacji”. Przyjmij w karcie nazwy wynikające z pomiaru: „ukończone zgłoszenie” i „otwarcie strony formularza”. Jeśli określenia są różne, ale obie procedury wytwarzają porównywalne dane, wyjaśnij, co je łączy. Przykładowo oba rejestry mogą definiować ukończenie jako uzyskanie potwierdzenia przed tą samą liczbą godzin od zaproszenia.

W przypadku krótkiego fragmentu pracy do seminarium wystarczy kilka najbliższych kart, o ile wyraźnie opiszesz sposób ich wyboru i ograniczenie. Przy większej liczbie publikacji porównuj kolejne źródła według tych samych kryteriów. Możesz wykorzystać instrukcję, jak porównywać badania w przeglądzie literatury. Jeśli trudność polega na odtworzeniu tego, które bazy i frazy już sprawdzono, pomocny będzie dziennik wyszukiwania źródeł. Ten poradnik zaczyna się tam, gdzie masz materiał do porównania i potrzebujesz podjąć decyzję o własnym pytaniu.

Ustal przyczynę niewiadomej

Luka badawcza powinna wskazywać, jakiego wniosku nie można jeszcze dobrze uzasadnić i dlaczego. To wymaga więcej niż stwierdzenia „temat jest mało zbadany”. Robinson, Saldanha i McKoy zaproponowali ramę dla przeglądów systematycznych, która pomaga opisać zarówno brakującą część pytania, jak i powód niedostatecznej odpowiedzi [1]. W pracy magisterskiej możesz z niej skorzystać jako z pomocy w lekturze. Zakres wyszukiwania i nazwę przeglądu określ zgodnie z tym, co faktycznie wykonałeś. Poniższe przypadki pokazują, jak od przyczyny przejść do rozważenia projektu.

Mało informacji albo nieprecyzyjne oszacowanie

Jedno małe badanie może wskazywać interesującą zależność i pozostawiać szeroki zakres wiarygodnych wielkości. Jeżeli chcesz powtórzyć test na nowym materiale, wskaż, dlaczego lepsza precyzja ma znaczenie dla odpowiedzi. Możesz chcieć odróżnić efekt tak mały, że nie wpłynie na organizację zapisów, od efektu, który pozwoliłby zmienić sposób komunikacji. Tę granicę uzasadnij przed obejrzeniem własnych wyników, odnosząc ją do skali działania i kosztu błędnej decyzji. Zapisz, jakie dane są potrzebne do oszacowania różnicy i na ile dostępna próba umożliwia użyteczny pomiar.

Nie zmieniaj liczby dostępnych prac w automatyczną ocenę jakości. Pojedynczy projekt może dobrze odpowiadać na pytanie dotyczące swojej populacji. Kilka artykułów może opisywać ten sam zbiór, a wtedy ich liczba nie stanowi liczby niezależnych pomiarów. Jeżeli masz przegląd oraz artykuł, z którego ten przegląd korzysta, ustal role obu źródeł. Przydatne jest omówienie, do czego użyć przeglądu i badania pierwotnego.

Ryzyko obciążenia wynikające ze sposobu pomiaru albo doboru

Wyobraź sobie, że ankieta o użyteczności przypomnienia dotarła tylko do osób, które ukończyły zgłoszenie. W ich odpowiedziach można zobaczyć, jak odbiorcy, którzy wykonali zadanie, postrzegali komunikat. Na tej podstawie trudniej powiedzieć, co zrobili pozostali i czy komunikat coś zmienił. Jeśli niedostępność informacji wynika z doboru osób, zaproponuj projekt pozwalający uwzględnić szerszą, zdefiniowaną grupę. Przykładowo wskaż, jak zbudujesz listę wszystkich uprawnionych odbiorców i jakie statusy zgłoszenia można dla nich wiarygodnie uzyskać.

Ograniczenie może też dotyczyć czasu. Jeżeli wcześniejsze źródło liczy zgłoszenia tylko w godzinach pracy dziekanatu, a nowy system umożliwia je również wieczorem, część różnicy może wynikać z dostępności kanału. Dopóki nie ustalisz, co faktycznie zmieniło się w procedurze, stwierdzenie o różnicy zachowania studentów jest zbyt szerokie. Zadaj sobie pytanie, czy masz sposób odnotowania tych warunków, czy możesz je ujednolicić, a jeśli nie, co da się opisać na podstawie dostępnego porównania.

Rozbieżność lub brak wiedzy o zgodności wyników

Dwie publikacje mogą podawać różne wartości, ponieważ użyły innych definicji, populacji albo okresów. Przed nazwaniem ich wyników sprzecznymi sprawdź, czy efekt dotyczy tej samej zmiennej i czy liczono go w porównywalny sposób. Zestaw różnice i przedziały niepewności, jeśli są dostępne. Na przykład różnica o sześć punktów procentowych z szerokim przedziałem i różnica o osiem punktów z innym przedziałem mogą być zgodne z podobną wielkością efektu. Samo rozróżnienie „istotne” i „nieistotne” nie jest testem różnicy między efektami.

W przypadku badań jakościowych rozbieżność może dotyczyć tego, jakie wyjaśnienia uznano za najlepiej oparte na materiale. Sprawdź, czy badacze rozmawiali z podobnymi osobami i czy analizowali to samo doświadczenie. Gdy jedno źródło bada barierę przed kliknięciem, a drugie doświadczenie po ukończeniu formularza, wypowiedzi dotyczą różnych etapów. Wspólne określenie „problemy zapisów” nie zapewnia, że można je połączyć w jeden sąd. Pytanie może dotyczyć właśnie porównania tych etapów, pod warunkiem że masz materiał z obu.

Wynik jest dostępny, ale dotyczy innego pytania

Jeżeli wcześniejszy artykuł opisuje zadowolenie z wiadomości, a Ty chcesz sprawdzić odsetek ukończonych zgłoszeń, zaznacz różnicę między deklaracją a zachowaniem. Sama opinia pomaga projektować język wiadomości. Dane o zachowaniu pomagają oszacować, czy osiągnięto cel organizacyjny. Jeżeli oba wyniki są dla Ciebie ważne, możesz opisać je jako dwa odrębne wyniki, określić, który odpowiada na główne pytanie, i wybrać sposób gromadzenia materiału odpowiedni dla każdego. Nie obliczaj jednego łącznego wskaźnika wyłącznie dlatego, że oba nazywasz użytecznością.

Gdy odpowiedzi nie ma w dostępnej wersji tekstu, rozdziel brak dostępu od braku informacji. Zapis „nie uzyskałem pełnej wersji ani opisu użytej miary” oznacza ograniczenie Twojej lektury. Stwierdzenie „autorzy nie zebrali tego wyniku” wymaga podstawy w pełnych metodach i materiale źródłowym. Jeśli dopiero sprawdzasz bliskie publikacje, możesz tymczasowo napisać, czego nie udało się potwierdzić w sprawdzonych źródłach. Zmień to zdanie, kiedy znajdziesz dokładniejsze dane.

Wybierz projekt, który potrafi odpowiedzieć na niewiadomą

Po wypełnieniu kart zdecyduj, czego ma dotyczyć wniosek i jak go sprawdzisz. Pytanie „Czy wynik wraca przy nowych danych?” prowadzi do innego planu niż „Czy efekt różni się między dwoma trybami studiów?” albo „Jak osoby opisują barierę na etapie formularza?”. Zapisz przed badaniem co najmniej dwa możliwe wyniki i dla każdego dopisz, co zmieni w interpretacji wcześniejszej pracy. Jeśli żaden wynik niczego o jej twierdzeniu nie wyjaśnia, rozważ nazwę i cel projektu ponownie.

Niezależne powtórzenie z nowymi danymi

Zacznij od konkretnego twierdzenia wcześniejszej pracy. Wskaż rezultat, kierunek lub zakres różnicy i warunki, w których go oczekiwano. Następnie opisz, które elementy muszą pozostać porównywalne: definicja wyniku, porównywane warunki, sposób rekrutacji, czas pomiaru i analiza. Nie wszystko da się powtórzyć dokładnie. W protokole oddziel to, co planujesz zachować, od tego, co nieuchronnie będzie inne. Nosek i Errington proponują, by oceniać replikację także przez to, czy wynik nowego badania może rzeczywiście dostarczyć informacji o wcześniejszym twierdzeniu, niezależnie od tego, czy będzie zgodny z oczekiwaniem [2].

Jeżeli masz dane użyte przez pierwotnych autorów i powtarzasz ich obliczenia, sprawdzasz odtwarzalność wyniku na tym materiale. Jeśli na tych samych danych stosujesz inne uzasadnione założenie, możesz ocenić wrażliwość wniosku lub odpowiedzieć na inne pytanie. National Academies odróżniają odtwarzalność obliczeń na tych samych danych od replikacji opartej na niezależnym materiale [3]. Własną procedurę opisz wprost, bo różne dziedziny mogą używać tych terminów odmiennie. Samo nazwanie działania „powtórzeniem” nie informuje czytelnika, czy w próbie pojawiły się nowe osoby.

Test przeniesienia wyniku do innego kontekstu

Określ cechę kontekstu, która może mieć znaczenie. Może nią być dostępność platformy poza zjazdami, sposób sprawdzania uczelnianej poczty, długość okna zapisów albo kolejność komunikatów. Zapisz przypuszczenie w formie możliwej do sprawdzenia. Na przykład „Jeśli przypomnienie wyświetlane na platformie jest odczytywane także poza dniami zjazdów, w dłuższych przerwach może pomóc dotrzeć do terminu osobom, które rzadziej korzystają z poczty uczelnianej”. Żeby sprawdzić tę wersję, potrzebujesz materiału o odczytach, czasie i kanale, a nie jedynie informacji, że osoby studiują w innym trybie.

Jeśli dysponujesz tylko jedną grupą z nowego kontekstu, możesz ocenić, jaki efekt lub jaka zależność wystąpiły w warunkach tej grupy. Żeby oddzielnie zbadać, czy efekt różni się między trybami, zaplanuj dane z obu grup i analizę różnicy efektów. Zmiana trybu studiów często wiąże się z innymi zmianami. Jeżeli równocześnie zmienia się miejsce, procedura, kanał komunikacji i czas rekrutacji, jedna różnica w wyniku nie pozwoli przypisać przyczyny każdemu z tych elementów. Możesz rzetelnie opisać porównanie, podając warunki i alternatywne wyjaśnienia.

Rozszerzenie pomiaru albo opis konkretnego przypadku

Jeżeli najważniejsza niewiadoma dotyczy tego, co dzieje się między odczytaniem wiadomości a ukończeniem zgłoszenia, możesz rozszerzyć pomiar o etapy: otwarcie informacji, przejście do formularza, rozpoczęcie i zakończenie. Każdy etap powinien mieć definicję, moment rejestracji i osobę lub system odpowiedzialny za zapis. Najpierw sprawdź, czy statusy dotyczą tej samej osoby i tego samego okna czasowego. Jeżeli możesz je policzyć wyłącznie osobno dla całych grup, nie opisuj ścieżki pojedynczego uczestnika. Możesz pokazać rozkład etapów zagregowanych i wskazać, które przejścia pozostają nieobserwowalne.

Jeżeli masz wyłącznie dostęp do wypowiedzi uczestników, rozważ pytanie o odczuwaną barierę lub interpretację komunikatu. Dobierz przypadki, które mogą opisać różne doświadczenia, na przykład osoby, które ukończyły procedurę, oraz osoby, które świadomie ją przerwały. Takie dane mogą dostarczyć przykładów mechanizmów i wskazać, czego szukać w kolejnym projekcie. Jeżeli materiał pochodzi od niewielkiej grupy dobranej celowo, ostrożnie określ zasięg. Z wywiadów możesz wyprowadzić wyjaśnienia dobrze oparte na wypowiedziach, ale do oszacowania częstości w populacji potrzebujesz innego projektu.

Zmiana kierunku, gdy brakującej informacji nie da się zebrać

Najpierw sprawdź, czy dział odpowiedzialny za dane faktycznie rejestruje potrzebne zmienne i czy można z nich skorzystać w uzgodnionym zakresie. Ustal, czy możesz związać zaproszenia z późniejszym statusem, także w przypadku osób, które niczego nie kliknęły. Jeśli w systemie masz tylko listę osób przyjętych na zajęcia, brakuje informacji o wszystkich zaproszonych i o tych, którzy rozpoczęli formularz. W takim przypadku wskaż, jakie pytanie można zbadać na podstawie samej listy, a jakie wymaga dostępu, którego jeszcze nie potwierdzono. Karta pracy SGH podpowiada, by już przy formułowaniu luki sprawdzić możliwe metody, dostęp do danych oraz granice projektu [4].

Dobry projekt może być węższy od pierwotnego planu. Przykładowo możesz ocenić czytelność zestawu komunikatów i przeanalizować, jakie kroki rozumieją ich odbiorcy. Wymaga to innej procedury i innego wniosku niż oszacowanie wpływu na zapis. Zapisz zakres przed zbieraniem danych i omów go z promotorem. Jeśli potrzebujesz kilku instytucji lub miesięcy obserwacji, oceń osobno czas, zakres uzgodnień i wymagania swojego kierunku. W razie braku dostępu wybierz pytanie, na które pozwala odpowiedzieć rzeczywiście dostępny materiał.

Przykład. Od trzech publikacji do jednego wykonalnego pytania

Wszystkie osoby, uczelnie, publikacje i liczby z tego przykładu są fikcyjne. W rzeczywistej pracy wpiszesz dane z pełnych tekstów i materiały, do których uzyskałeś dostęp. Wyobraź sobie studentkę Martę. Jej pierwsze pytanie brzmi „Czy informacje wysyłane studentom ułatwiają rejestrację na zajęcia?”. Po lekturze zauważa, że „informacje” obejmują kilka różnych działań, a „ułatwienie” może oznaczać szybkość, zadowolenie, mniejszą liczbę błędów lub większą liczbę ukończonych formularzy. Wybiera jeden moment procedury i wstępnie definiuje wynik: ukończone zgłoszenie do wyznaczonej godziny, wśród zaproszonych i uprawnionych do zgłoszenia.

Źródło A. Zapis zgłoszeń w jednej próbie

W A zaproszono 100 studentów stacjonarnych. W ramach ćwiczenia załóż, że 50 osób przydzielono losowo do standardowego komunikatu z dodatkowym przypomnieniem, a 50 do standardowego komunikatu bez dodatkowego przypomnienia. Treść komunikatu podstawowego, kanał rekrutacji i termin były wspólne. Wynik odczytano z rejestru po zamknięciu zapisów. W grupie przypomnienia ukończone zgłoszenie ma 30 z 50 osób, czyli 60%. W grupie bez dodatkowego przypomnienia są to 24 z 50 osób, czyli 48%. Różnica wynosi 12 punktów procentowych. W tym przykładzie w źródle brak przedziału ufności. Nie wiemy zatem z jego opisu, jak precyzyjne jest oszacowanie. Sama różnica jest oszacowaniem z jednej próby.

Marta zapisuje w karcie „jednostka: osoba z listy zaproszeń; wynik: co najmniej jedno ukończone zgłoszenie przed końcem okna; porównanie: losowy przydział do dodatkowego przypomnienia lub standardu”. Zwraca uwagę, że mianownik obejmuje też zaproszonych, którzy nie otworzyli wiadomości. Gdyby policzyć wynik tylko wśród otwierających, odpowiadałby na inne pytanie. Wykorzystanie mianownika wszystkich zaproszonych jest w ćwiczeniu spójne z pytaniem o skutek przydzielenia przypomnienia. Przy prawdziwym badaniu trzeba także sprawdzić braki, wyłączenia, jakość rejestru i to, czy sposób przydziału oraz przebieg odpowiadają opisowi.

Źródło B. Deklaracje osób, które odpowiedziały

B dotyczy studentów niestacjonarnych, czyli grupy interesującej Martę. Do 80 osób wysłano ankietę, odpowiedziało 40. Spośród respondentów 28 określiło wiadomość jako przydatną. To 70% odpowiadających. Na podstawie tego zapisu nie znamy opinii pozostałych 40 adresatów. Tym bardziej nie znamy liczby ukończonych zgłoszeń w całej grupie. Nie można więc zestawić 70% z 60% z A jako różnicy skuteczności między trybami studiów. Liczniki oznaczają inne zdarzenia, a mianowniki powstały na różne sposoby. Źródło B może pomóc sformułować dodatkowe pytanie o przydatność komunikatu albo wybrać fragment procedury do pogłębienia.

Dla Marty przydatny jest konkretny zapis granicy: „B opisuje deklaracje części adresatów; nie potwierdza statusów ukończenia ani porównania przypomnienia ze standardową procedurą”. W karcie odnotowuje też, że do porównania opinii potrzebowałaby podobnego pytania i zbliżonego doboru respondentów w obu trybach. Jeśli chce wykorzystać ankietę tylko pomocniczo, nie musi z niej robić drugiego głównego wyniku. Może przed zebraniem danych określić, czy ankieta ma pomóc zinterpretować trudności z formularzem i jak opisać, kto na nią odpowiedział.

Źródło C. Kolejna publikacja oparta na tym samym materiale

C ma inny tytuł i omawia organizację programu zajęć wyrównawczych. Po sprawdzeniu opisu próby oraz wskazania wcześniejszej publikacji Marta rozpoznaje, że wartości 60% i 48% pochodzą z tych samych 100 osób co w A. Zapisuje „C pomaga ustalić kontekst, ale nie jest drugim niezależnym pomiarem tej różnicy”. Sprawdza też, czy C używa pełnej próby, czy podzbioru. Praca na innym podzbiorze tej samej próby może wnieść inną analizę, ale nadal nie dostarcza nowych niezależnie zebranych danych. Jeśli relacji między źródłami nie uda się ustalić, lepiej oznaczyć ją jako niepewną niż podwójnie policzyć dowód.

Po porównaniu Marta ma zatem jedno badanie, które bezpośrednio mierzy ukończenie zgłoszeń wśród studentów stacjonarnych, jedno badanie o deklaracjach wśród respondentów niestacjonarnych i dodatkowe opracowanie tego samego materiału z A. Może napisać, że w sprawdzonych źródłach nie znalazła porównania przypomnienia i standardowej wiadomości pod względem ukończenia zgłoszeń wśród osób studiujących niestacjonarnie. To zdanie opisuje zakres wykonanej lektury. Przy znalezieniu kolejnych badań będzie je można sprawdzić i zaktualizować.

Wybór wariantu po potwierdzeniu dostępu

Marta rozważa trzy warianty. W pierwszym powtarza A na nowej grupie stacjonarnej z porównywalną procedurą, aby sprawdzić ten sam wynik na niezależnych danych. W drugim sprawdza dodatkowe przypomnienie wśród studentów niestacjonarnych, bo ich kalendarz zjazdów może inaczej rozkładać kontakt z platformą. W trzecim analizuje czytelność komunikatów i przeszkody zgłaszane przez osoby, które próbowały się zarejestrować. W tym ostatnim nie potrzebuje łączyć danych o przydziale i późniejszym wyniku, ale nadal musi ustalić, do jakich wypowiedzi oraz komunikatów ma dostęp.

Do drugiego wariantu układa pytanie „Jaka jest różnica odsetka zgłoszeń ukończonych przed terminem między studentami niestacjonarnymi przydzielonymi do standardowego komunikatu z dodatkowym przypomnieniem a studentami przydzielonymi do samego komunikatu standardowego?”. Dopisuje warunek: instytucja musi dopuścić przydział i potwierdzić, że rejestr łączy każdą zaproszoną osobę z odpowiednim statusem przed zamknięciem okna. Ustala przed rozpoczęciem, ile czasu obejmuje okno, kiedy odbywa się wysyłka i jak odnotować brak statusu. Gdyby zamiast przydziału obserwowała istniejące grupy, zmieniłaby pytanie na takie, które dotyczy różnicy obserwowanej w dostępnych warunkach.

Jeśli rejestr zawiera tylko listę przyjętych, Marta nie wyliczy odsetka ukończenia wśród wszystkich zaproszonych. Może poprosić o potwierdzenie istnienia odpowiedniego rejestru i zaplanować drugi wariant warunkowo. Jeśli danych nie można uzyskać, przygotuje wariant trzeci, dotyczący interpretacji instrukcji. Nie zmienia w takim przypadku jedynie tytułu: ustala nowe pytanie, dobór źródeł i granicę wniosku. W pracy zaczętej później, po uzyskaniu danych, będzie mogła opisać przyczyny wyboru.

Rozważmy jeszcze test logiczny, zanim studentka zbierze dane. Jeśli znajdzie wyższą częstość ukończenia przy przypomnieniu, będzie mogła zestawić wielkość oszacowania z różnicą 12 punktów procentowych w A, uwzględniając nowe warunki. Powinna opisać niepewność własnego oszacowania i odnotować, że A nie podaje przedziału. Jeżeli różnica wyjdzie bliska zera, musi odróżnić dość precyzyjny wynik od sytuacji, w której dane pozwalają na wiele interpretacji. Jeśli różnica okaże się ujemna, sprawdzi przebieg badania i możliwe wnioski, bez mechanicznego odrzucania A. Jeden projekt w grupie niestacjonarnej pozwala oszacować wynik w tej grupie. Samo zestawienie z opublikowanym A nie ustala, że różnicę wywołał tryb studiów.

Napisz akapit, który łączy wcześniejsze ustalenie z własnym pytaniem

Przejdź od tego, co opisano, do tego, czego brakuje, a potem do tego, jak zbadasz brakującą informację. W pierwszym zdaniu podaj twierdzenie wcześniejszej pracy wraz z zakresem. W drugim nazwij granicę dowodu. W trzecim wyjaśnij, dlaczego granica wpływa na interpretację lub decyzję. W czwartym zapisz swoje pytanie i planowany materiał. W razie potrzeby dodaj zdanie o tym, czego ten projekt nie rozstrzygnie. Każdy fragment możesz odnieść do konkretnej pozycji z karty.

Wzór i wersja wypełniona

• Ustalenie. „W badaniu [źródło] w [grupie i warunkach] zaobserwowano [wynik z właściwą miarą lub interpretacją]”.
• Granica. „W sprawdzonych publikacjach [dokładnie określony wynik lub porównanie] pozostały niedostatecznie opisane, ponieważ [powód]”.
• Znaczenie. „Ta informacja jest potrzebna do [konkretna interpretacja, decyzja lub zastosowanie]”.
• Pytanie i podejście. „W pracy sprawdzę [pytanie] na podstawie [planowana jednostka, materiał, wynik i porównanie]”.
• Granica własnego wniosku. „Badanie będzie dotyczyć [zakres], więc [niewsparty szerszy wniosek] wymagałby [innego materiału albo projektu]”.

Przykładowy akapit dla Marty brzmi: „W fikcyjnym badaniu A, przeprowadzonym wśród 100 studentów stacjonarnych, zgłoszenie zakończyło się przed terminem u 30 z 50 osób przydzielonych do dodatkowego przypomnienia i u 24 z 50 osób przydzielonych do standardowej komunikacji. W sprawdzonych publikacjach dotyczących studentów niestacjonarnych opisano deklarowaną przydatność wiadomości, bez porównania ukończonych zgłoszeń przy dwóch sposobach komunikacji. Ustalenie takiej różnicy pomogłoby ocenić przydatność dodatkowej wiadomości w warunkach określonego harmonogramu zjazdów. Celem projektu jest oszacowanie różnicy odsetka ukończonych zgłoszeń przed terminem między dwiema grupami studentów niestacjonarnych, z wykorzystaniem rejestru osób zaproszonych i wyniku rejestracji. Analiza dotyczy tej grupy i tych warunków. Porównanie efektów między trybami studiów wymagałoby dodatkowego materiału”. W prawdziwej pracy wstawisz odpowiedni odsyłacz do A oraz źródła dokumentujące stan wiedzy.

Zwróć uwagę na różnicę między pierwszą wersją „nikt nie badał wpływu informacji na zapisy” a wypełnionym wzorem. Druga wersja wymienia istniejącą pracę, dokładny wynik i element, który nadal wymaga sprawdzenia w zadanym kontekście. Uzasadnienie można poddać krytyce: promotor może zapytać o publikacje spoza przeczytanego zestawu, o definicję ukończenia i o to, czy uda się dotrzeć do wszystkich zaproszonych. Każde z tych pytań można przełożyć na konkretne zadanie przed zbieraniem danych.

Przypadki, w których warto zmienić siłę zdania

Gdy znajdujesz artykuł tuż przed oddaniem konspektu, dopisz go do porównania i wskaż, które zdanie wymaga zmiany. Jeśli nowa publikacja odpowiada na dokładnie to samo pytanie, możesz zaktualizować uzasadnienie niezależnego powtórzenia albo zaproponować inne pytanie. W trakcie zbierania danych zapisz również datę i stan projektu w momencie decyzji. Unikaj przedstawiania zmiany jako czegoś zaplanowanego od początku. Na seminarium przyda się krótki opis elementów wspólnych, nowo zidentyfikowanej kolizji i decyzji, które nadal mają oparcie w danych.

Jeżeli źródło podaje wynik bez przedziału niepewności, odnotuj ten brak i porównaj dostępne informacje. Nie wnioskuj, że źródło jest nieprzydatne tylko z powodu jednego braku w raporcie. Liczebności, sposób doboru, miary rozproszenia, definicja wyniku i dostępność danych mogą pomóc określić, jak mocno oprzesz się na tym źródle. Przeliczenie niepewności ma sens wtedy, gdy znasz potrzebne dane i założenia. Dla jakościowych projektów nie przenoś automatycznie języka przedziałów. Skup się na związku interpretacji z materiałem i warunkami jej przeniesienia.

Gdy nie masz pierwotnego narzędzia lub załącznika, zapisz, które elementy metody są nieustalone. Jeśli użyjesz innego narzędzia, sprawdź, czy mierzy tę samą rzecz i w jakim zakresie wyniki można zestawić. Możesz ograniczyć się do podobnego problemu, opisać różnice w pomiarze i zawęzić interpretację. Przykładowo pytanie o „ogólną łatwość zapisów” może obejmować kilka etapów, podczas gdy rejestr ukończenia informuje jedynie o końcu procedury. Bez dostępu do definicji użytej w wcześniejszym źródle bezpieczniej zostawić tę część porównania jako niepotwierdzoną.

Gdy istotne publikacje są w innym języku, zachowaj w karcie oryginalną nazwę badanego pojęcia, robocze tłumaczenie oraz definicję z metod. Dwa bliskie tłumaczenia mogą ukryć różnicę. W przykładzie registration completed i registration intention oznaczają różne wyniki. W innym artykule ten sam termin może być rozumiany odmiennie ze względu na praktykę instytucji. Sprawdź, jak pojęcie przełożono na obserwację, zamiast opierać się tylko na podobieństwie słów. Jeśli tłumaczenie jest autorskie, oznacz to w notatce i zweryfikuj przed użyciem w narzędziu.

Przygotuj rozmowę z promotorem i zamknij zakres pracy

Zamiast przynosić tylko nowy tytuł, pokaż dwie karty: najbliższe badanie i swój projekt. Dołącz jedno zdanie o powodzie, dla którego porównanie jest potrzebne, oraz wskazanie, co zrobisz, jeśli dane nie będą dostępne. Wskaż, co już zweryfikowałeś i które decyzje zależą od warunków organizacyjnych. Jeśli promotor wskaże dodatkowe źródła, zaktualizuj kartę według tych samych kryteriów. Taka rozmowa dotyczy zakresu i możliwości badania, dlatego może zmienić wybrany projekt, nawet gdy szeroki temat zostaje.

Zapis decyzji do wykorzystania przy następnej rundzie

W notatce umieść pięć konkretnych punktów: „Najbliższe źródło i miejsce w tekście”, „Moje pytanie i jednostka”, „Przyczyna braku odpowiedzi”, „Materiał i warunki dostępu” oraz „Wersja zapasowa”. Przy wersji zapasowej podaj, kiedy jej użyjesz. Marta zapisuje: „Jeżeli przed zamknięciem etapu planowania nie potwierdzę listy zaproszeń i możliwości połączenia z ukończeniem formularza, przechodzę do badania interpretacji komunikatów, z odrębnym pytaniem i metodą”. Dzięki temu brak danych nie będzie powodem do potajemnego zastąpienia wyniku inną zmienną w trakcie analizy.

Zapisz też, do czego ma służyć ewentualny wynik zerowy lub nieprecyzyjny. W pracy porównawczej wynik bliski zera może być informacyjny, gdy oszacowanie jest dostatecznie precyzyjne i warunki pomiaru są wiarygodne. Przy szerokim przedziale wniosek może ograniczać się do tego, że nie udało się dokładnie oszacować różnicy. W projekcie jakościowym brak wyraźnej bariery może prowadzić do dokładnego opisu tego, kto został objęty badaniem i jak sprawdzano różne etapy procedury. Jeśli tylko oczekiwany rezultat „potwierdza lukę”, uzasadnienie wymaga ponownego sprawdzenia.

Lista kontroli przed zatwierdzeniem pytania

1. Zapisz własne pytanie z określoną jednostką, wynikiem, warunkami i porównaniem, jeśli projekt go wymaga.
2. Porównaj najbliższe badania na podstawie metod i wyników. Zapisz ograniczenia dostępu do pełnej treści.
3. Sprawdź, czy dwa teksty korzystają z tego samego zbioru, czy z niezależnych danych. Gdy nie wiadomo, oznacz niepewność.
4. Nazwij dokładny powód niewystarczającej odpowiedzi: precyzja, obciążenie, rozbieżność, inny pomiar, inna grupa lub nieustalona informacja.
5. Uzasadnij znaczenie różnicy warunków. Określ, które elementy utrzymasz wspólne i czego nie przypiszesz przyczynowo pojedynczej zmianie.
6. Potwierdź dostęp do materiału, zakres jego użycia i definicję tego, co policzysz lub przeanalizujesz. Ustal, jak odróżnisz brak danych od zerowego wyniku.
7. Zapisz dwie możliwe interpretacje: wynik podobny do wcześniejszego i wynik, który od niego odbiega. Dodaj sytuację, gdy dane pozostawiają dużą niepewność.
8. Uzgodnij, jak nazwiesz projekt, kiedy zweryfikujesz własne uzasadnienie i co zrobisz, jeśli znajdziesz bezpośredni odpowiednik przed zebraniem danych.

Jeżeli podobne badanie okazuje się bardzo bliskie, jego obecność może pomóc w dopracowaniu projektu. Daje konkretne porównanie, pokazuje sposób pomiaru i ujawnia warunki, do których dotychczasowy wynik się odnosi. Twoje zadanie polega na tym, by jawnie połączyć dowód, pytanie i materiał, który rzeczywiście możesz wykorzystać. Dzięki temu promotor może ocenić wykonalność i wartość kolejnego kroku na podstawie zapisanych decyzji, a nie na podstawie obietnicy, że temat brzmi inaczej.

Bibliografia

• [1] Robinson, K. A., Saldanha, I. J., McKoy, N. A. (2011). Development of a framework to identify research gaps from systematic reviews. Journal of Clinical Epidemiology, 64(12), 1325-1330. DOI 10.1016/j.jclinepi.2011.06.009.
• [2] Nosek, B. A., Errington, T. M. (2020). What is replication? PLOS Biology, 18(3), e3000691. DOI 10.1371/journal.pbio.3000691.
• [3] National Academies of Sciences, Engineering, and Medicine (2019). Reproducibility and Replicability in Science. Washington, DC: The National Academies Press. Rozdział 3 „Understanding Reproducibility and Replicability”. DOI 10.17226/25303.
• [4] Navigating Social Worlds, SGH. „Karta pracy 2: Poszukiwanie luki badawczej w zadanym obszarze”. Adres tekstowy: socialworlds.sgh.waw.pl/sites/default/files/karta-pracy_2a.2.pdf.

Najczęstsze pytania