W folderze z właściwej rekrutacji masz 80 formularzy. W osobnym leży 12 próbnych. Zanim przepiszesz tę liczbę do rozdziału wyników, otwórz oba kwestionariusze. Jeśli w formularzu próbnym pytano o ostatni kwartał, a we właściwym o cztery tygodnie, wspólny plik wymiesza odpowiedzi o dwóch różnych okresach. Dwanaście próbnych formularzy wciąż może wyjaśnić, dlaczego zmieniło się pytanie. To materiał do opisu metod.
Odpowiedzi z pierwszej partii możesz ująć w analizie głównej, jeśli ta partia od początku należała do właściwego badania, spełnia kryteria włączenia, dostarcza porównywalnych pomiarów, a warunki udziału i użycia danych obejmują taką analizę. Kiedy pierwsze osoby jedynie sprawdzały narzędzie, zachowaj ich uwagi jako materiał z próby formularza w zakresie przewidzianym dla projektu. Jeśli zamysł połączenia narodził się później, ustal, co na to pozwala i do jakiego pytania taka dodatkowa analiza mogłaby się przydać.
Weź do ręki pierwszy plan, formularze z obu etapów, opis naboru i wiadomość, którą uczestnicy dostali przed startem. Jeśli możesz, zrób to przed sprawdzeniem zależności, którą masz opisać w pracy. Jeśli wyniki już znasz, odnotuj, kiedy je obejrzałeś i co było wtedy postanowione. Dzięki temu w pracy można odtworzyć kolejność decyzji.
Po co zebrano pierwsze ankiety?
W folderze może widnieć nazwa „pilotaż”, choć pierwsze osoby faktycznie dołączyły do właściwego badania. Możliwa jest też sytuacja odwrotna. Wysyłasz link do znajomych, żeby powiedzieli, które pytania brzmią niezrozumiale. Po kilku dniach rusza nabór pracowników według kryteriów projektu. Ankieta wygląda tak samo jak w zeszłym tygodniu, ale zaproszone osoby, przebieg wypełniania i cel udziału mogą się różnić. W pierwszej kolejności ustal, do czego miały służyć uzyskane odpowiedzi.
Osobna próba formularza przed rekrutacją
W oddzielnym pilotażu sprawdzasz, co faktycznie dzieje się podczas badania. Ktoś czyta instrukcję trzy razy. Na telefonie kilka osób nie widzi opcji „nie dotyczy”. Rozmówca podczas próbnego wywiadu prosi o wyjaśnienie, czy pytasz go o powody jego decyzji, czy o ocenę przełożonego. Takie szczegóły pomagają zmienić pytanie, poprawić formularz albo inaczej opisać procedurę. Mogą być cenne również wtedy, gdy pierwsze osoby pochodzą z tej samej grupy co późniejsi uczestnicy.
Zachowaj informację, którą rzeczywiście wykorzystasz. Po usunięciu powtórzonego pytania przyda się zapis, z którym się pokrywało i co zostało w narzędziu. Gdy trzeba było skrócić czas między dwoma pomiarami, zanotuj, co utrudniało wykonanie drugiego w pierwotnym terminie. Często wystarczą liczby opisujące przebieg i krótka informacja o nieporozumieniu. Każdy użyty fragment materiału powinien mieścić się w ustaleniach dotyczących projektu. Przy opisie technicznej korekty formularza rzadko potrzebujesz dosłownej wypowiedzi uczestnika.
W artykule o badaniach pilotażowych Thabane i współautorzy (2010) przestrzegają przed wyciąganiem z małych prób zbyt dalekich wniosków o wielkości efektu lub jego istotności statystycznej. W magisterce z ankietą przyda Ci się proste rozróżnienie. Kiedy trzy osoby z dwunastu nie dotarły do właściwego pytania, masz powód sprawdzić ustawienie przejścia. Te same formularze mogą być słabą podstawą do oceny siły związku. Znaczenie ma także to, w jaki sposób zaprosiłeś osoby do próby.
Pierwsza partia jako etap właściwego badania
Możesz od początku zaplanować kontrolę po pierwszych 12 osobach. Należą do badania, przechodzą ten sam nabór i dostają tę samą informację o udziale co kolejni uczestnicy. Przed startem zapisujesz, co sprawdzisz: czy odpowiedzi zapisują się na używanych urządzeniach, czy eksport odróżnia pominięcie techniczne od odmowy i czy rekrutacja przebiega według przyjętych reguł. Zawczasu ustalasz też, w jakich warunkach pierwsze ankiety pozostaną w zbiorze i jakie zmiany wymagają zatrzymania zbierania danych.
Reguła „sprawdzimy, czy wszystko jest w porządku” nie mówi, co robić po odkryciu usterki. Przyda się na przykład zapis: „Jeśli eksport gubi informację o głównej zmiennej, wstrzymamy nabór i sprawdzimy, czy pierwotny zapis można odzyskać. Jeśli odzyskanie okaże się niemożliwe, zastosujemy przewidzianą regułę dla braków lub zmienimy plan, dokumentując konsekwencje”. Przy weryfikacji z góry wskazujesz, jakie pola i zdarzenia techniczne oglądasz. W ten sposób da się ocenić działanie formularza przed obliczeniem związku będącego przedmiotem pracy.
Avery i współautorzy (2017) pokazują, jak wyznaczać warunki przejścia do dalszego etapu w badaniach randomizowanych z wewnętrznym pilotażem i kiedy dane z tej części mogą trafić do końcowej analizy. Eldridge i współautorzy (2016) omawiają inny układ. Ich rozszerzenie CONSORT dotyczy randomizowanego pilotażu przed przyszłym, odrębnym badaniem randomizowanym. Jeśli piszesz magisterkę z pojedynczą ankietą, korzystasz z tych prac wybiórczo. Przydadzą Ci się pytania o cel pierwszego etapu, warunki kontynuacji i zapis zmian. Zasady konkretnego projektu ustalasz osobno.
Gdy pomysł połączenia pojawił się później
Wróć do informacji przekazanej uczestnikom, reguł doboru i wersji narzędzia. Sprawdź również, czy w chwili podjęcia decyzji znałeś już wyniki związane z hipotezą. W pracy zapisz, że sposób wykorzystania wcześniejszych danych rozważono po ich zebraniu. Im dokładniej ustalisz przebieg, tym łatwiej wyjaśnisz, czemu konkretny podzbiór odpowiada postawionemu pytaniu.
W wielu projektach główny wynik zostanie oparty na zbiorze ustalonym pierwotnie. Jeśli dokumentacja dopuszcza użycie wcześniejszych odpowiedzi, a pomiary są porównywalne, możesz pokazać dodatkowe zestawienie. Wyjaśnij, czego ma dotyczyć i kiedy powstał ten pomysł. Jeżeli inicjatywa pojawiła się po zobaczeniu słabego wyniku, decyzja wymaga szczególnej przejrzystości. Wybór wariantu dlatego, że daje wyższy współczynnik, uzależnia przedstawiony wynik od oglądanych wartości. Przy niejasnych warunkach wykorzystania materiału wyjaśnij zakres udziału i danych przed wykonaniem dodatkowych obliczeń.
Sprawdź, co łączy obie partie danych
Zacznij od wyniku, który chcesz obliczyć. Przykładowo interesuje Cię związek liczby zmian grafiku z oceną jasności komunikatów. Potrzebujesz obu informacji zebranych w sposób pozwalający je zestawić. Nawet gdy w obu wersjach ankiety identycznie pytano o wiek i staż, może się okazać, że inaczej rozumiano liczbę zmian. Wróć do formularzy i sprawdź, co uczestnicy widzieli oraz kto miał odpowiedzieć.
Kto odpowiadał i w jakich warunkach?
Jeśli pierwsze formularze wypełnili znajomi z jednego punktu, a właściwy nabór obejmował kilka placówek, odtwórz sposób zapraszania na każdym etapie. Zapisz kryteria, minimalny staż i wymagane doświadczenie zmiany grafiku. Sprawdź, czy osoby z pilotażu odpowiadały samodzielnie, czy miały na bieżąco komentować pytania. Ktoś poproszony o objaśnianie każdego wyboru może więcej czasu poświęcić odpowiedzi, którą w zwykłej ankiecie zaznaczyłby odruchowo. Różnica dotyczy wtedy warunków pomiaru, choć tekst na ekranie pozostał ten sam.
Weź pod uwagę, kiedy zebrano obie partie. W ankiecie o dojazdach kilka dni prac drogowych może mocno wpłynąć na odpowiedzi. W pytaniach o grafik przydatną granicą bywa dzień wejścia w życie nowych zasad przydzielania zmian. Te okoliczności zapisujesz również przy identycznych wersjach formularza. Znacznik etapu pomoże potem ustalić, czy zmianę w czasie da się odróżnić od zmiany instrukcji, sposobu rekrutowania lub innych warunków.
Sprawdź możliwość powtórnego udziału. Gdy plan przewiduje po jednym pomiarze, drugi formularz tej samej osoby nie powiększa liczby uczestników. W badaniu z pomiarem powtórnym oba formularze mogą być potrzebne, a analiza uwzględnia ich powiązanie. Przy naprawdę anonimowych ankietach bez klucza czasem nie da się sprawdzić, kto odpowiedział dwa razy. Opisz tę granicę. Dwie osoby mogą mieć ten sam wiek, pracować na takim samym stanowisku i tak samo ocenić komunikat. Zgodność odpowiedzi jest niewystarczająca do połączenia rekordów.
Czy pytanie wciąż mierzy to samo?
Otwarte pliki połóż obok siebie. Porównaj brzmienie, instrukcję, warunki wyświetlenia pytania, kolejność opcji i opis krańców skali. „Zazwyczaj” i „co najmniej cztery razy w ostatnim miesiącu” dotyczą podobnej czynności, ale stawiają inne warunki. Wyniki na skali od 1 do 5 i od 1 do 7 można zapisać w tej samej kolumnie. Podzielenie wartości przez maksimum pozostawia różnice w znaczeniu i liczbie dostępnych odpowiedzi. Przed wspólną analizą potrzebujesz podstawy do uznania ich za porównywalne dla konkretnego wskaźnika.
Przyjrzyj się temu, co oznaczały braki. Jeżeli w pierwszej wersji nie było opcji „nie dotyczy”, niektórzy uczestnicy mogli wybierać środek skali lub zostawiać pytanie puste. W wersji z dodatkową opcją te zachowania mogą się zmienić. Średnia z tych samych pięciu wartości może więc dotyczyć innego zestawu osób. Podobnie dodanie „nie pamiętam” otwiera nowy sposób odpowiedzi. Przy porównaniu eksportów zapisz, które kody pochodzą z wybranej oceny, a które z niemożności odpowiedzi lub przejścia przez filtr.
Gdy korzystasz z gotowej skali, sprawdź instrukcję i ustal, jak pominięcie pozycji lub zmiana kolejności wpływa na wynik. Pomocny będzie poradnik o wersji kwestionariusza, instrukcji i warunkach użycia. Przy własnym narzędziu wróć do operacjonalizacji zmiennych w magisterce. Przy każdej wersji zapytaj, jakie zachowanie lub ocenę ona opisuje i jakiego okresu dotyczy.
Które poprawki wpływają na odpowiedź?
Literówka w nagłówku formularza zwykle nie wpływa na pomiar. W etykiecie maksimum skali może już utrudnić odczytanie oceny, podobnie jak błąd w instrukcji przejścia do kolejnego pytania. Przy zmianie kolejności popatrz, co widziała osoba odpowiadająca. Przesunięcie nazwy działu na liście może tylko ułatwić jej znalezienie. Odwrócenie kierunku skali ma konsekwencje dla odczytu polecenia i porównania kodów. Jeżeli uznasz poprawkę za obojętną dla wyniku, zaznacz, gdzie ją wprowadzono i których danych ta ocena dotyczy.
Czasem różni się sam eksport. W obu ankietach uczestnik widzi „często”, jednak w pierwszym pliku system zapisuje kod 03, a w drugim 3. Jeśli słownik potwierdza, że oba kody oznaczają wybór tej samej odpowiedzi, możesz zapisać je jednolicie. Gdy trudno to ustalić, wróć do dokumentacji lub próbnego eksportu. Ujednolicenie kodu wymaga innych podstaw niż przypisanie opcji „często” wartości „co najmniej cztery razy”. Tego drugiego nie rozwiąże format kolumny.
Niekiedy zgodna jest tylko część pomiaru. Formularze mogą zawierać to samo pytanie o staż i inne pytanie o grafik. Wspólny opis stażu może być zasadny, jeśli dane da się użyć w ten sposób, osoby spełniają warunki i wiesz, jaką grupę chcesz opisać. Do analizy związku między stażem a zmianami grafiku potrzebujesz porównywalnych wartości obu zmiennych. Jeżeli przyjmujesz do takiej analizy wydzieloną grupę, zapisz, jak ją utworzono. Podaj też, do czyjego doświadczenia odnosisz wniosek.
Na jaki udział zostały zaproszone pierwsze osoby?
Odszukaj treść zaproszenia i dokumentację projektu. Czy pierwsza grupa wiedziała, że pomaga sprawdzić ankietę? Czy uczestnictwo w tej części obejmowało wykorzystanie odpowiedzi w głównej analizie? Sprawdź odrębnie zasady udziału oraz podstawę i warunki postępowania z danymi osobowymi, jeśli takie dane przetwarzasz. Liczy się jasno określony cel oraz ograniczenie danych do potrzeb projektu. Jeżeli rozważasz inny sposób użycia zebranych materiałów, ustal z promotorem oraz odpowiednią osobą lub jednostką po stronie projektu, jakie reguły mają zastosowanie.
Jeżeli formularz miał służyć próbie, w której nie przewidziano zapisu długich komentarzy, ich obecność w eksporcie nie daje podstawy do przytoczenia ich w pracy. Sprawdź, jak projekt reguluje przechowywanie, użycie i usuwanie takich materiałów. Do opisu zmiany często wystarczy informacja: „Po pilotażu dodano odpowiedź ‘nie dotyczy’”. Czytelnik zrozumie decyzję również bez komentarza jednej osoby.
Podobnie podejdź do ponownego kontaktu. Ustalenia dotyczące jednorazowego zgłoszenia mogą mieć znaczenie, jeżeli chcesz zaprosić pierwsze osoby ponownie. Klucz łączący odpowiedzi z adresem może być przechowywany osobno i podlegać innym regułom dostępu. W notatce odnotuj, jaką wersję informacji przekazano i jakie było rozstrzygnięcie. Dokumentowanie decyzji zwykle nie wymaga dołączania listy uczestników ani kopii ich indywidualnych zgód do roboczego arkusza.
Dwanaście pierwszych ankiet, dwie różne decyzje
Weźmy dwa warianty badania pracowników punktów usługowych. Kasia chce ustalić, jak liczba zmian grafiku w ostatnich czterech tygodniach wiąże się z oceną jasności przekazywanych informacji. Zaprasza osoby, które od co najmniej trzech miesięcy pracują w objętych badaniem punktach i doświadczyły co najmniej jednej zmiany grafiku w podanym okresie. Plan zakłada jedną ankietę na osobę. Oba przykłady są fikcyjne.
Przykład A. Po próbie zmieniło się pytanie
Przed właściwym naborem Kasia zaprasza 12 osób z jednego punktu. Wyjaśnia, że chce sprawdzić, jak rozumieją pytania. Prosi o odpowiedzi odnoszące się do ostatniego kwartału. O częstotliwość zmian grafiku pyta za pomocą trzech opcji: „rzadko”, „czasami”, „często”. Jasność komunikatów badani mają ocenić w skali od 1 do 7.
Dopiero podczas próby wychodzi na jaw, że zapis „ostatni kwartał” bywa różnie odczytywany. Trzy osoby proszą o wyjaśnienie, od kiedy mają go liczyć. Dwie inaczej rozumieją opis najwyższej oceny. Ktoś wypełnia formularz, mając na myśli zmianę sprzed pięciu tygodni. Da się z tego skorzystać. Pytanie zasadnicze ma dotyczyć ostatnich czterech tygodni i prosić o liczbę zdarzeń, więc Kasia przerabia filtr i instrukcję. Doprecyzowuje też opis końców skali jasności i uzasadnia wybór wersji z pięcioma kategoriami.
Po zmianie formularza odpowiedź „często” z próby nie daje się odczytać jako liczba zmian w czterech ostatnich tygodniach. Na przykład pracownik mógł mieć wiele zmian na początku kwartału i żadnej w miesiącu poprzedzającym ankietę. Przeliczenie obu skal jasności do zakresu od 0 do 100 pozostawiłoby różnice w okresie, etykietach i układzie ocen. Do tego pierwsze osoby zaproszono do próby pytań. Zebrane od nich formularze służą więc uzasadnieniu zmian we właściwym narzędziu, zgodnie z zakresem przewidzianym dla tej próby.
Właściwy nabór objął kilka punktów. Kasia zakwalifikowała 80 formularzy od 80 uczestników. Główna analiza korzysta z tej próby, a przy każdym obliczanym wyniku pojawi się liczba osób dysponujących wymaganymi wartościami. Dwanaście formularzy próbnych może pokazać oddzielnie w opisie przebiegu. Łącznie w dwóch etapach zebrano 92 formularze. Liczba 92 oznacza formularze. Żeby ustalić liczbę różnych osób w całym przedsięwzięciu, trzeba jeszcze sprawdzić, czy grupy się pokrywały.
W uzasadnieniu zmiany Kasia nie musi odtwarzać każdej uwagi. Wystarczy pokazać, jak dowiedziała się o problemie. Osoby poproszone o wyjaśnienie odpowiedzi podały różne początki kwartału albo różne interpretacje najwyższej oceny. Ostateczny okres czterech tygodni jest powiązany z pytaniem pracy. Jeżeli promotor zapyta, dlaczego Kasia przyjęła taką wersję, będzie mogła wskazać konkretne ustalenia z próby i cel badania.
Przykład B. Pierwsza partia od początku należy do próby
W drugim wariancie Kasia przed rekrutacją zapisuje, że pierwszych 12 kwalifikujących się osób weźmie udział w kontroli przebiegu właściwego badania. Dostają tę samą ankietę z czterotygodniowym okresem, którą wypełnią następni uczestnicy. Informacja dla badanych, warunki udziału i reguły korzystania z danych obejmują analizę główną. Kasia planuje kontynuować, jeśli eksport zachowa odpowiedzi i co najmniej 11 z 12 osób udzieli odpowiedzi na oba główne pytania. Dopuszcza korektę wyglądu formularza przy zachowaniu treści, kolejności i dostępności pytań. Jeśli próg nie zostanie osiągnięty lub konieczna okaże się zmiana znaczenia pytania, przerwie nabór i wróci do planu.
Pierwsze 12 formularzy zapisuje się prawidłowo. W jedenastu przypadkach ta sama osoba podała obie potrzebne wartości. W dwunastym brakuje jednej odpowiedzi, ale jest to pole pominięte przez uczestnika. Eksport odnotował to poprawnie. Formularz pozostaje w zbiorze badania, z zachowanym brakiem. Kasia rekrutuje 68 kolejnych osób. Jeśli każda pojawia się raz i ma komplet obydwu zmiennych, w całym zbiorze jest 80 osób. Analiza związku obejmuje 79 osób, ponieważ tylko u nich jednocześnie są dostępne liczba zmian grafiku i ocena jasności. Inny wynik, który nie wymaga brakującego pola, może nadal dotyczyć wszystkich 80 osób.
Kasia dochodzi do tego wniosku, sprawdzając pola, eksport i przejścia między pytaniami. Nie musi wcześniej obliczać związku liczby zmian z jasnością komunikatu. Zapisuje datę i wynik kontroli. Jeśli podczas dalszego badania osoby w niektórych punktach zaczną dostawać dodatkową instrukcję, która może wpłynąć na odpowiedź, ustali, co to oznacza dla tych pomiarów. Decyzja o włączeniu pierwszej partii wiąże się z warunkami, na jakich rzeczywiście zebrano materiał.
Co zrobić, jeśli próba nie przejdzie kontroli?
W tym przykładzie po dziesięciu kompletnych ankietach z dwunastu Kasia wstrzymałaby nabór. Najpierw sprawdziłaby przyczynę: uczestnik mógł świadomie zostawić pole puste, instrukcja mogła być niejasna albo eksport mógł zgubić odpowiedź. W ostatnim przypadku warto sprawdzić zapis w źródłowym formularzu i udokumentować ewentualne odzyskanie danych, jeśli jest ono przewidziane dla projektu. Jeśli odzyskanie jest niemożliwe, brak pozostaje brakiem. Zmiana okresu z czterech tygodni na kwartał zmieniłaby znaczenie pomiaru. Nie da się jej nadrobić prostym przeliczeniem odpowiedzi. Liczba 11 z 12 wynika z założeń tego przykładu. W swoim projekcie uzasadnij próg. Zapisz, jak będziesz kontynuować po spełnieniu warunku i co sprawdzisz, jeśli zabraknie kompletnych formularzy.
Może być też tak, że eksport jest bez zarzutu, a zmiana kolejności pytań wpływa na odpowiedzi. Wyobraź sobie, że część osób widzi przykładową odpowiedź przed własną oceną, reszta dopiero po niej. Sprawdź, których pozycji dotyczy ta różnica i czy bodziec mógł zmienić odczyt kolejnych pytań. Do rozpoznania ryzyka wystarczy z początku odtworzenie przebiegu formularza. Jeśli potrzebujesz obliczeń, aby zorientować się w skali rozbieżności, zapisz, które oceny powstały w jakich warunkach i jak zostanie to uwzględnione w raporcie.
Jak rozpoznać wcześniejsze ankiety w roboczej bazie
Przechowuj pierwotne eksporty zgodnie z ustaleniami projektu. Zmian dokonuj w kopii roboczej. Sprawdź, co oznacza jeden wiersz. W zwykłej ankiecie jest nim często jedna osoba. Przy kilku pomiarach może nim być osoba w określonym terminie. Jeżeli połączony plik posortujesz według oceny albo daty, wiersze z pierwszego etapu zmienią miejsca. Przy osobnym oznaczeniu etapu nadal będzie można je znaleźć.
W projekcie Kasi wystarczy roboczy identyfikator, etap, wersja formularza i informacja o kompletności głównych pól. Przy konkretnej analizie przyda się także zapis, które wiersze spełniły kryteria i co spowodowało wyłączenie pozostałych. Oznaczenie etapu ustal na podstawie dokumentacji naboru albo zapisu uczestnictwa. Data eksportu może być późniejsza niż data wypełnienia. Wynik, wygląd odpowiedzi czy pozycja w pliku również nie stanowią podstawy do odtwarzania etapu.
Przed łączeniem porównaj liczby osób, liczby formularzy i wykryte powtórzenia. Sprawdź kody odpowiedzi takich jak „nie dotyczy” lub „odmowa” w obu słownikach. Zapisz, które wyłączenia wynikają z kryteriów uczestnictwa, a które z braku informacji niezbędnej do danej analizy. Podstawy techniczne rozwija poradnik o przygotowaniu bazy danych do analizy statystycznej. Przy dwóch etapach dochodzi dodatkowa decyzja: czy pola da się wspólnie odczytać i czy dokumentacja pozwala zestawić je w taki sposób.
Czy warto osobno policzyć wariant z danymi z pilotażu?
Oba etapy mogły wykorzystywać tę samą ankietę i podobny dobór, a plan mógł pozostawić otwartą kwestię pierwszej partii. Jeśli dopuszczalny zakres użycia i porównywalność na to pozwalają, możesz wykonać dodatkowe obliczenie. Najpierw nazwij pytanie, na które odpowie. Przykładowo: „Czy uwzględnienie wcześniejszej partii wpływa na ocenę związku między zmianami grafiku a jasnością komunikatów?”. Ustal, które dane dodajesz, jak potraktujesz braki i jakie liczby zestawisz. W raporcie zaznacz, że sprawdzenie opracowano po zebraniu danych.
Przy obu wariantach podaj liczebność i odpowiednie oszacowanie. Jeśli obliczasz miarę niepewności, pokaż ją w obu przypadkach. Zdanie „po dodaniu pilotażu wynik stał się istotny” pomija kierunek, wielkość związku i precyzję. Pomija też to, że wcześniej ankietowano osoby z innego miejsca lub w innym terminie. Jeśli merytorycznie da się opisać wyniki oddzielnie i masz do tego dość danych, rozważ taki zapis. W razie braku porównywalności określ, która część pomiaru wymaga oddzielenia i dlaczego.
A jeśli pierwszą próbą były wywiady?
Sprawdź, do czego zaproszono rozmówcę. Ktoś może komentować pytania jako konsultant albo próbnie na nie odpowiadać, żeby wychwycić niezrozumiałe zwroty. Taka rozmowa pomoże dopracować scenariusz. Żeby wypowiedzi weszły do analizy głównej, powinno z ustaleń wynikać, że osoba uczestniczyła w badaniu w odpowiedniej roli i można użyć jej wypowiedzi lub cytatów w planowanym zakresie. Wróć do zaproszenia, przebiegu rozmowy i dokumentacji materiału.
Jeśli pierwsze wywiady należą do badania, możesz zgodnie z przyjętym podejściem pogłębić jeden z tematów w kolejnych rozmowach. Odnotuj, kto dostał nowe pytanie. Przykładowo w pierwszych trzech wywiadach nikt nie pytał o ustne potwierdzanie zmian grafiku. Brak tego tematu w wypowiedziach oznacza jedynie, że go nie zarejestrowano. Żeby uznać, że uczestnicy nie stosują takiej praktyki, potrzebujesz podstawy w ich relacjach. Poszukaj, czy ktoś wspomniał o niej z własnej inicjatywy. Jeśli projekt dopuszcza kontakt uzupełniający, zdecyduj, jak równo zastosujesz go wobec wcześniejszych rozmówców. Jeśli pozostajesz przy dotychczasowych rozmowach, pokaż, z jakiej części materiału pochodzi wniosek.
W rejestrze przy każdej rozmowie oznacz etap, wersję scenariusza, zadane pytania i tematy podjęte z inicjatywy rozmówcy. Zapisz ograniczenia dalszego użycia materiału. W małym zespole stanowisko, data zdarzenia i nietypowa reakcja mogą razem ujawnić osobę mimo pominięcia nazwiska. Sprawdź, ile kontekstu wymaga sam wniosek. Jeśli przydatność cytatu lub zakres jego użycia są niejasne, wróć do warunków projektu i wyjaśnij to z osobą odpowiedzialną za materiał.
Jak opisać decyzję w metodach i wynikach
Czytelnik powinien móc prześledzić, po co przeprowadzono próbę, co się po niej zmieniło i do których obliczeń weszła każda część materiału. W metodach opisz cel pierwszego etapu i regułę włączenia. W wynikach podaj liczebność przy konkretnym obliczeniu. Jeśli zmiana po pilotażu ogranicza zakres wniosku, wróć do niej w dyskusji. Przyda Ci się poradnik o opisywaniu rozbieżności między planem i przebiegiem badania.
Wzór, gdy próba formularza była oddzielna
„Przed właściwą rekrutacją przeprowadzono próbę formularza z udziałem 12 osób z jednego punktu. Sprawdzono, jak uczestnicy rozumieją okres odniesienia i etykiety skali. Po próbie zmieniono okres z ostatniego kwartału na ostatnie cztery tygodnie. Wprowadzono pytanie o liczbę zmian grafiku i doprecyzowano etykiety skali oceny komunikatów. Ze względu na zmiany pomiaru i zakres pierwszego etapu próbnych odpowiedzi nie użyto w analizie związku. Do próby głównej zakwalifikowano 80 osób z właściwego naboru”.
Dopisz liczebność konkretnej analizy w rozdziale wyników. Jeżeli część osób nie podała liczby zmian lub oceny jasności, wielkość próby głównej pozostaje 80, a obliczenie może dotyczyć mniejszej liczby osób. W aneksie rozróżnij wersje, jeśli oba kwestionariusze są potrzebne do przedstawienia przebiegu. Oznacz, którą wersją zebrano dane do analizy głównej. Jeżeli próbne odpowiedzi pokazują tylko różnicę w rozumieniu terminu, sam opis poprawki może wystarczyć do jej uzasadnienia.
Wzór, gdy pierwsza partia od początku należała do badania
„Plan przewidywał kontrolę po otrzymaniu formularzy od pierwszych 12 kwalifikujących się osób. Warunkiem kontynuacji był prawidłowy eksport oraz komplet obu głównych wartości u co najmniej 11 uczestników. Eksport zachował wszystkie odpowiedzi oraz zapis jednego pustego pola. Do zbioru badania włączono pierwszych 12 i 68 kolejnych osób. Związek między liczbą zmian grafiku a oceną jasności oszacowano dla 79 osób, które podały obie wartości”.
Jeżeli w trakcie zmieniono wygląd formularza, powiedz, na czym polegała poprawka. Dwie rzeczy możesz przekazać w jednym krótkim opisie: „Doprecyzowano nagłówek ekranu. Zweryfikowano, że brzmienie i kolejność pytań oraz dostępne odpowiedzi pozostały takie same”. Jeżeli kontrola dotyczyła urządzeń, podaj, jak sprawdzano działanie i zapis. Szczegóły mają pomóc zrozumieć warunek decyzji. Nie zastąpi ich samo stwierdzenie, że formularz działał.
Karta decyzji do wykorzystania we własnej pracy
Zapisz odpowiedzi w notatce do metod. Nie musisz przepisywać jej w całości do rozdziału. Przyda Ci się, kiedy po kilku tygodniach wrócisz do liczebności albo dostaniesz pytanie o zmianę narzędzia.
- Pierwotny plan. Jaki był cel pierwszego etapu? Czy przewidziano jego użycie w analizie? Wskaż wersję planu i moment decyzji.
- Udział i dobór. Kogo zaproszono, jak przebiegał nabór i o co proszono pierwsze osoby? Oddziel zadanie testowania formularza od zwykłego wypełnienia.
- Pomiar. Które pytania, okresy, reguły przejścia i kody zmieniono? Zapisz różnice w odniesieniu do potrzebnych zmiennych.
- Planowana analiza. Jaką zależność lub jaki opis chcesz uzyskać? Ustal, co oznacza jedna obserwacja i jakie pola muszą być dostępne u tej samej osoby.
- Zakres materiału. Co wynika z informacji dla uczestników i dokumentacji projektu? Zapisz datę i zakres istotnych uzgodnień.
- Liczby. Ile było formularzy, ile osób i ile obserwacji wykorzystano w każdym obliczeniu? Wyjaśnij powtórzenia i przyczyny wyłączeń.
- Kolejność decyzji. Czy już znałeś wynik związany z głównym pytaniem, kiedy rozważałeś zmianę? Późniejsze warianty oznacz jako dodatkowe.
- Granice wniosku. Do kogo odnosisz wynik i które okoliczności pozostają niepewne? Napisz jedno zdanie bez używania ogólnego „dane częściowo się różniły”.
Przeczytaj obok siebie opis naboru, akapit o narzędziu i początek wyników. Jeśli w pierwszym tekście widnieje jeden punkt, a później kilka punktów, powinna być widoczna przyczyna tej różnicy. W wariancie A jeden punkt dotyczy próby kwestionariusza. W wariancie B pierwszy etap stanowi początek tej samej rekrutacji. Przy zdaniu o 79 osobach powinno być jasne, że mowa o ludziach, którzy podali obie wartości. To często można wyjaśnić kilkoma słowami przy samym wyniku.
Bibliografia
- Avery, K. N. L., Williamson, P. R., Gamble, C., O’Connell Francischetto, E., Metcalfe, C., Davidson, P., Williams, H., Blazeby, J. M., & members of the Internal Pilot Trials Workshop supported by the Hubs for Trials Methodology Research. (2017). Informing efficient randomised controlled trials: Exploration of challenges in developing progression criteria for internal pilot studies. BMJ Open, 7(2), e013537. DOI 10.1136/bmjopen-2016-013537.
- Eldridge, S. M., Chan, C. L., Campbell, M. J., Bond, C. M., Hopewell, S., Thabane, L., Lancaster, G. A., & PAFS consensus group. (2016). CONSORT 2010 statement: Extension to randomised pilot and feasibility trials. BMJ, 355, i5239. DOI 10.1136/bmj.i5239.
- Thabane, L., Ma, J., Chu, R., Cheng, J., Ismaila, A., Rios, L. P., Robson, R., Thabane, M., Giangregorio, L., & Goldsmith, C. H. (2010). A tutorial on pilot studies: The what, why and how. BMC Medical Research Methodology, 10, 1. DOI 10.1186/1471-2288-10-1.
- Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679, art. 5 i 6. EUR-Lex, CELEX 32016R0679.
Najczęstsze pytania
Kiedy formularze z pilotażu liczą się do próby głównej?
Gdy pierwsza partia od początku należy do właściwego badania, osoby spełniają kryteria naboru, a pomiar i warunki wykorzystania danych pozwalają na wspólną analizę. Jeżeli pierwsze osoby tylko pomagały sprawdzić formularz, opisz ich udział przy przygotowaniu narzędzia. Liczbę uczestników właściwego badania podaj oddzielnie.
Czy można dołączyć ankiety z pilotażu po zmianie skali?
Najpierw sprawdź, co się zmieniło. Kody 03 i 3 możesz ujednolicić, jeśli w obu wersjach oznaczają tę samą odpowiedź. Gdy zmieniły się dostępne opcje, etykiety lub znaczenie oceny, przeliczenie wyników na wspólny przedział nie wystarcza. Porównywalność oceń dla zmiennej, której potrzebujesz.
Jak opisać pilotaż, którego dane nie weszły do analizy głównej?
Podaj cel próby, liczbę uczestników lub formularzy oraz konkretne ustalenia. Na przykład napisz, że trzy osoby inaczej rozumiały okres odniesienia i dlatego przed właściwym naborem zmieniono jego opis. Wyjaśnij, dlaczego obie partie rozpatrujesz oddzielnie. Liczebność przy każdym głównym wyniku powinna obejmować osoby, których danych rzeczywiście użyto.
Co zrobić, jeśli pomysł dołączenia pilotażu pojawił się już po zebraniu danych?
Odszukaj pierwszy plan, oba formularze i informację przekazaną uczestnikom. Sprawdź porównywalność odpowiedzi oraz dopuszczalny zakres ich użycia. Zapisz, kiedy rozważyłeś włączenie i jakie wyniki były już znane. Jeżeli dodatkowe obliczenie ma uzasadnienie, pokaż je jako osobny wariant obok wyniku zgodnego z pierwotnym planem.
Czy mogę zamówić konsultację po pilotażu do magisterki?
Tak. W formularzu kontaktowym napisz, co chcesz ustalić. Przygotuj plan badania, obie wersje pytań i krótką notatkę o zmianach oraz liczbie uczestników. Usuń dane pozwalające rozpoznać osoby. Na tej podstawie można uzgodnić, czy pomoc ma objąć porównanie pomiarów, opis metody czy oba zadania.
Jak ustalamy cenę i termin?
Wycena zależy od zadania i przekazanego materiału. Najpierw sprawdzamy potrzebny zakres, a następnie podajemy cenę i możliwy termin. Samo wysłanie zapytania nie jest zamówieniem.



