Przejdź do treści

Poradnik

Jak opisać w pracy magisterskiej zmianę analizy po obejrzeniu wyników?

Zamknięty bordowy notes z zakładkami obok otwartego zeszytu

Jeśli zmieniasz analizę po obejrzeniu danych, zachowaj wcześniejszy plan i zapisz, co wiesz w chwili decyzji. Pokaż wynik z pierwotnego planu, o ile możesz go rzetelnie obliczyć i zinterpretować. Jeśli danych do tego brakuje albo obliczenie nie odpowiada już na pytanie, opisz przeszkodę. Wynik analizy, której pomysł podsunęły te same dane, przedstaw jako eksploracyjny. Może być cenny, zwłaszcza gdy prowadzi do pytania do następnego badania. Przy ocenie wniosku czytelnik musi wiedzieć, kiedy takie pytanie się pojawiło.

Załóżmy, że w całej próbie związek między czasem spotkań projektowych a jasnością ról jest niepewny. Na wykresie linia jest bardziej stroma u osób, które pierwszy raz pracują nad takim projektem. To powód, żeby przyjrzeć się obu grupom osobno. Zachowaj informację, że pierwsze pytanie dotyczyło całej próby, a pomysł na podział pojawił się po obejrzeniu wykresu. Jeśli pokażesz tylko wynik początkujących, czytelnik może uznać, że od początku to ta grupa była przedmiotem badania.

Co innego, gdy podczas sprawdzania kodu odkrywasz, że skrypt potraktował pustą komórkę jako zero i uwzględnił ją w średniej. Wtedy możesz ponownie policzyć wynik według wcześniej ustalonej reguły. Zapisz, co robiła błędna wersja i jak ją poprawiono. W obu sytuacjach przydaje się notatka z trzema informacjami: jakie było pierwotne pytanie, co już widziałeś i jaką decyzję podjąłeś. Ten zapis pomoże Ci później opisać kolejność obliczeń w metodach i odnieść wnioski do właściwego wyniku.

Odtwórz, co było już wiadomo przed decyzją

Otwórz konspekt przesłany promotorowi, notatki i pierwsze wersje skryptu. Szukaj decyzji, które można przytoczyć: kogo miała objąć analiza, jakie zmienne miały być porównane, jak liczysz wskaźnik i jak postępujesz w razie braków. Zdanie „sprawdzę związek między spotkaniami a jasnością ról” ustala pytanie. Jeśli później pojawiły się trzy możliwe skale, różne definicje początkującego i dwa sposoby wyłączenia obserwacji, wróć do zapisu i sprawdź, które z tych rozstrzygnięć rzeczywiście zapadły. Metody powinny oddawać zakres planu taki, jaki był w chwili jego sporządzenia.

W odtworzeniu kolejności mogą pomóc zarówno prywatne notatki, jak i konspekt wysłany promotorowi. Formalna prerejestracja to zapis z datą w systemie rejestracji. W pracy nazwij dokument zgodnie z tym, czym jest. Jeśli w notatce sprzed analizy znalazłeś zapis o badaniu całej próby, możesz na niego się powołać. Sprawdź jednak, czy mówi też o sposobie liczenia wyniku. Gdy dokumenty nie wystarczą do ustalenia dokładnej daty albo zakresu decyzji, napisz, co udało się odtworzyć i gdzie kończą się zachowane informacje.

Dostęp do pliku, podsumowania i wstępne wyniki to trzy różne sytuacje

Arkusz można odebrać i otworzyć po to, żeby sprawdzić nazwy kolumn, liczbę rekordów oraz przebieg importu. Zakres wiedzy zmienia się, gdy zaczynasz liczyć. Przy pytaniu o różnicę średnich dwa osobne podsumowania pokazują już, w którą stronę może iść wynik, choć wartość p jest jeszcze nieznana. Przy pytaniu o związek dwóch cech podobną rolę może odegrać wykres rozrzutu. Jeśli na jego podstawie wybierzesz grupę do osobnej analizy, wybór będzie zależał od informacji z tych danych.

W dzienniku analizy nazwij wyświetloną informację. „Sprawdziłam liczbę wierszy i zgodność nazw kolumn. Nie oglądałam wartości wyniku ani przekrojów” pozwala odtworzyć działanie. „Obejrzałam rozkład godzin i średnią jasność ról według wcześniejszego doświadczenia. Modeli dla grup jeszcze nie liczyłam” opisuje inny zakres wiedzy. W pracy zespołowej zapisz również, kto robił podsumowanie i co przekazał osobie wybierającej model. Mogła ona usłyszeć, w której grupie widać wzór, bez samodzielnego otwierania arkusza.

Center for Open Science zwraca uwagę, że na wybór testu, zmiennych lub grup mogą wpływać już statystyki opisowe. Nosek i współautorzy (2018) pokazują, dlaczego należy odróżniać znajdowanie wzorów od sprawdzania wcześniejszych przewidywań. To rozróżnienie przydaje się także wtedy, gdy wcześniej postanawiasz obejrzeć rozkłady, żeby szukać możliwych zależności. Przegląd był planowany, a znalezione w nim wzory mają charakter eksploracyjny. Możesz więc uczciwie napisać zarówno o wcześniejszym planie przeglądu, jak i o późniejszym wyborze konkretnego pytania.

Jak opisać wiedzę z innych badań albo innej części materiału

Publikacja przeczytana przed analizą może uzasadnić wybór modelu. Czasem kolejność jest odwrotna: dopiero po zobaczeniu różnicy między grupami szukasz badań o osobach bez doświadczenia. Jeśli znajdziesz pasujące wyjaśnienie, przywołaj je w dyskusji i zaznacz, kiedy do niego dotarłeś. Taka publikacja pomaga rozważyć interpretację wzoru. O dacie decyzji analitycznej świadczą dokumenty i przebieg pracy.

Korzystając z istniejącego zbioru, przypomnij sobie materiały, które były dostępne przed sporządzeniem planu. Opis kolumn albo lista dostępnych lat to co innego niż raport pokazujący zależność, którą chcesz zbadać. Zapisanie modelu przed uruchomieniem go na własnym komputerze nie wystarczy do niezależnego sprawdzenia wyniku znanego już z raportu. Jeśli możesz odłożyć część danych poza etap poszukiwania wzorów, zapisz pytanie i regułę sprawdzenia przed jej otwarciem. Weź pod uwagę sposób doboru obserwacji oraz liczebność. Gdy te same osoby, zajęcia lub zespoły trafiają do obu części, oceń, co już można o nich wywnioskować.

Nazwij rodzaj zmiany i sprawdź jej znaczenie

Gdy w notatkach pojawia się „zmieniono model”, dopisz dokładną czynność i jej znaczenie dla pytania. Mogło chodzić o przeliczenie minut na godziny, wybór innej reguły obsługi braków albo dodanie porównania podgrup. Przeliczenie jednostki może przywrócić obliczenia przewidziane w planie. Zmiana reguły braków może wpłynąć na to, kto znalazł się w próbie, a porównanie podgrup może prowadzić do nowego pytania. Od tego zależy, które wyniki trzeba pokazać i jak je opisać.

Naprawa błędnej realizacji wcześniejszego planu

Załóżmy, że plan przewidywał odwrócenie odpowiedzi na dwa pytania skali przed obliczeniem średniej. W pierwszym uruchomieniu skrypt odwrócił tylko jedno. Sprawdzasz instrukcję narzędzia, poprawiasz kod i liczysz wskaźnik na nowo. Jeśli korekta odtwarza zapisany sposób obliczeń, poprawione oszacowanie nadal może być wynikiem z pierwotnego planu. Zachowaj ślad pomyłki. Gdy błędna liczba trafiła już do promotora albo do raportu, wskaż prawidłową wartość i powiedz, które zdania wymagają zmiany. Obie wersje kodu dokumentują korektę, ale w rozdziale wyniki trzeba oprzeć na poprawnym obliczeniu.

Bywa, że wybór sposobu kodowania pozostaje otwarty. Gdy po zmianie znaku współczynnik zaczyna pasować do przewidywania, wróć do treści pytań i instrukcji narzędzia. Jeżeli instrukcja jasno wskazuje właściwy kierunek, sprawdź kod na kilku rekordach policzonych ręcznie. Jeśli są dwa dopuszczalne sposoby, zapisz oba, uzasadnij wybór i podaj, jaki wynik znałeś już w chwili decyzji. Określenie „czyszczenie danych” warto rozwinąć tak, by czytelnik mógł odróżnić poprawę pomyłki od wyboru między wariantami.

Zmiana wymuszona przez dane

W planie uwzględniono pełną skalę, ale z powodu błędu formularza część osób nie widziała dwóch pozycji. W niektórych rekordach wskaźnika nie da się policzyć tak, jak zakładano. Otwórz instrukcję narzędzia i sprawdź przyjętą wcześniej regułę. Ustal, ile osób dotyczy problem i czy ograniczenie analizy do kompletnych odpowiedzi pozwala jeszcze odpowiedzieć na pytanie. Jeśli wyniku z planu nie da się uzyskać, opisz przeszkodę. Przy analizie podzbioru podaj, kto został uwzględniony i do jakiej grupy odnoszą się wnioski.

Kiedy model nie daje się dopasować, zdanie „zastosowano bardziej odpowiednią metodę” pozostawia czytelnika bez powodu zmiany. Wskaż konkretny warunek, którego dane nie spełniły. Jeśli plan przewidywał alternatywę na taką okoliczność, wyjaśnij, jak rozpoznano ten warunek. Jeśli wybór spośród kilku rozwiązań nastąpił dopiero po poznaniu wyniku, podaj, co było wtedy wiadomo. Dobre uzasadnienie metody i opis jej wyboru odpowiadają na dwa różne pytania.

Wariant pomocniczy i analiza wrażliwości

Analiza wrażliwości przydaje się, gdy chcesz sprawdzić, czy wniosek zależy od przyjętego sposobu traktowania braków albo innego uzasadnionego wyboru. Najpierw ustal, jakie pytanie ma pozostać wspólne. Następnie nazwij regułę, którą zmieniasz, i pokaż wyniki rozważonych, uzasadnionych wariantów. Jeśli przedstawisz tylko obliczenie dające oczekiwany rezultat, czytelnikowi trudno ocenić jego trwałość. Gdy przechodzisz od związku w całej próbie do związku w jednej podgrupie, sprawdź też, czy nadal odpowiadasz na pierwotne pytanie.

Warianty można rozpisać w planie lub dodać po zauważeniu problemu. W tym drugim przypadku napisz, przy jakiej informacji powstał pomysł. Zaznacz też, czy między wariantami zmienił się zestaw uczestników, sposób przypisania do grup albo jednostka wyniku. Dwa współczynniki mogą wyglądać podobnie, choć dotyczą różnych osób. Gdy wyniki się rozchodzą, ta informacja pomaga ocenić, czy warto wrócić do założeń obliczeń, składu próby, czy do obu tych spraw.

Nowy podział grup lub nowy wynik

Przypomnij sobie przekroje, które doprowadziły do nowego pytania. Załóżmy, że porównanie roku studiów, trybu zajęć i wcześniejszego udziału w projektach zwróciło Twoją uwagę na osoby bez doświadczenia. Napisz, jakie widoki miały znaczenie dla wyboru i dlaczego ten podział policzyłeś szczegółowo. Jeśli sprawdzono kilka podobnych modeli, przedstawienie tylko ostatniej liczby ukrywa część historii. Przy większej liczbie porównań łatwiej przypadkiem znaleźć jedno wyróżniające się oszacowanie.

Szczególnie łatwo sformułować za szeroki wniosek przy dzieleniu zmiennej liczbowej. Gdy sprawdzasz progi dwóch, trzech i czterech godzin, zmieniasz jednocześnie skład grup i pytanie, na które odpowiada porównanie. Zapisz rozważane progi, uzasadnij wybrany i w miarę możliwości pokaż, jak wygląda wynik bez sztucznego podziału. Jeśli sensowny próg wynika z instrukcji narzędzia albo wcześniej określonego kryterium, wskaż tę podstawę. Gdy wybrano go dlatego, że dane na wykresie dobrze się rozdzieliły, potraktuj ten próg jako propozycję do ponownego sprawdzenia.

Wagenmakers i współautorzy (2012) rozróżniają znajdowanie wzorów od sprawdzania przewidywań zapisanych wcześniej. Rozdział wyników może zawierać obie części. Jedna przedstawia wynik z modelu ustalonego na początku, druga pokazuje, co później przykuło uwagę i do jakiego pytania doprowadziło. Ponowne uruchomienie modelu na tych samych danych pomaga sprawdzić kod. Jeśli chcesz ocenić, czy odkryty wzór się powtarza, przygotuj regułę na podstawie tego, czego się dowiedziałeś, i użyj danych niezależnych od tych, które podsunęły pytanie.

Przykład Niny. Od wyniku całej próby do pytania o początkujących

Nina bada, czy w projektach studenckich liczba godzin wspólnych spotkań w ostatnim tygodniu wiąże się z tym, jak jasno uczestnicy rozumieją swoje role. Każdy student podaje liczbę godzin i odpowiada na pytania, z których zgodnie z ustaloną regułą powstaje wskaźnik od 1 do 7. W tym uproszczonym ćwiczeniu przyjmujemy po jednej osobie z każdego niezależnego zespołu oraz 126 kompletnych obserwacji. Wszystkie poniższe liczby, daty i elementy projektu są fikcyjne. Służą do przećwiczenia opisu, a nie do szacowania jakiegokolwiek zjawiska.

W konspekcie z 3 marca Nina zapisuje prostą regresję liniową dla całej próby. Zmienną wynikową jest wskaźnik jasności ról, a jedynym predyktorem liczba godzin spotkań w tygodniu. Poda współczynnik przypadający na godzinę oraz jego przedział ufności. Pyta też o wcześniejsze doświadczenie w podobnych projektach. W planie ta cecha służy do opisu próby. Nina na tym etapie nie przewiduje osobnych modeli dla początkujących ani porównania nachyleń między grupami.

18 marca Nina sprawdza, czy 126 ankiet zawiera wartości obu zmiennych i czy kody odpowiadają pytaniom. Następnie dopasowuje zaplanowany model. Każdej dodatkowej godzinie spotkań odpowiada oszacowanie jasności ról wyższe o 0,07 punktu. Przedział ufności 95% biegnie od -0,04 do 0,18 i obejmuje zero oraz wartości o obu znakach. Nina może odnieść wielkość oszacowania do skali, jeśli dysponuje podstawą do takiej oceny. Z samego przedziału wynika, że dane zostawiają miejsce na kilka interpretacji związku.

Co podsunął wykres?

19 marca Nina zaznacza na wykresie dwoma kolorami osoby z wcześniejszym doświadczeniem i osoby bez doświadczenia. U 48 początkujących linia wydaje się bardziej stroma. Liczy oba modele i zestawia ich oszacowania razem z przedziałami. U osób bez doświadczenia otrzymuje 0,22 punktu na godzinę, przy 95% PU od 0,02 do 0,42. U 78 osób z doświadczeniem wynik to 0,01 punktu, przy 95% PU od -0,11 do 0,13. Wskaźnik i jednostka czasu zostają te same. Każda z tych liczb opisuje jednak związek w innej grupie.

Czy w takim razie czas spotkań wiązał się z jasnością ról tylko u początkujących? Nina sprawdza bezpośrednio różnicę nachyleń. W modelu z interakcją różnica wynosi 0,21 punktu na godzinę (nachylenie u osób bez wcześniejszego doświadczenia minus nachylenie u osób z wcześniejszym doświadczeniem), przy 95% PU od -0,02 do 0,44. Przedział pokazuje niepewność także co do różnicy między grupami. Wyniki są ilustracyjne. W swojej pracy policz porównanie w modelu odpowiednim dla danych i wyznacz niepewność metodą dopasowaną do doboru próby. To, że przedział jednej grupy obejmuje zero, a przedział drugiej omija zero, samo w sobie nie rozstrzyga o różnicy. Gelman i Stern (2006) opisują ten błąd na przykładzie porównywania wyników według ich istotności.

Nina zachowuje wykres. W dzienniku dopisuje, że dopiero ten widok podsunął jej pomysł sprawdzenia interakcji. Gdyby wcześniej oglądała również przekroje według roku studiów i trybu zajęć, zapisałaby je przy zmianie. Dzięki temu czytelnik wiedziałby, czy pytanie podsunął jeden wykres, czy wyróżniający się wynik z całej serii. Zwykłe przedziały z dopasowanych modeli nie uwzględniają automatycznie tego, że podgrupę wybrano po obejrzeniu danych. Nina podaje je jako informacje o poszczególnych obliczeniach i wraca do kolejności wyboru w dyskusji.

Co zostaje w rozdziale wyników?

Nina zaczyna rozdział wyników od oszacowania z całej próby. Dopiero potem pokazuje oba wyniki podgrup i wyjaśnia, dlaczego pokolorowała wykres według doświadczenia. Jeśli wykres trafia do pracy, podpis od razu wskazuje, że porównanie było eksploracyjne. W dyskusji Nina rozważa, co mogłoby tłumaczyć związek czasu spotkań z jasnością ról u początkujących. Jedna z możliwości to typ zadań przydzielonych zespołom, który może mieć związek z oboma pomiarami. W tym obserwacyjnym badaniu pozostaje to wyjaśnieniem do sprawdzenia.

Przed zebraniem kolejnej próby Nina może zdefiniować, co uznaje za wcześniejsze doświadczenie, zapisać model z interakcją i zaplanować liczebność odpowiednią do porównania nachyleń. Jeśli w następnym badaniu obejmie kilka osób z jednego zespołu, musi uwzględnić ich podobieństwo. Praca na obecnych danych nadal może pomóc sprawdzić kod, wskaźnik albo wpływ założeń. Niezależna próba pozwoli jej natomiast sprawdzić, czy podpowiedź z pierwszego wykresu znajduje oparcie w nowym materiale.

Wyobraź sobie dwie inne sytuacje. W pierwszej porównanie podgrup znalazło się w konspekcie. Nina wciąż musi pokazać wielkość i niepewność różnicy. W drugiej przed analizą ktoś przeoczył pozycję wymagającą odwrócenia skali. Nina zachowuje wówczas osobny zapis naprawy kodu i przelicza wyniki, których błąd dotyczył. Jeśli oprócz naprawy dodała nowe porównanie, obie decyzje warto pokazać w kolejności i przypisać do odpowiedniej wersji modelu.

Gdzie umieścić plan, zmianę i jej konsekwencje

W metodach opisz regułę i moment zmiany. W wynikach pokaż, które liczby pochodzą z poszczególnych wariantów. W dyskusji odnieś wniosek do wyniku właściwego dla danego pytania. Jeśli metody wspominają o „analizach dodatkowych”, ale w wynikach widać tylko nowy model, trudno się zorientować, co stało się z pierwotnym. Samo ograniczenie na końcu dyskusji również nie pozwala odtworzyć decyzji. Poniżej znajdziesz zapis tej samej zmiany w trzech miejscach pracy Niny.

Metody. Kiedy i na jakiej podstawie zmieniono analizę

Przykładowy zapis w metodach: „W planie z 3 marca przewidziano prostą regresję liniową wskaźnika jasności ról względem liczby godzin spotkań w tygodniu dla całej próby. Współczynnik wyrażono w punktach wskaźnika na godzinę spotkań. Po dopasowaniu modelu rozróżniono na wykresie osoby z wcześniejszym doświadczeniem i bez niego. Wzór widoczny na wykresie skłonił do eksploracyjnego oszacowania nachyleń w obu grupach i porównania ich w modelu z interakcją. Wskaźnik liczono według tej samej reguły w każdej analizie”. Jeśli oglądano też inne przekroje istotne dla wyboru, można je wymienić.

Nazwij to, co było wcześniej widoczne. „Po wstępnej analizie” może oznaczać sprawdzenie kodu, policzenie średniej lub obejrzenie gotowych porównań podgrup. Jeżeli zmianę wymusiły dane, przytocz wcześniejszą regułę i ograniczenie, które uniemożliwiło jej użycie. Uzasadnij alternatywę albo wskaż warunek z planu, który ją uruchomił. W rozdziale wystarczy tyle szczegółów, by można było odtworzyć krok mający wpływ na odpowiedź.

Wyniki. Przypisz liczby do poszczególnych analiz

„W zaplanowanej analizie całej próby (n = 126) współczynnik wyniósł 0,07 punktu na godzinę spotkań, 95% PU od -0,04 do 0,18. W eksploracyjnych analizach według wcześniejszego doświadczenia współczynnik wyniósł 0,22 u osób bez doświadczenia (n = 48, 95% PU od 0,02 do 0,42) i 0,01 u osób z doświadczeniem (n = 78, 95% PU od -0,11 do 0,13). Różnica oszacowana w modelu z interakcją (nachylenie w grupie bez wcześniejszego doświadczenia minus nachylenie w grupie z doświadczeniem) wyniosła 0,21 punktu na godzinę (95% PU od -0,02 do 0,44)”. W tym zapisie od razu widać, której próby dotyczy każda liczba i gdzie jest bezpośrednie porównanie grup.

Podaj liczebność przy każdym ważnym wyniku i wyjaśnij, czy modele obejmowały te same osoby. Dwa modele mogą mieć po 120 obserwacji, chociaż w jednym pominięto osoby bez pomiaru wyniku, a w drugim osoby bez wartości zmiennej kontrolnej. Zapis reguł wyłączeń pomoże dojść do tego, czy różnica w oszacowaniach wynika ze zmiany modelu, zmiany próby, czy z obu tych rzeczy.

Jeżeli analiza zaplanowana była niemożliwa, zaznacz to w miejscu, w którym odbiorca szukałby jej wyniku. „Pierwotnej analizy jasności ról według zespołów nie wykonano, ponieważ identyfikator zespołu nie pozwalał przypisać części odpowiedzi. Pokazano opis na poziomie osób należących do zidentyfikowanych zespołów”. W metodach podaj zakres braku i znaczenie ograniczenia. Jeśli masz ważną przesłankę, że zaobserwowane dane różnią się od tych, których brakuje, odnieś się do wpływu na ocenę wniosków.

Dyskusja. Od wyniku głównego do dodatkowego

„W całej próbie oszacowanie zależności było nieprecyzyjne. Dodatkowe porównanie pokazało silniejszy szacowany związek u osób bez wcześniejszego doświadczenia. Pomysł porównania pojawił się po obejrzeniu danych, a przedział dla różnicy współczynników obejmował zero. Wynik pozwala zaplanować badanie roli doświadczenia, ale pozostawia niepewność co do samej różnicy”. Dopiero później rozważ możliwe mechanizmy i warunki, których nie da się oddzielić na podstawie tej próby. W innym typie pracy własny wniosek wymaga odpowiedniej jednostki, opisu doboru i nawiązania do pytania postawionego wcześniej.

Przy lekturze dyskusji zacznij od zdania odpowiadającego na główne pytanie. Sprawdź, czy wynika z rezultatu dla całej próby z przykładu. Potem spójrz na zdanie o podgrupach. Wyjaśnienie, dlaczego mogły się różnić, powinno uwzględniać niepewność bezpośredniego porównania. Wynik główny pomoże Ci opisać poradnik o interpretacji hipotezy bez potwierdzenia. Jeśli wyniki i dyskusja powstawały w odstępie kilku dni, przeczytaj ostatnie zdania przy liczbach z aktualnej wersji.

Jeśli streszczenie mieści jedno zdanie o wyniku, podaj w nim oszacowanie dotyczące głównego pytania i zakres tego wyniku. Gdy znajdzie się miejsce na podgrupę, już tam nazwij analizę eksploracyjną. Te same słowa przydadzą się w podpisie wykresu na slajdzie. „Efekt u początkujących” może sugerować przyczynowość i działanie wyłącznie w jednej grupie. Na obronę przygotuj krótką odpowiedź na pytanie, co wiedziałeś o tej grupie przed podjęciem decyzji o jej osobnym porównaniu.

Zostaw zapis, do którego można wrócić po tygodniu

Do śledzenia zmian wystarczy dokument lub dziennik obok skryptu. Zachowaj wcześniejszy plan, daty otwarcia poszczególnych wyników, wersje kodu i notatkę o tym, co doprowadziło do decyzji. Dopisuj nowe zdarzenia po kolei. Przy błędzie kodowania zanotuj, jak działała stara wersja i na czym polegała naprawa. Przy zmianie sposobu obliczeń zaznacz także zdania w pracy oparte na wcześniejszym wyniku.

W dzienniku Niny mogłyby się znaleźć cztery krótkie wpisy.

  • 3 marca, konspekt v1. Plan obejmuje model dla całej przewidywanej próby oraz jednostkę jednej godziny. Doświadczenie ma pojawić się w charakterystyce uczestników. Zapis pochodzi z zachowanej kopii.
  • 18 marca, skrypt v1 i plik z wynikami pierwotnej analizy. Obejrzano kompletność oraz oszacowanie w pełnej próbie. W chwili wykonania planu nie było osobnych modeli podgrup.
  • 19 marca, wykres godzin i jasności ról z kolorem według doświadczenia. Po tym widoku dodano modele dla grup i interakcję. Wybrany podział może zależeć od wykresu.
  • 20 marca, skrypt v2 i wynik dodatkowy. Zachowano ten sam sposób liczenia wskaźnika. Wynik główny pozostaje w pliku z wynikami. Podgrupy przesunięto do osobnego fragmentu wyników i oznaczono jako eksploracyjne.
  • Przy następnym czytaniu: ujednolicić jednostkę i liczebności w metodach, wynikach oraz streszczeniu. Wyjaśnić, które liczby odpowiadają na pytanie o całą próbę, a która dotyczy różnicy między grupami.

Przy wspólnej pracy odnotuj, kto otworzył podsumowanie i kto zaproponował zmianę, jeśli pomaga to ustalić kolejność. Wersje plików z danymi badanych i dostęp do nich przechowuj według zasad projektu. Do rozmowy o przebiegu decyzji często wystarczą opis zmiennych, fragment metod, daty i wyniki zbiorcze. Jeśli trzeba sięgnąć po rekordy lub identyfikatory, ustal odrębnie, komu i do czego są potrzebne.

Co można zrobić, jeśli nie zachowano planu

Jeśli plan powstawał w wiadomościach i komentarzach, zacznij od najstarszego zachowanego dokumentu. Oddziel treść dokumentu od tego, co dziś pamiętasz. Możesz napisać: „W konspekcie podano dwie zmienne i całą próbę. Modelu ani sposobu traktowania braków nie zapisano. Regułę dotyczącą braków wybrano po obejrzeniu rozkładów”. Taki zapis zachowuje rolę wcześniejszych ustaleń i wskazuje decyzje dodane w trakcie analizy.

Datę, której nie da się potwierdzić, zastąp kolejnością względem zdarzenia, które możesz udokumentować. „Po przygotowaniu pierwszego wykresu czasu spotkań, przed obliczeniem modeli dla podgrup” może być dokładniejszym opisem niż data z właściwości pliku. Czas modyfikacji mógł się zmienić przy kopiowaniu. Wiadomość o akceptacji przeczytaj razem z wcześniejszą rozmową, by ustalić, jakiej wersji planu dotyczy.

Poradnik o rozbieżnościach między planem i przebiegiem badania przyda się, gdy oprócz obliczeń zmienił się sposób doboru, narzędzie, harmonogram lub dostęp do materiału. W dzienniku oddziel zmianę organizacji pracy od zmiany odpowiedzi na pytanie badawcze. Wtedy zauważysz na przykład, że przesunięcie terminu nie miało wpływu na dobór, ale sposób dzielenia danych według nowych kategorii zmienił to, kto wszedł do porównania.

Co zapisać w mniej oczywistych sytuacjach

Przed obejrzeniem wyniku trafiasz na lepiej uzasadnioną metodę. Zachowaj obie wersje planu. Zapisz, dlaczego zmiana odpowiada na pytanie i jakie podsumowania były już dostępne. Jeśli plan miał formę prerejestracji, skorzystaj z wersjonowania dostępnego w rejestrze i odwołaj się do właściwych dokumentów w pracy. Nawet gdy pomysł przyszedł z literatury, widziane wcześniej zestawienia należą do historii decyzji.

Konspekt zapowiada analizy podgrup, ale ich nie wskazuje. Możesz powiedzieć, że z góry przewidziano sprawdzenie zróżnicowania wyników. Przy konkretnym porównaniu napisz, skąd wzięła się kategoria lub próg. Jeśli podsunął je wykres, czytelnik powinien się o tym dowiedzieć. Oceniaj osobno każdy wariant, z którego korzystasz we wnioskach.

Dodajesz zmienną kontrolną. Jeśli znalazła się w modelu po obejrzeniu wyniku, wyjaśnij, czemu ją uwzględniłeś i które warianty rozważałeś. Być może zależało Ci na oszacowaniu związku przy uwzględnieniu wcześniejszego doświadczenia. Wtedy model prosty i rozszerzony mogą odpowiadać na różne pytania. Zmianę współczynnika odnieś do roli tej cechy w badaniu. Sam ruch oszacowania w górę albo w dół nie wskazuje, który model lepiej pasuje do pytania.

Obserwacja odstaje od pozostałych. Najpierw sprawdź, czy to błąd zapisu, np. 600 godzin zamiast 60, czy rzeczywisty przypadek. Przy poprawnym wpisie możesz sprawdzić, jak zmienia się oszacowanie z tą obserwacją i bez niej, pod warunkiem że jawnie podasz regułę i oba wyniki. Jeśli zainteresowałeś się obserwacją dopiero gdy po jej usunięciu współczynnik okazał się bliższy oczekiwanej wartości, zapisz kolejność wprost. Gdy obowiązywało wcześniej ustalone kryterium wiarygodności wartości, zastosuj je do wszystkich obserwacji.

W materiale jakościowym pojawia się nowy wątek. Jeżeli projekt zakładał, że interpretacja będzie się rozwijała w toku analizy, opisz, kiedy powstały kody, jakie fragmenty materiału doprowadziły do zmiany kategorii i na czym opierasz interpretację. W projekcie mieszanym podaj też, jak te wątki łączą się z wcześniej ustaloną analizą ilościową. Czytelnik powinien móc odtworzyć, z którego materiału wynika dany wniosek.

Lista przed oddaniem

  1. Odszukaj dokumenty poprzedzające obliczenia. Opisz dokładnie, które elementy da się uznać za zaplanowane.
  2. Przy najważniejszej zmianie zapisz datę albo moment względem wykresu, modelu lub dostępu do zagregowanych wyników. Ustal, co wiedział wtedy autor decyzji.
  3. Wyjaśnij, czy wykonano analizę zgodną z planem, poprawiono błąd, użyto z góry przewidzianej alternatywy czy wybrano nową metodę. Gdy wynik z planu nie istnieje, podaj konkretny powód.
  4. W wynikach sprawdź oznaczenie i liczebność każdej próby, istotne warianty, jednostki współczynników i sposób przedstawienia niepewności.
  5. Przy podgrupach podaj szacunki obu grup. Jeśli wniosek dotyczy różnicy między grupami, odnieś się do oszacowania tej różnicy i jej niepewności.
  6. Daną kwestię rozważ jako eksploracyjną, jeśli wybór został podsunięty przez analizowane dane. Powiedz, które wykresy lub porównania nasunęły pomysł i jaki zakres poszukiwań poprzedzał końcowy wariant.
  7. Porównaj wniosek, streszczenie i slajdy z porządkiem wyników. Gdy pojawił się nowy trop, zapisz osobno, jak można go dalej sprawdzić.

Na koniec daj drugiej osobie odpowiedni fragment metod i wyniki. Poproś, żeby wskazała, co wiedziałeś przed zmianą i gdzie jest odpowiedź na główne pytanie. Jeśli nie może tego ustalić, wróć do miejsca, w którym wprowadzasz nowy wariant. Często potrzeba jednego zdania o tym, kiedy zapadła decyzja, i osobnej etykiety przy liczbach. Przy kolejnym czytaniu sprawdź, czy z tych samych informacji można dojść do wniosku w dyskusji.

Bibliografia

  • Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600-2606. DOI 10.1073/pnas.1708274114.
  • Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632-638. DOI 10.1177/1745691612463078.
  • Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328-331. DOI 10.1198/000313006X152649.
  • Center for Open Science. Preregistration i More About the Preregistration Challenge. Materiały o planach analizy, pracy z już istniejącymi danymi i raportowaniu rozbieżności.

Najczęstsze pytania

Czy dodatkowa analiza po obejrzeniu wyników jest tym samym co analiza zaplanowana?

Nie należy zacierać ich rzeczywistej kolejności. Dodatkowe opracowanie wymaga uzasadnienia i opisu właściwego dla projektu. Nie przedstawiaj nowego pytania lub hipotezy jako wcześniejszego planu.

Co opisać, jeśli przed zmianą analizy widziałem wykresy, ale nie znałem wyniku testu?

Zapisz, kiedy oglądałeś wykresy, jakie zmienne były na osiach i które grupy dało się porównać. Już taki widok może podpowiedzieć kierunek związku. Jeśli wykres skłonił Cię do wyboru modelu albo podgrupy, przedstaw tę kolejność w metodach i oznacz dodatkowy wynik jako eksploracyjny.

Czy poprawienie błędu w skrypcie po obliczeniu wyniku zmienia status analizy?

Gdy poprawka przywraca wcześniej ustaloną regułę, możesz przeliczyć analizę zgodnie z planem. Zapisz, co robił błędny kod i jak go poprawiono. Jeśli po obejrzeniu wyniku wybierasz jedną z kilku możliwych reguł, opisz moment decyzji i konsekwencje dla wniosku. Zachowaj obie wersje kodu i sprawdź obliczenia ręcznie na kilku rekordach.

Gdzie opisać konsekwencje zmiany projektu w pracy magisterskiej?

Przebieg wyjaśnij w odpowiednim opisie postępowania. Znaczenie zmiany dla ustaleń i granic odpowiedzi pokaż przy interpretacji oraz wnioskach. Ostateczne rozmieszczenie dostosuj do układu pracy i wytycznych.

Czy można zlecić opis już policzonych wyników?

Tak. Potrzebne są komplet wyników, pytania pracy oraz informacje o metodzie i danych. Dodatkowe obliczenia, jeśli okażą się potrzebne, ustalamy osobno.

Jak zgłosić do konsultacji zmianę analizy po obejrzeniu wyników magisterki?

W formularzu kontaktowym opisz decyzję, która się zmieniła, i wskaż, jakie wyniki były wtedy znane. Przygotuj wcześniejszy plan, opis modelu oraz fragment metod lub dyskusji. Dołącz wyniki obu wariantów, jeśli dało się obliczyć oba. Jeśli pierwotnej analizy nie można było wykonać, podaj przyczynę i wynik wykonalnego wariantu. Na tej podstawie można ustalić zakres konsultacji, od sprawdzenia metody po redakcję opisu.