Nie każdy przegląd literatury musi być systematyczny

Jak dobrać metodę przeglądu do pytania badawczego?

Przegląd literatury może być samodzielną metodą badawczą, a nie tylko wprowadzeniem teoretycznym do artykułu naukowego. Nie każdy przegląd musi jednak spełniać wymagania Systematic Literature Review (SLR). Jak wskazuje Hannah Snyder (2019), wybór podejścia powinien wynikać przede wszystkim z celu badania, charakteru pytania badawczego oraz rodzaju oczekiwanej syntezy.

W naukach społecznych, zarządzaniu i edukacji przedmiotem badań są zarówno mierzalne efekty interwencji, jak i pojęcia, modele teoretyczne czy tradycje badawcze. Próba zastosowania jednej procedury do wszystkich tych zagadnień może prowadzić do błędów metodologicznych.

Trzy podejścia do przeglądu literatury

Systematic Literature Review (SLR) – przegląd systematyczny służy identyfikacji, krytycznej ocenie i syntezie badań odpowiadających na określone pytanie. Wymaga jawnych kryteriów kwalifikacji publikacji oraz przejrzystej i możliwej do odtworzenia procedury. Może obejmować syntezę jakościową lub ilościową, w tym metaanalizę, jeżeli pozwala na to porównywalność badań.

Przykład: Czy szkolenia z regulacji emocji poprawiają jakość decyzji menedżerskich?

Semi-systematic Literature Review – przegląd półsystematyczny znajduje zastosowanie w obszarach szerokich, interdyscyplinarnych i niejednorodnych pojęciowo. Pozwala identyfikować nurty badawcze, rekonstruować rozwój wiedzy i porządkować występujące w literaturze tematy. Nie wymaga identycznej procedury jak SLR, ale wymaga uzasadnionej i przejrzystej strategii badawczej.

Przykład: Jak zmieniało się rozumienie samoorganizacji w różnych dyscyplinach nauk społecznych?

Integrative Literature Review – przegląd integracyjny służy krytycznej analizie i łączeniu istniejących koncepcji w celu rozwijania teorii, tworzenia klasyfikacji lub nowych modeli pojęciowych. Jego wartość nie wynika z liczby omówionych publikacji, lecz z jakości argumentacji i uzyskanej syntezy.

Przykład: Jak połączyć koncepcje autonomii pracowniczej, samoorganizacji i zarządzania opartego na dowodach w spójny model teoretyczny?

Kryterium	SLR	Półsystematyczny	Integracyjny
Cel	Synteza dowodów	Mapowanie wiedzy	Rozwój teorii
Pytanie	Zwykle precyzyjne	Zwykle szerokie	Wąskie lub szerokie
Wyszukiwanie	Systematyczne	Elastyczne	Celowe, uzasadnione
Analiza	Ilościowa lub jakościowa	Ilościowa lub jakościowa	Głównie jakościowa
Rezultat	Ocena dowodów	Mapa nurtów i luk	Model lub klasyfikacja

Opracowanie na podstawie Snyder (2019), tabela 1.

Procedura i standardy raportowania

Snyder wyróżnia cztery fazy przeglądu literatury: projektowanie, przeprowadzenie, analizę oraz raportowanie wyników. Niezależnie od wybranego podejścia badacz powinien wyjaśnić, dlaczego przegląd jest potrzebny, jak dobrano publikacje, w jaki sposób przeprowadzono analizę i jaki nowy wkład wnosi uzyskana synteza.

Nie istnieje jeden uniwersalny standard raportowania wszystkich przeglądów. PRISMA 2020 dotyczy raportowania przeglądów systematycznych, RAMESES obejmuje między innymi przeglądy metanarracyjne, natomiast przeglądy integracyjne mogą korzystać ze wskazówek Torraco (2005). Standard raportowania nie zastępuje jednak metody badawczej.

Podobnie określenie Comparative Literature Review (CLR) nie oznacza jednej, powszechnie skodyfikowanej procedury. Porównywanie definicji, modeli lub teorii może być elementem różnych typów przeglądów. Autor powinien zatem określić jednostki porównania, kryteria analizy i sposób syntezy. Jest to uzupełnienie interpretacyjne, a nie odrębna kategoria wyróżniona przez Snyder.

Rygor metodologiczny a wartość naukowa

Najczęstsze problemy przeglądów literatury obejmują nieprzejrzysty dobór publikacji, nieuzasadnione ograniczanie zakresu wyszukiwania, powierzchowną analizę oraz brak rzeczywistego wkładu naukowego. Samo zgromadzenie dużej liczby artykułów, przygotowanie zestawień bibliometrycznych czy opisanie stanowisk autorów nie jest jeszcze syntezą prowadzącą do nowej wiedzy.

Z perspektywy evidence-based szczególnie istotne pozostaje rozróżnienie między syntezą koncepcji a syntezą dowodów empirycznych. Przegląd integracyjny może prowadzić do wartościowego modelu teoretycznego, ale sam w sobie nie potwierdza skuteczności interwencji. Z kolei przegląd systematyczny nie eliminuje ograniczeń wynikających z niskiej jakości badań pierwotnych.

Wniosek metodologiczny: nie należy oceniać jakości przeglądu wyłącznie na podstawie jego nazwy. Decydujące znaczenie mają adekwatność metody do pytania badawczego, przejrzystość procedury, krytyczna analiza materiału i wartość uzyskanej syntezy. Dobry przegląd literatury nie jest katalogiem publikacji, lecz udokumentowanym procesem wytwarzania wiedzy.

Literatura

Snyder, H. (2019). Literature review as a research methodology: An overview and guidelines. Journal of Business Research, 104, 333–339. https://doi.org/10.1016/j.jbusres.2019.07.039

Torraco, R. J. (2005). Writing integrative literature reviews: Guidelines and examples. Human Resource Development Review, 4(3), 356–367. https://doi.org/10.1177/1534484305278283

Wong, G., et al. (2013). RAMESES publication standards: Meta-narrative reviews. BMC Medicine, 11, 20. https://doi.org/10.1186/1741-7015-11-20

Page, M. J., et al. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, n71. https://doi.org/10.1136/bmj.n71

więcej

Czy nasze wskaźniki BHP mierzą to, co nam się wydaje?

O pozornej precyzji pomiaru, pokorze poznawczej i systematycznym przeglądzie literatury jako narzędziu weryfikacji decyzji menedżerskich.

Mamy wskaźnik. Potrafimy go obliczyć. Umieszczamy go w raporcie, porównujemy między spółkami i przedstawiamy zarządowi. Ale czy wiemy, co jego wartość rzeczywiście oznacza? I czy na tej podstawie możemy podejmować decyzje dotyczące bezpieczeństwa pracowników?

To pytanie jest szczególnie ważne w dużych organizacjach/grupach, w których funkcjonują rozbudowane systemy zarządzania BHP. Nie brakuje tam procedur, specjalistów ani danych. Problem może leżeć gdzie indziej: w przekonaniu, że skoro coś mierzymy, to rozumiemy również znaczenie otrzymanego wyniku.

1. Wskaźnik nie jest rzeczywistością

Wyobraźmy sobie grupę kapitałową działającą w branży spożywczej. Poszczególne spółki raportują liczbę wypadków, zdarzeń potencjalnie wypadkowych, audytów, szkoleń, obserwacji behawioralnych i wykrytych niezgodności. Dane trafiają do wspólnego dashboardu. Powstają rankingi, trendy i zestawienia. Zarząd otrzymuje obraz bezpieczeństwa całej grupy. Ale czy jest to obraz rzeczywistego bezpieczeństwa, czy przede wszystkim obraz tego, co organizacja potrafi zarejestrować?

Dwie spółki, jeden wskaźnik

Spółka A zgłosiła 12 zdarzeń potencjalnie wypadkowych na 100 pracowników. Spółka B zgłosiła 48. Która jest bezpieczniejsza? Nie wiemy. Większa liczba zgłoszeń może oznaczać więcej niebezpiecznych sytuacji, ale również większą gotowość pracowników do ich ujawniania. Różnice mogą wynikać z rodzaju wykonywanych prac, ekspozycji na zagrożenia, definicji zdarzeń i praktyk raportowania.

Sam wynik nie rozstrzyga, jak należy go interpretować.

Przykład jest hipotetyczny, ale problem metodologiczny pozostaje rzeczywisty. Wskaźnik jest operacjonalizacją określonego zjawiska. Nie jest samym zjawiskiem.

2. Mity, które tworzą złudzenie kontroli

W zarządzaniu BHP łatwo przyjąć kilka pozornie oczywistych założeń.

1. Więcej zgłoszeń oznacza więcej zagrożeń. Niekoniecznie. Liczba zgłoszeń zależy także od kultury raportowania, dostępności kanałów zgłaszania i zaufania pracowników.
2. Mniej wypadków oznacza skuteczniejsze zarządzanie. Spadek liczby wypadków może być korzystnym sygnałem, ale nie dowodzi samodzielnie skuteczności konkretnej interwencji. Znaczenie mają ekspozycja, wielkość populacji, okres obserwacji i zmienność losowa.
3. Więcej audytów oznacza wyższy poziom bezpieczeństwa. Liczba usuniętych niezgodności nie informuje sama w sobie, w jakim stopniu ograniczono ryzyko wystąpienia ciężkich lub śmiertelnych wypadków przy pracy.
4. Wskaźnik stosowany w całej branży musi być trafny. Popularność miernika nie jest dowodem jego rzetelności, trafności ani wartości prognostycznej.

Największym zagrożeniem poznawczym nie musi być brak danych, lecz przekonanie, że rozumiemy dane, które już posiadamy.

3. Problem przypomina ocenę wskaźników medycznych

W medycynie wykorzystuje się wiele wskaźników, których interpretacja zależy od populacji, metody pomiaru i kontekstu klinicznego.

Przykładem jest HOMA-IR, stosowany do szacowania insulinooporności. Brak jednego uniwersalnego punktu odcięcia nie oznacza, że wskaźnik jest bezużyteczny. Oznacza jednak, że jego wyniku nie należy automatycznie utożsamiać z jednoznacznym rozpoznaniem.

Podobnie w BHP: brak uniwersalnej wartości referencyjnej nie unieważnia miernika. Trzeba jednak ustalić, do czego może on służyć. Wskaźnik może być przydatny do monitorowania procesu, ale nie mieć potwierdzonej zdolności przewidywania przyszłych wypadków. To dwa różne zastosowania, wymagające różnych dowodów.

4. Czy mierzymy aktywność, czy skuteczność?

Rozważmy wskaźnik liczby audytów BHP. Jeżeli w jednym roku przeprowadzono 100 audytów, a w kolejnym 180, możemy stwierdzić, że wzrosła liczba przeprowadzonych audytów. Nie możemy jednak na tej podstawie stwierdzić, że bezpieczeństwo poprawiło się o 80%.

Podobnie liczba przeprowadzonych szkoleń nie jest miarą liczby unikniętych wypadków, a liczba zamkniętych niezgodności nie musi odpowiadać wielkości ograniczonego ryzyka. Warto więc odróżnić trzy poziomy: wykonanie działania, zmianę warunków bezpieczeństwa i zmianę częstości lub ciężkości zdarzeń.

Wskaźnik	Co bezpośrednio pokazuje?	Czego sam nie dowodzi?
Liczba audytów	Aktywność kontrolną	Redukcji ryzyka wypadków
Liczba zgłoszeń near miss	Zarejestrowane zgłoszenia	Poziomu rzeczywistego zagrożenia
Liczba szkoleń	Realizację procesu szkoleniowego	Zmiany zachowań i liczby urazów
Wskaźnik wypadkowości	Zarejestrowane zdarzenia względem przyjętego mianownika	Skuteczności pojedynczej interwencji

5. Pokora poznawcza nie oznacza braku kompetencji

Doświadczony inspektor BHP potrafi rozpoznać zagrożenia, ocenić niezgodności i zaproponować środki zapobiegawcze. Nie musi jednak znać odpowiedzi na każde pytanie dotyczące właściwości statystycznych stosowanych mierników. Pokora poznawcza oznacza gotowość do rozróżniania wiedzy, przypuszczeń i niewiadomych.

Można znać wszystkie procedury raportowania zdarzeń potencjalnie wypadkowych i jednocześnie nie wiedzieć, czy wzrost liczby zgłoszeń jest wiarygodnym predyktorem przyszłych ciężkich wypadków. To nie sprzeczność. To dwa różne rodzaje kompetencji: znajomość praktyki BHP oraz umiejętność naukowej oceny właściwości wskaźników.

6. Co mogą wnieść badania naukowe?

W literaturze dotyczącej bezpieczeństwa pracy rozróżnia się między innymi wskaźniki wynikowe (lagging indicators) oraz wskaźniki wyprzedzające (leading indicators). Pierwsze opisują zdarzenia, które już nastąpiły. Drugie mają dostarczać informacji o warunkach, działaniach i procesach istotnych dla przyszłego bezpieczeństwa.

Jednak samo zaklasyfikowanie miernika jako wyprzedzającego nie dowodzi jego wartości prognostycznej. Sinelnikov, Inouye i Kerper (2015) opisali praktyczne zastosowania wskaźników wyprzedzających w zarządzaniu bezpieczeństwem pracy. Z kolei Hallowell i współpracownicy (2013) badali ich zastosowanie w budownictwie. Publikacje te pomagają uporządkować problem, ale nie upoważniają do przyjęcia jednej, uniwersalnej listy KPI odpowiedniej dla każdej organizacji.

7. Gdzie zaczyna się rola SLR?

Załóżmy, że grupa chce ocenić, czy liczba zgłoszeń near miss może służyć do przewidywania ciężkich wypadków. Zamiast przyjmować odpowiedź na podstawie doświadczenia jednej spółki, można przeprowadzić systematyczny przegląd literatury (Systematic Literature Review, SLR). Przykładowe pytanie badawcze:

Jaka jest wartość prognostyczna wskaźników wyprzedzających stosowanych w [branża]   w odniesieniu do przyszłych wypadków przy pracy, w szczególności zdarzeń ciężkich i śmiertelnych?

Przegląd wymagałby określenia populacji, rodzaju wskaźników, mierzonych rezultatów, kryteriów włączenia badań oraz sposobu oceny ich jakości metodologicznej. Następnie należałoby systematycznie wyszukać publikacje, przeprowadzić selekcję, wyodrębnić dane i dokonać syntezy wyników. Procedurę można opracować i raportować zgodnie z odpowiednimi standardami, w tym PRISMA 2020.

SLR może wykazać, że określony miernik ma udokumentowaną wartość prognostyczną, że wyniki są niespójne albo że dostępne badania nie pozwalają na wiarygodną ocenę tej właściwości. Każdy z tych wyników jest użyteczny. Także brak wystarczających dowodów jest informacją istotną dla zarządzania, choć nie dowodzi nieskuteczności wskaźnika.

8. SLR nie zastępuje danych organizacji

Nawet dobrze przeprowadzony przegląd nie przesądza, że określony wskaźnik sprawdzi się w każdej grupie branżowej. Znaczenie mają między innymi struktura zatrudnienia, rodzaj robót, udział podwykonawców, kultura zgłaszania zdarzeń i sposób gromadzenia danych. Dlatego wyniki SLR warto zestawić z analizą danych konkretnej organizacji. Dopiero wtedy można oceniać, czy przyjęte KPI dostarczają informacji przydatnych do podejmowania określonych decyzji. W przypadku prognozowania potrzebne są odpowiednio zaprojektowane analizy danych historycznych i walidacja modeli. Samo wykazanie korelacji nie wystarcza.

9. Pytanie, które warto zadać zarządowi

Wyobraźmy sobie spotkanie dyrektorów i inspektorów BHP dużej grupy. Każdy dysponuje wiedzą, doświadczeniem i danymi. Zamiast pytać, czy organizacja stosuje właściwe procedury, można postawić inne pytanie:

Które z naszych wskaźników rzeczywiście pomagają przewidywać zagrożenia, a które jedynie potwierdzają, że wykonaliśmy zaplanowane działania?

Nie chodzi o podważanie doświadczenia specjalistów. Chodzi o oddzielenie pomiaru aktywności od pomiaru rezultatów oraz sprawdzenie, jakie decyzje uzasadniają dostępne dowody.

Systematyczny przegląd literatury może być jednym z narzędzi takiej weryfikacji. Nie zastąpi wiedzy ekspertów dziedzinowych, ale może ujawnić ograniczenia przyjętych założeń, wskazać alternatywne mierniki i pomóc zaprojektować ich dalszą ocenę.

W dojrzałej organizacji kolejnym krokiem nie musi być zbieranie większej liczby danych. Może nim być sprawdzenie, czy dane, które już zbieramy, rzeczywiście odpowiadają na właściwe pytania.

Bibliografia

1. Hallowell, M. R., Hinze, J. W., Baud, K. C., & Wehle, A. (2013). Proactive construction safety control: Measuring, monitoring, and responding to safety leading indicators. Journal of Construction Engineering and Management, 139(10), 04013010. https://doi.org/10.1061/(ASCE)CO.1943-7862.0000730
2. Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., … Moher, D. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, n71. https://doi.org/10.1136/bmj.n71
3. Sinelnikov, S., Inouye, J., & Kerper, S. (2015). Using leading indicators to measure occupational health and safety performance. Safety Science, 72, 240–248. https://doi.org/10.1016/j.ssci.2014.09.010

Glosa metodologiczna. Wskaźnik jest narzędziem pomiaru lub szacowania określonego zjawiska. Jego wartość informacyjna nie jest równoznaczna z trafnością prognostyczną. Brak uniwersalnych norm nie oznacza automatycznie braku użyteczności, podobnie jak powszechne stosowanie miernika nie dowodzi jego trafności. Przedstawione przykłady mają charakter naukowy i edukacyjny. Nie rekomendujemy konkretnych wskaźników, metod diagnostycznych, interwencji ani odstępowania od obowiązujących wymagań BHP. Ich zastosowanie wymaga indywidualnej oceny i uwzględnienia aktualnych dowodów naukowych.

Evidence-Based Management | SLR

Masz wskaźniki BHP. Sprawdźmy, co naprawdę mierzą.

Czy stosowane KPI mają potwierdzoną trafność? Czy pomagają przewidywać zagrożenia, czy jedynie dokumentują wykonane działania?

Pomagam organizacjom oceniać naukowe podstawy stosowanych metod i wskaźników poprzez systematyczne przeglądy literatury (SLR). Wyniki mogą wspierać decyzje inwestycyjne, projektowanie systemów pomiaru i identyfikację obszarów wymagających dalszej walidacji.

Poznaj ofertę SLR →

SLR wspiera ocenę dowodów naukowych. Nie zastępuje audytu BHP, oceny ryzyka ani walidacji wskaźników na danych konkretnej organizacji.

więcej