O pozornej precyzji pomiaru, pokorze poznawczej i systematycznym przeglądzie literatury jako narzędziu weryfikacji decyzji menedżerskich.
Mamy wskaźnik. Potrafimy go obliczyć. Umieszczamy go w raporcie, porównujemy między spółkami i przedstawiamy zarządowi. Ale czy wiemy, co jego wartość rzeczywiście oznacza? I czy na tej podstawie możemy podejmować decyzje dotyczące bezpieczeństwa pracowników?
To pytanie jest szczególnie ważne w dużych organizacjach/grupach, w których funkcjonują rozbudowane systemy zarządzania BHP. Nie brakuje tam procedur, specjalistów ani danych. Problem może leżeć gdzie indziej: w przekonaniu, że skoro coś mierzymy, to rozumiemy również znaczenie otrzymanego wyniku.
1. Wskaźnik nie jest rzeczywistością
Wyobraźmy sobie grupę kapitałową działającą w branży spożywczej. Poszczególne spółki raportują liczbę wypadków, zdarzeń potencjalnie wypadkowych, audytów, szkoleń, obserwacji behawioralnych i wykrytych niezgodności. Dane trafiają do wspólnego dashboardu. Powstają rankingi, trendy i zestawienia. Zarząd otrzymuje obraz bezpieczeństwa całej grupy. Ale czy jest to obraz rzeczywistego bezpieczeństwa, czy przede wszystkim obraz tego, co organizacja potrafi zarejestrować?
Dwie spółki, jeden wskaźnik
Spółka A zgłosiła 12 zdarzeń potencjalnie wypadkowych na 100 pracowników. Spółka B zgłosiła 48. Która jest bezpieczniejsza? Nie wiemy. Większa liczba zgłoszeń może oznaczać więcej niebezpiecznych sytuacji, ale również większą gotowość pracowników do ich ujawniania. Różnice mogą wynikać z rodzaju wykonywanych prac, ekspozycji na zagrożenia, definicji zdarzeń i praktyk raportowania.
Sam wynik nie rozstrzyga, jak należy go interpretować.
Przykład jest hipotetyczny, ale problem metodologiczny pozostaje rzeczywisty. Wskaźnik jest operacjonalizacją określonego zjawiska. Nie jest samym zjawiskiem.
2. Mity, które tworzą złudzenie kontroli
W zarządzaniu BHP łatwo przyjąć kilka pozornie oczywistych założeń.
- Więcej zgłoszeń oznacza więcej zagrożeń. Niekoniecznie. Liczba zgłoszeń zależy także od kultury raportowania, dostępności kanałów zgłaszania i zaufania pracowników.
- Mniej wypadków oznacza skuteczniejsze zarządzanie. Spadek liczby wypadków może być korzystnym sygnałem, ale nie dowodzi samodzielnie skuteczności konkretnej interwencji. Znaczenie mają ekspozycja, wielkość populacji, okres obserwacji i zmienność losowa.
- Więcej audytów oznacza wyższy poziom bezpieczeństwa. Liczba usuniętych niezgodności nie informuje sama w sobie, w jakim stopniu ograniczono ryzyko wystąpienia ciężkich lub śmiertelnych wypadków przy pracy.
- Wskaźnik stosowany w całej branży musi być trafny. Popularność miernika nie jest dowodem jego rzetelności, trafności ani wartości prognostycznej.
Największym zagrożeniem poznawczym nie musi być brak danych, lecz przekonanie, że rozumiemy dane, które już posiadamy.
3. Problem przypomina ocenę wskaźników medycznych
W medycynie wykorzystuje się wiele wskaźników, których interpretacja zależy od populacji, metody pomiaru i kontekstu klinicznego.
Przykładem jest HOMA-IR, stosowany do szacowania insulinooporności. Brak jednego uniwersalnego punktu odcięcia nie oznacza, że wskaźnik jest bezużyteczny. Oznacza jednak, że jego wyniku nie należy automatycznie utożsamiać z jednoznacznym rozpoznaniem.
Podobnie w BHP: brak uniwersalnej wartości referencyjnej nie unieważnia miernika. Trzeba jednak ustalić, do czego może on służyć. Wskaźnik może być przydatny do monitorowania procesu, ale nie mieć potwierdzonej zdolności przewidywania przyszłych wypadków. To dwa różne zastosowania, wymagające różnych dowodów.
4. Czy mierzymy aktywność, czy skuteczność?
Rozważmy wskaźnik liczby audytów BHP. Jeżeli w jednym roku przeprowadzono 100 audytów, a w kolejnym 180, możemy stwierdzić, że wzrosła liczba przeprowadzonych audytów. Nie możemy jednak na tej podstawie stwierdzić, że bezpieczeństwo poprawiło się o 80%.
Podobnie liczba przeprowadzonych szkoleń nie jest miarą liczby unikniętych wypadków, a liczba zamkniętych niezgodności nie musi odpowiadać wielkości ograniczonego ryzyka. Warto więc odróżnić trzy poziomy: wykonanie działania, zmianę warunków bezpieczeństwa i zmianę częstości lub ciężkości zdarzeń.
| Wskaźnik | Co bezpośrednio pokazuje? | Czego sam nie dowodzi? |
|---|---|---|
| Liczba audytów | Aktywność kontrolną | Redukcji ryzyka wypadków |
| Liczba zgłoszeń near miss | Zarejestrowane zgłoszenia | Poziomu rzeczywistego zagrożenia |
| Liczba szkoleń | Realizację procesu szkoleniowego | Zmiany zachowań i liczby urazów |
| Wskaźnik wypadkowości | Zarejestrowane zdarzenia względem przyjętego mianownika | Skuteczności pojedynczej interwencji |
5. Pokora poznawcza nie oznacza braku kompetencji
Doświadczony inspektor BHP potrafi rozpoznać zagrożenia, ocenić niezgodności i zaproponować środki zapobiegawcze. Nie musi jednak znać odpowiedzi na każde pytanie dotyczące właściwości statystycznych stosowanych mierników. Pokora poznawcza oznacza gotowość do rozróżniania wiedzy, przypuszczeń i niewiadomych.
Można znać wszystkie procedury raportowania zdarzeń potencjalnie wypadkowych i jednocześnie nie wiedzieć, czy wzrost liczby zgłoszeń jest wiarygodnym predyktorem przyszłych ciężkich wypadków. To nie sprzeczność. To dwa różne rodzaje kompetencji: znajomość praktyki BHP oraz umiejętność naukowej oceny właściwości wskaźników.
6. Co mogą wnieść badania naukowe?
W literaturze dotyczącej bezpieczeństwa pracy rozróżnia się między innymi wskaźniki wynikowe (lagging indicators) oraz wskaźniki wyprzedzające (leading indicators). Pierwsze opisują zdarzenia, które już nastąpiły. Drugie mają dostarczać informacji o warunkach, działaniach i procesach istotnych dla przyszłego bezpieczeństwa.
Jednak samo zaklasyfikowanie miernika jako wyprzedzającego nie dowodzi jego wartości prognostycznej. Sinelnikov, Inouye i Kerper (2015) opisali praktyczne zastosowania wskaźników wyprzedzających w zarządzaniu bezpieczeństwem pracy. Z kolei Hallowell i współpracownicy (2013) badali ich zastosowanie w budownictwie. Publikacje te pomagają uporządkować problem, ale nie upoważniają do przyjęcia jednej, uniwersalnej listy KPI odpowiedniej dla każdej organizacji.
7. Gdzie zaczyna się rola SLR?
Załóżmy, że grupa chce ocenić, czy liczba zgłoszeń near miss może służyć do przewidywania ciężkich wypadków. Zamiast przyjmować odpowiedź na podstawie doświadczenia jednej spółki, można przeprowadzić systematyczny przegląd literatury (Systematic Literature Review, SLR). Przykładowe pytanie badawcze:
Jaka jest wartość prognostyczna wskaźników wyprzedzających stosowanych w [branża] w odniesieniu do przyszłych wypadków przy pracy, w szczególności zdarzeń ciężkich i śmiertelnych?
Przegląd wymagałby określenia populacji, rodzaju wskaźników, mierzonych rezultatów, kryteriów włączenia badań oraz sposobu oceny ich jakości metodologicznej. Następnie należałoby systematycznie wyszukać publikacje, przeprowadzić selekcję, wyodrębnić dane i dokonać syntezy wyników. Procedurę można opracować i raportować zgodnie z odpowiednimi standardami, w tym PRISMA 2020.
SLR może wykazać, że określony miernik ma udokumentowaną wartość prognostyczną, że wyniki są niespójne albo że dostępne badania nie pozwalają na wiarygodną ocenę tej właściwości. Każdy z tych wyników jest użyteczny. Także brak wystarczających dowodów jest informacją istotną dla zarządzania, choć nie dowodzi nieskuteczności wskaźnika.
8. SLR nie zastępuje danych organizacji
Nawet dobrze przeprowadzony przegląd nie przesądza, że określony wskaźnik sprawdzi się w każdej grupie branżowej. Znaczenie mają między innymi struktura zatrudnienia, rodzaj robót, udział podwykonawców, kultura zgłaszania zdarzeń i sposób gromadzenia danych. Dlatego wyniki SLR warto zestawić z analizą danych konkretnej organizacji. Dopiero wtedy można oceniać, czy przyjęte KPI dostarczają informacji przydatnych do podejmowania określonych decyzji. W przypadku prognozowania potrzebne są odpowiednio zaprojektowane analizy danych historycznych i walidacja modeli. Samo wykazanie korelacji nie wystarcza.
9. Pytanie, które warto zadać zarządowi
Wyobraźmy sobie spotkanie dyrektorów i inspektorów BHP dużej grupy. Każdy dysponuje wiedzą, doświadczeniem i danymi. Zamiast pytać, czy organizacja stosuje właściwe procedury, można postawić inne pytanie:
Które z naszych wskaźników rzeczywiście pomagają przewidywać zagrożenia, a które jedynie potwierdzają, że wykonaliśmy zaplanowane działania?
Nie chodzi o podważanie doświadczenia specjalistów. Chodzi o oddzielenie pomiaru aktywności od pomiaru rezultatów oraz sprawdzenie, jakie decyzje uzasadniają dostępne dowody.
Systematyczny przegląd literatury może być jednym z narzędzi takiej weryfikacji. Nie zastąpi wiedzy ekspertów dziedzinowych, ale może ujawnić ograniczenia przyjętych założeń, wskazać alternatywne mierniki i pomóc zaprojektować ich dalszą ocenę.
W dojrzałej organizacji kolejnym krokiem nie musi być zbieranie większej liczby danych. Może nim być sprawdzenie, czy dane, które już zbieramy, rzeczywiście odpowiadają na właściwe pytania.
Bibliografia
- Hallowell, M. R., Hinze, J. W., Baud, K. C., & Wehle, A. (2013). Proactive construction safety control: Measuring, monitoring, and responding to safety leading indicators. Journal of Construction Engineering and Management, 139(10), 04013010. https://doi.org/10.1061/(ASCE)CO.1943-7862.0000730
- Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., … Moher, D. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, n71. https://doi.org/10.1136/bmj.n71
- Sinelnikov, S., Inouye, J., & Kerper, S. (2015). Using leading indicators to measure occupational health and safety performance. Safety Science, 72, 240–248. https://doi.org/10.1016/j.ssci.2014.09.010
Masz wskaźniki BHP. Sprawdźmy, co naprawdę mierzą.
Czy stosowane KPI mają potwierdzoną trafność? Czy pomagają przewidywać zagrożenia, czy jedynie dokumentują wykonane działania?
Pomagam organizacjom oceniać naukowe podstawy stosowanych metod i wskaźników poprzez systematyczne przeglądy literatury (SLR). Wyniki mogą wspierać decyzje inwestycyjne, projektowanie systemów pomiaru i identyfikację obszarów wymagających dalszej walidacji.
Poznaj ofertę SLR →SLR wspiera ocenę dowodów naukowych. Nie zastępuje audytu BHP, oceny ryzyka ani walidacji wskaźników na danych konkretnej organizacji.
Posty
0 komentarzy:
Prześlij komentarz