Za przyczyną nietrafionych sondaży politycznych, sporo mówi się teraz w mediach o reprezentatywności metod ilościowych w badaniach marketingowych. Oberwało się metodzie wywiadu telefonicznego (CATI), która nie zawsze jest najlepszym narzędziem. Na realnych, życiowych przykładach zobaczyliśmy, że ankiety o dużym stopniu intymności, a takimi są ankiety dotyczące preferencji politycznych, wymagają narzędzi, które zapewnią respondentowi poczucie intymności oraz anonimowości.
Kwestia reprezentatywności w badaniach wzbudza wiele kontrowersji wśród osób, które w imieniu swojej firmy, stają przed decyzją wyboru firmy badawczej. Słowo „reprezentatywny” odmieniane jest przez wszystkie przypadki w trakcie negocjacji z firmą badawczą. Zamawiający chciałby bowiem wydać swoje pieniądze w sposób najlepszy z możliwych, uzyskując badanie, na podstawie którego będzie mógł lepiej zarządzać swoją firmą.
Niestety, nie zawsze Zamawiający zdaje sobie sprawę co to jest ta „reprezentatywność”. Widzę rozczarowanie wielu z nich, kiedy próbuję być fair wobec Klienta i tłumaczyć, że nie ma czegoś takiego jak „reprezentatywne badanie”. Reprezentatywność jest bowiem terminem, który należy rozpatrywać dopiero w kontekście dodatkowych informacji, które pozwolą ocenić jej poziom. Reprezentatywności nie można oceniać w kategoriach 0-1.
Każde badanie w pewnym sensie jest reprezentatywne tylko pytanie w jakim stopniu i dla jakiej populacji. Jeśli bowiem chcemy znać preferencje czytelnicze polskiego społeczeństwa, to nie powinniśmy pytać o zdanie jedynie profesorów filologii polskiej, którzy chociaż na literaturze znają się bardzo dobrze, to z pewnością nie odzwierciedlają gustu całego społeczeństwa. Podobnie, na kwestię reprezentatywności wpływ będzie mieć wielkość populacji, o której chcemy wnioskować – próba 300 maklerów giełdowych wypowiadających się w ankiecie nt. przyszłego trendu na giełdzie prawdopodobnie będzie wystarczająca do stwierdzenia, jakie nastroje panują wśród maklerów. Jeśli natomiast zapytamy 300 gospodyń domowych o nawyki kulinarne, to uzyskane dane nie będą nas uprawniać do wyciągania reprezentatywnych wniosków. Maklerów giełdowych w Polsce jest bowiem znacznie mniej niż gospodyń domowych. W konsekwencji, również liczebność próby badawczej powinna być różna dla obu populacji.
Zacznijmy więc od początku. Czym jest „próba reprezentatywna”?
Próba reprezentatywna to taka próba, która daje wyniki zbliżone do wyników całej populacji, pozwalające na uogólnienie wniosków z próby badawczej na całą populację. Innymi słowy, jest to miniatura populacji badanej, która odzwierciedla jej najważniejsze cechy. Jeśli chcemy zbadać wpływ palenia papierosów na stan zdrowia i chcemy uzyskać próbę reprezentatywną dla cechy jaką jest fakt palenia papierosów, to udział palaczy w próbie powinien być podobny do tego, jaki faktycznie występuje w całej populacji.
Jednak należy pamiętać, że próba reprezentatywna dobierana jest zwykle ze względu na określone cechy. Najczęściej wyróżnia się reprezentatywność ze względu na cechy społeczno – demograficzne. Może to być wiek, płeć, miejsce zamieszkania, wykształcenie, zarobki itd. Niestety niewiele jest takich zmiennych, dla których dostępne są dokładne dane statystyczne. Dla części z nich dostępne są jedynie dane szacunkowe. Dlatego trudno zapewnić reprezentatywności ze względu na poziom wykształcenia czy stan cywilny, a jeszcze trudniej ze względu na fakt używania jakiegoś produktu czy usługi.
Innym problemem, który ma znaczący wpływ na reprezentatywność jest liczebność próby.
Każde badanie, nawet to przeprowadzone na grupie reprezentatywnej obciążone jest błędem statystycznym. W miarę zwiększania wielkości próby błąd statystyczny maleje. Jednakże należy pamiętać, że nie maleje on proporcjonalnie do wzrostu liczebności próby a najczęściej jedynie do pierwiastka ze wzrostu tej liczebności.
Przykładowo, wynik badania przeprowadzonego na grupie 500 respondentów jest obarczony błędem o maksymalnej wysokości 4,4%. Dopiero przy wyborze grupy 2000 osób uda nam się zredukować błąd o połowę do wysokości 2,2%.
Warto jednak pamiętać, że nie istnieje próba reprezentatywna w 100%. Każda próba jest obarczona jakimś błędem. I aby mieć 100%-ową pewność co do zgodności wyników badania ze zdaniem całej populacji to trzeba byłoby zapytać wszystkich członków danej populacji. A to najczęściej nie jest niestety możliwe.
Innym ważnym pytaniem, na które należy sobie odpowiedzieć, dążąc do uzyskania jak najbardziej reprezentatywnych wyników badania, jest pytanie o to, kogo powinniśmy badać. Może się bowiem okazać, że wcale nie potrzebujemy kosztownego badania na próbie reprezentatywnej dla całego społeczeństwa. Odpowiedź na to pytanie zawsze zależy od specyfiki badania. Bo o ile producent męskich kurtek zimowych jak najbardziej powinien uwzględnić w swojej próbie kobiety, które często są odpowiedzialne za to jak ubierają się ich mężczyźni, o tyle zdanie mężczyzn na temat płaszczy damskich będzie już znacznie mniej istotne dla pozyskania rzetelnych danych i wnioskowania o preferencjach konsumenckich. Reprezentatywność próby w naszym przypadku to uwzględnienie w niej tych osób (wg z góry zdefiniowanych kryteriów), które w sposób istotny mogą interesować Zamawiającego badanie z perspektywy jego celów biznesowych, specyfiki rynku, grupy docelowej jego produktu itd.
Wiemy już sporo o reprezentatywności badań marketingowych i tego co na nią wpływa. Wróćmy więc do tytułowego pytania w tym artykule. Czy badania metodą ankiety internetowej są reprezentatywne?
Podstawowy zarzut jaki wytaczany jest wobec metody CAWI to fakt, że nie wszyscy mają dostęp do Internetu, przez co z założenia badania nie mogą odzwierciedlać postaw, opinii i zachowań całego społeczeństwa. Istotnie, nie wszystkie grupy społeczne posiadają dostęp do Internetu w tym samym zakresie. I tego argumentu odeprzeć się na pewno nie uda. Trzeba jednak pamiętać o tym, iż odsetek ludzi posiadających dostęp do Internetu z każdym dniem wzrasta, a Internet staje się coraz bardziej powszechny. Co więcej, ze względu na jego rosnącą powszechność, w niektórych grupach populacji badanie prowadzone w Internecie będzie na pewno obarczone mniejszym błędem niż badanie przeprowadzane metodą CATI (Computer Assisted Telephone Interview) czy PAPI (Paper and Pencil Interview). Jeśli chcemy pozyskać w sposób losowy tegorocznych maturzystów aby spytać ich jak przygotowują się do matury, efektywniej i skuteczniej znajdziemy ich w sieci niż przy telefonach stacjonarnych, które stanowią bazę teleadresową dla badań CATI. Obecny tryb życia, duża aktywność i mobilność społeczeństwa powoduje, że w domu spędzamy coraz mniej czasu, a więc i trudniej zastać osobę, która znajdzie czas na odpowiadanie przez telefon na pytania ankietera. To samo dotyczy metody PAPI. Jak bowiem przeprowadzać badania na strzeżonych osiedlach?
Są pewne grupy populacji, których sposób życia i nawyki konsumenckie wręcz idealnie pasują do metody CAWI. Są to na pewno ludzie młodzi, osoby aktywne zawodowo - pracownicy firm mający dostęp do komputera i Internetu. Dostęp do Internetu czy posiadanie konta e-mail wśród tych grup jest tak samo powszechne jak dostęp do ciepłej wody czy energii elektrycznej.
Błędem natomiast byłoby próba przeprowadzenia badania CAWI na grupie osób starszych, emerytów czy rencistów, którzy często dostępu do komputera i Internetu nie mają i nie chcą mieć. Badanie CAWI na grupie emerytów byłoby z pewnością obciążone sporym błędem, a w konsekwencji okazałoby się niereprezentatywne dla tej populacji.
Nie bez znaczenia dla wyboru metody badawczej ma cel i tematyka badania. Z pewnością jeśli chcemy przebadać smakoszy coca – coli czy posiadaczy konsoli do gier nie potrzebujemy troszczyć się o to, aby przeprowadzać badanie na próbie reprezentatywnej dla całego społeczeństwa. Wystarczy celowy dobór respondentów. I tutaj respondentów jak najbardziej należałoby szukać właśnie w Internecie. To logiczne, że nie będziemy ich szukać wśród osób starszych czy młodych matek.
Drugim dobrym przykładem może być badanie satysfakcji pracowników firmy? Jeśli pracownicy pracują w biurze to metoda CAWI jest bardzo wskazana. Ankietę mogą wypełnić w przysłowiowej „wolnej chwili”. Ale jeśli takie badanie miałaby przeprowadzić huta szkła, w której 65% załogi to robotnicy pracujący na hali produkcyjnej, prawdopodobnie tradycyjna ankieta papierowa byłoby lepszym rozwiązaniem.
Artykuł ten zaczęliśmy od przypomnienia kontrowersji jakie wzbudziły telefoniczne badania sondażowe preferencji politycznych. Czas najwyższy poruszyć kwestię jakości pozyskiwanych danych. Warto się zastanowić, na ile wiarygodne są wyniki badania, w którym respondent wyrwany z właśnie wykonywanych czynności (odrabianie zadań z dzieckiem czy obiad dla mających właśnie przybyć gości) bezmyślnie odpowiada na kolejne pytania ankietera. Jaką jakość mają te wyniki?
Metoda CAWI to także system informatyczny, który umożliwia wypełnienie ankiety w dowolnej chwili i co więcej, w wielu przypadkach chroni przed popełnieniem błędu. System pilnuje, aby pytania zadawane respondentowi wyświetlały się we właściwej kolejności. I nie ma konieczności zapisywania danych do zbioru danych gdyż zbiór tworzy się na bieżąco w miarę spływania kolejnych ankiet.
Bo co nam po reprezentatywnym badaniu, w którym aż roi się od błędów, najpierw ankietera, który nieuważnie wypełniał ankietę odpowiedziami respondenta, a później osoby wprowadzającej dane do komputera.
To, co przemawia za wyborem metody CAWI to fakt, że respondent może wypełnić ankietę w najbardziej dogodnym dla niego terminie. Np. po godz. 22 (kiedy dzieci już śpią), czy w niedzielę popołudniu, kiedy mamy chwilę na sprawy mniej pilne.
Last but not least – czyli pieniądze. Budżet wielkości kilku tysięcy zł na pewno nie pozwoli na przeprowadzenie badania na reprezentatywnej próbie metodą PAPI czy nawet CATI. Ale jak najbardziej, taki budżet pozwala przeprowadzić profesjonalne badanie metodą CAWI, w ramach którego pozyskamy liczbę ankiet uprawniającą do wysuwania rzetelnych i wiarygodnych wniosków.
Dzieje się tak głównie za sprawą niższego kosztu dotarcia do respondentów, który jest znacznie mniejszy niż w porównaniu do badań CATI czy PAPI. Nie trzeba zatrudniać rzeszy ankieterów pozyskujących wywiady drogą telefoniczną czy na papierze. Koszt promocji badania w Internecie to głównie koszt umiejscowienia baneru czy linka. A koszt wysyłki zaproszeń drogą mailową, jeśli dysponujemy bazą teleadresową jest praktycznie zerowy (pomijając koszt pracy autora ankiety).
Wyniki w postaci surowego zbioru danych także dostępne są już chwilę po zamknięciu badania. Zebranych ankiet nie trzeba zliczać i przenosić do systemu ponieważ dane zapisują się na bieżąco.
