Autor: Michał Piechocki, Online Research Manager
Badania opinii, zachowań czy postaw mogą znacznie wzbogacić pracę naukową z niejednej dziedziny – nie dotyczy to tylko takich dyscyplin jak socjologia, psychologia czy nauki ekonomiczne, gdzie w istocie takich badań robi się najwięcej, ale także nauk medycznych, przyrodniczych. Wyniki badań czasami są wręcz konieczne, aby potwierdzić lub zaprzeczyć danej hipotezie będącej przedmiotem pracy naukowej. Wnioski wyciągane na podstawie rzetelnie przeprowadzonego badania są bardziej wiarygodne i ugruntowane niż te oparte jedynie o rozważania teoretyczne. Szczególnie w przypadku prac o zasięgu międzynarodowym, rośnie presja na realizację badań empirycznych – takie prace są często chętniej publikowane w renomowanych periodykach i bardziej poważane.
Rozkwit badań online
Technik realizacji badań ilościowych, bo o takich będziemy tutaj mówić, jest wiele – od wywiadów bezpośrednich face to face, po wywiady telefoniczne aż do badań online. W tym artykule przyjrzymy się tej ostatniej technice, która w ostatnich latach stała się bardzo popularna. Jak podaje Polskie Towarzystwo Badań Rynku i Opinii, w 2019 r. techniką CAWI (ang. Computer Assisted Web Interview) przebadano 57,5% ogółu respondentów. Rozwojowi badań online sprzyja niewątpliwie rosnąca cały czas penetracja Internetu w Polsce. Wg Gemiusa i Polskich Badań Internetu liczba internautów w Polsce w grudniu 2020 r. wyniosła 29 mln (penetracja 93% wśród dorosłych Polaków).
Można z czystym sumieniem stwierdzić, że obecnie CAWI to pełnowartościowa metoda badań rynku, opinii i zachowań – z wyników korzystają największe firmy, instytucje naukowe, politycy oraz czołowe media opiniotwórcze. Badanie metodą online może spełnić również wszystkie rygory metodologiczne tak jak badanie telefoniczne czy face to face (np. struktura próby). Istnieje wiele przykładów, w których wyniki tego samego badania prowadzonego metodą CAWI oraz inną, np. CATI lub face to face, różniły się tylko w minimalnym stopniu, często w granicach błędu pomiaru.
Warto podkreślić również, że badania online są znacznie tańsze niż badania telefoniczne i face to face (realizacja tych ostatnich w dobie pandemii jest zresztą znacznie utrudniona), co oznacza lepszą dostępność w przypadku finansowania prac naukowych również w przypadku stosunkowo niskich grantów. Ceny takich badań zaczynają się już od kilku tys. zł, a zależą m. in. od wielkości próby, jej charakterystyki, trudności dotarcia do respondentów, długości kwestionariusza, formy przekazania wyników czy zakresu analiz po stronie agencji.
Wiarygodność badań CAWI a panele badawcze
Jasnym jest, że warunkiem koniecznym zastosowania wyników badania online jako wsparcia pracy naukowej jest zapewnienie odpowiedniej wiarygodności takiego badania. Największe możliwości w tym zakresie dostarczają badania prowadzone na panelach internetowych, czyli społecznościach osób, które zgodziły się brać udział w badaniach za drobne wynagrodzenie i takimi rodzajami badań będziemy się zajmować w tym artykule. Co prawda do szerokiego spektrum badań online zaliczyć można również ankiety umieszczane na stronach internetowych (tzw. RTS – Real Time Sampling lub badania w otwartym Internecie, river sampling), ale możliwości kontroli jakości takich badań są bardzo ograniczone, stąd też nie rekomendujemy takiego podejścia zwłaszcza w świecie nauki.
Renomowane panele badawcze liczą zazwyczaj kilkadziesiąt tys. osób o zróżnicowanych cechach społeczno-demograficznych. Duża liczebność w połączeniu z odpowiednią strukturą pozwala na realizację zarówno prób celowych, jak również badań reprezentatywnych, nawet wg struktury populacji Polski w wieku 18-65 lat. Odpowiednia struktura próby, jej reprezentatywność, jest bardzo często warunkiem sine qua non użycia wyników badania w pracy naukowej. Uczestnicy paneli badawczych rekrutowania są zarówno metodami offline, jak i online, co ułatwia zapewnienie różnorodności członków społeczności. Przechodzą oni dodatkowo szereg procedur kontrolnych mających na celu eliminacje ewentualnych nadużyć. Skład panelu CAWI ulega nieustannej fluktuacji – konta nieaktywnych użytkowników są na bieżąco usuwane przy jednoczesnym stałym dopływie nowych uczestników, co pomaga eliminować zjawisko „zawodowych respondentów” czy też badania cały czas tych samych osób.
Pewnym znakiem jakości świadczącym o wiarygodności panelu jest certyfikat Programu Kontroli Jakości Pracy Ankieterów (PKJPA), którego warunkiem przyznania jest przejście corocznego audytu OFBOR. Certyfikat określa wymogi względem m. in. rejestracji nowych użytkowników, zgodności z RODO, procedur kontroli jakości panelu i badań, sposobu realizacji projektów.
Brak ankietera w badaniu online to zarówno jego zaleta (brak „efektu ankieterskiego”, a co za tym idzie bardziej szczere odpowiedzi, zwłaszcza w badaniach na bardziej wrażliwe tematy), jak i wyzwanie, ponieważ konieczne jest zastosowanie szeregu procedur kontroli jakości danych. Do innych zalet można niewątpliwie zaliczyć również szybkość realizacji badania czy możliwość prezentowania respondentom materiałów audiowizualnych. Aktualnym trendem jest dostosowanie ankiet do urządzeń mobilnych oraz coraz częstsza interakcja z panelistami za pomocą dedykowanych aplikacji mobilnych na rzecz bardziej tradycyjnych kanałów email czy www.
Ograniczenia badań online
Jak każda metoda badania, również technika CAWI posiada pewne ograniczenia. Przede wszystkim dotyczą one określonych grup docelowych, których badanie metodą online na panelu CAWI jest znacznie utrudnione lub niemożliwe. Są to m. in. przedsiębiorstwa i instytucje, za wyjątkiem działalności jednoosobowych, specjaliści, menedżerowie, osoby zamożne, seniorzy 65+, grupy rzadko występujące w populacji (penetracja <5%).
Inne ograniczenie dotyczy długości kwestionariusza. O ile w przypadku badań z udziałem ankietera, który jest w stanie utrzymać uwagę respondenta, nierzadko udaje się realizować długie ankiety (np. 30-60 min), to w przypadku badań online wypełnienie ankiety nie powinno trwać dłużej niż 15 min. Przy dłuższych kwestionariuszach istnieje bowiem spore ryzyko obniżenia poziomu koncentracji respondenta i co za tym idzie obniżenia jakości udzielanych odpowiedzi. W przypadku badań na potrzeby naukowe często konieczne jest użycie bardziej obszernych narzędzi pomiarowych – wówczas rekomendujemy podzielenie badania na części rotację pytań (np. losowanie połowy pytań dla każdego respondenta).
Formuły realizacji badań online
Badania CAWI można realizować w różnych formułach i ujęciach, a możliwości dostosowania do potrzeb zamawiającego czy też dostępnego budżetu są bardzo duże. Najprostsza i najbardziej dostępna kosztowo forma badania to zakup kilku pytań w Omnibusie, na ogólnopolskiej reprezentatywnej próbie. W przypadku większego kwestionariusza lub próby celowej mamy do dyspozycji badanie ad hoc (najczęściej wybierany model współpracy z agencją). Warto wspomnieć również o badaniach falowych, panelowych (z powrotem do tych samych respondentów), badań eksperymentalnych wg różnych schematów. Poczesne miejsce w kanonie badań CAWI zajmują również badania międzynarodowe, często niezwykle użyteczne w kontekście prac naukowych.
Osią podziału może być również forma przekazania wyników takiego badania: od samej bazy danych, przez tabele wynikowe po pełny, graficzno-opisowy raport z wnioskami i analizami. Badacze zajmujący się badaniami CAWI są zazwyczaj bardzo elastyczni co do formy współpracy z naukowcami, jeśli chodzi m. in. o zaadaptowanie narzędzia pomiarowego, czy też pomoc w przeanalizowaniu, opracowaniu wyników oraz weryfikacji hipotez.
Jeżeli mają Państwo pytania, zapraszam do kontaktu ze mną: michal.piechocki@arc.com.pl