Für Hausarbeiten und gerade Abschlussarbeiten ist empirisches Arbeiten gefordert – leider im Studium aber oft nicht ausreichend trainiert. Da Online-Umfragen sehr kostengünstig sind und inzwischen auch zu guten Ergebnissen für Forschungsarbeiten führen können, möchte ich hier ein Tipps weitergeben: Umsetzung online, Fragenformulierung, in Umlauf bringen und Auswertung.

Jetzt neu: Responsive Online-Umfragen für Uni und Arbeit

Du brauchst eine professionelle Umfrage für die Uni bzw. Arbeit? Sie muss responsiv sein und damit auf mobilen Geräten funktionieren? Du brauchst Support?

Daher habe ich nun einen Service gegründet, mit dem du unter der Domain dieumfrage.com und campusumfrage.de deine Umfrage gegen kleinen Obulus durchführen kannst. Weitere Infos unter service.dieumfrage.com.

Die technische Seite

Online-Umfragen brauchen ein Online-Tool, auf dem sie ausgefüllt werden können – das ist wohl klar 😉 Doch welche Tools bieten sich an? Es wird viel SoSci Survey verwendet, ein umfangreiches Umfragetool, das für nicht-kommerzielle Umfragen umsonst ist. Der Vorteil ist, dass man damit alles machen: verschiedene Fragetypen, Bedingungen bei Fragen, Zugangsschlüssel etc. Ergebnisse können für professionelle Analyseprogramme exportiert werden. Nachteil ist, dass der Umgang mit diesem Tool durchaus kompliziert werden kann, gerade wenn es darum geht, komplexe Fragebögen zu erstellen. Der erstellte Fragebogen ist außerdem an die Domain soscisurvey.de gebunden, was vielleicht störend sein kann. Es gibt viele Alternativen.

Ich persönlich verwende LimeSurvey. Es hat viele Features, auch für professionelle Fragebögen (Panelverwaltung, Zugangsschlüssel, Fragebedingungen, viele Fragetypen, Multilingualität etc.). Größter Vorteil ist, dass es selbst hostbar ist, d.h. es ist eine kostenlose Software ähnlich zu WordPress. So hat man komplette Kontrolle über die erhobenen Daten. Im Gegensatz zu SoSci Survey finde ich diese freie Software wesentlich angenehmer zu bedienen. Das liegt einerseits an einer sehr guten Menüführung und den Buttons für die Funktionen. Alle Ergebnisse lassen sich als SPSS-Datensatz samt Syntax exportieren sowie als .csv oder direkt online zusammengefasst einsehen.

Bilderstrecke:

Bei Fragen zu LimeSurvey gerne schreiben. Ich kann auch gegen einen kleinen Obulus gerne Zugang zu meinem System gewähren, dann kannst du für deine Arbeit eine Umfrage erstellen.

Fragenformulierung / Konzept

Vor dem Fragebogen sollte die Problemfrage bzw. die Hypothesen formuliert sein, die du mit der Befragung überprüfen möchtest. Anhand der Hypothesen sollte man sich Fragen überlegen, die je nach Szenario nicht auf zu direktem Weg fragen. Also sollte man bestimmte Aussagen auf Zustimmung überprüfen wollen, ist der direkte Weg natürlich richtig, aber sollte es sich um die Einschätzung des Charakters handeln, wäre es z.B. besser diese mit Beispielsätzen zu erfragen, z.B. ich lese abends gerne ein Buch und das steht dann für die Kategorie xy.

Bei einem Fragebogen für die breite Masse ist Standardisierung ganz wichtig. Bei gleichen Fragetypen bzw. -arten sollten auch die gleichen Skalen eingesetzt werden. Wenn es also bei mehreren Fragen um die Einschätzung der Wichtigkeit geht, sollte in der Regel die gleiche Skala verwendet werden – bsp. sehr wichtig, wichtig, weniger wichtig, unwichtig, weiß ich nicht. Die Formulierung der Frage muss immer hinterfragt werden, denn wir sind unser Akademikerdeutsch gewohnt. So kann es passieren, dass wir Begriffe verwenden, die so im normalen Sprachgebrauch missverstanden oder nicht verstanden werden können, was damit zu Messfehlern oder noch schlimmer zu Abbrüchen führt.

Beim Aufbau des Fragebogen ist es meiner Erfahrung nach gut, wie bei einem journalistischen Interview vorzugehen: Die einfachen Fragen zuerst stellen und dann schrittweise steigern. Daher stelle ich die Erhebung der soziodemographischen Daten (Geschlecht, Alter etc,) immer an den Anfang, da der ganze Fragebogen nutzlos ist, wenn diese am Ende nicht mehr beantwortet werden. Bei der Soziodemographie sollte man einerseits darauf achten, dass bei heiklen persönlichen Daten (Einkommen z.B.) immer die Option “keine Antwort” vorhanden ist. Beim Alter empfiehlt es sich nach dem Geburtsjahr zu fragen. Das wird eher beantwortet als die direkte Frage nach dem Alter.

Einen Fragebogen in verschiedene Fragegruppen zu gliedern, ist immer sinnvoll und der letzte Tipp dazu: Immer nur die Fragen stellen, die auch später wirklich für die Auswertung relevant sind, denn so kommt man meist unter 15 Fragen weg und die Befragten antworten wesentlich bereitwilliger, wenn es schnell geht.

Zum Schluss: PRETEST machen, Fehler herausfinden und verbessern.

Vermarktung des Fragebogens

Alles fertig erstellt, Enddatum für die Umfrage erstellt, Pretest gemacht (SEHR WICHTIG!!!)? Dann kann es jetzt ja online gehen. Welche Möglichkeiten hast du, um an die Befragten zu kommen?

Nicht zu unterschätzen sind inzwischen soziale Netzwerke, gerade Facebook. Auch wenn man dort mit vielen Sachen zugemüllt wird, findet man inzwischen einen guten Querschnitt der Bevölkerung – jedoch sollte immer klar sein, wie das Surfverhalten in den unterschiedlichen Altersgruppen aussieht. Eine öffentliche Facebook-Veranstaltung ist ein super Mittel, um Aufmerksamkeit zu erzeugen und vor allem Freunden eine leichte Möglichkeit zu geben, weitere Freunde einzuladen. Es ist so auch ein zentralen Ort für Nachfragen oder Kritik vorhanden. Persönliche Nachrichten an Freunde oder an lokale / bekannte Medieninstitutionen oder Facebook-Fanseiten von anderen Organisationen helfen auch immer. Hier einfach keine Berührungsängste haben und fragen – je persönlicher, desto besser.

Zusätzlich sind Incentives absolutes Muss und auch hier gilt es wieder auf die Zielgruppe zu achten: Wenn ich hauptsächlich z.B. Leute aus München erreichen will, dann wäre es sinnvoller, Gutscheine für eine Münchner Attraktion zu wählen als Amazon-Gutscheine, da es einfach mehr die persönliche Mikrosphäre der Teilnehmer anspricht. Unkosten zwischen 30 und 50€ sollte man einkalkulieren.

Wer es ganz hoch hinaus schaffen möchte und noch mehr Geld zum Ausgeben hat, dem empfehle ich das Facebook-Werbetool. Funktioniert ähnlich zu Google Anzeigen, nur viel ausgefeilter und erreicht bei der richtigen Definition der Zielgruppe sicherlich etwas. Einfach ausprobieren, allerdings steigt dann das Budget um weitere 50 bis 100€.

Ein Anreiz kann der Open Data Gedanke sein: Du machst eine Umfrage, die ich interessant finde? Dann gib mir Gelegenheit, die Ergebnisse auch für mich zu nutzen. Eine anonymisierte Zusammenfassung und Bereitstellung der Ergebnisse ist immer eine nette Geste, aber bitte die Teilnehmer vor Beginn des Fragebogens darüber aufklären!

Analyse des Fragebogens

Jetzt wird´s spannend 😉 Ich bin kein Experte in Empirie, aber ich gebe jetzt meine Erfahrungen wieder, von denen ich denke, dass sie wahr sind.

Objektivität, Validität und Reliabilität

Bevor es an die eigentliche Analyse geht, sind die Gütekriterien einer Umfrage zu beachten – bei einer Online-Umfrage vor allem: Objektivität, Validität und Reliabilität. Die ersten beiden muss man begründen, das letzte kann man berechnen. Die Frage nach der Objektivität dürfte sich von selbst verstehen und Validität meint die Gültigkeit der Annahme, also z.B. ob eine Frage für die relevante Zielgruppe auch wirklich sinnvoll gestellt ist. Diese beiden Kriterien sollten bereits vor Beginn der Umfrage klar sein. Reliabilität soll belegen, ob viele oder wenige Zufallsfehler bei der Messung passiert sind. Ein bekannter Test ist Cronbachs Alpha, der für Untersuchungen bis zur Bachelorarbeit durchaus legitim ist – einfach mit dem Betreuer abklären. Damit wird überprüft, ob verschiedene Items (Antwortmöglichkeiten) einer Frage – z.B. Warum hören Sie Radio – sich wirklich voneinander unterscheiden, also ob Trennschärfe der Antwortmöglichkeiten gegeben ist. Wenn der Wert von Cronbachs Alpha gegen 1 geht, ist die Frage sehr reliabel, wenn nicht eher weniger. Aber die Interpretation des errechneten Wertes hängt immer von der Frage ab: Bei einer Mehrfachantwort ist mit einem niedrigen Wert von Cronbachs Alpha zu rechnen, da es ja normal sein kann, dass es mehrere Beweggründe für etwas gibt. Egal was berechnet wird: Die Werte immer im Kontext sehen und dann interpretieren!

Streudiagramm / Korrelation

Grundlegend für die Analyse sind Häufigkeiten. Der nächste Schritt wären z.B. Kreuztabellen, in denen man zwei Variablen vergleicht, z.B. hören Sie Metallica “Ja / Nein” als Spalte und in der Zeile die Aufteilung des Geschlechts, jeweils in Prozent / Häufigkeiten. Wenn sich in der Häufigkeitenverteilung etwas interessantes zeigen sollte und der Zusammenhang zwischen zwei Variablen überprüft werden soll, ist der Korrelationtest immer eine gute Wahl, z.B. nach Pearson. Diesen kann man als Streudiagramm visualisieren, d.h. die Ergebnisse als Punkte in einem Koordinatensystem anzeigen lassen. Wenn also ein Zusammenhang zwischen zwei Variablen besteht, wird sich das darin zeigen, dass diese Punkte eine Linie bilden, so dass eine Aussage in der Art möglich wird: je männlicher ein Mensch ist, desto mehr hört er Metallica. Nur als Beispiel 😉

ANOVA / Varianztest

Als Krönung der Tests, die ich hier vorstelle, sehe ich den ANOVA bzw. Varianztest. Hier geht es darum, ob man annehmen kann, dass ein Merkmal einer Variable im Vergleich zu anderen Merkmalen besonders heraussticht. Beispielsweise ob die Hörer von Antenne Bayern Veranstaltungstipps als signifikantes, also ausschlaggebendes Zuhörkriterium unter anderen Kriterien (Kinonews, Talkshows etc.) sehen. Der Test basiert auf der Annahme, dass kein Ereignis im Fragebogen signifikant ist, also unter allen Messungen ausschlaggebend ist. Das ist die sogenannte Nullhypothese. Mit dem ANOVA- / Signifikanztest wird jetzt die Wahrscheinlichkeit berechnet, mit der diese Nullhypothese richtig ist. Dazu gibt es das sogenannte Signifikanzniveau, das die Wahrscheinlichkeitsschwelle angibt. In der Regel sind das 5% (0,05). Werte, die also unter diesem Niveau liegen, weisen eine Signifikanz auf. Übersetzt bedeutet das, dass die Nullhypothese nur zu höchstens 5% richtig ist und man kann damit einen ausschlaggebenden Zusammenhang annehmen.

Das ist natürlich nur ein Auszug von vielen Tests, aber meines Erachtens waren das die wichtigsten. In jedem Falle empfehle ich für alle SPSS-Geplagten das Buch SPSS für Dummies.