Voraussetzungen
- Ein Entwurf der Fragen, die Sie stellen möchten
- Eine klare Vorstellung davon, welche Entscheidung die Umfrage stützen soll
Neutrale Umfragefragen formulieren Sie, indem Sie Wörter vermeiden, die eine bevorzugte Antwort nahelegen, pro Frage nur ein Thema ansprechen, vage Begriffe präzisieren, ausgewogene Antwortoptionen mit einer klaren Ausweichoption anbieten und den Fragebogen vor dem Start mit echten Personen testen. Die meisten Verzerrungen entstehen durch Formulierung, Antwortoptionen und Reihenfolge, und alle lassen sich beheben.
Dieser Leitfaden stellt zehn häufige Ursachen für Verzerrungen vor. Zu jeder gibt es eine kurze Erklärung und ein Vorher-nachher-Beispiel, das Sie anpassen können. Am Ende steht eine Checkliste für die Prüfung.
Warum die Formulierung so wichtig ist
Eine Umfrage misst, was Menschen antworten, nicht was sie denken. Wenn die Formulierung Befragte in eine Richtung schiebt, beschreibt das Ergebnis Ihre Frage statt Ihrer Zielgruppe. Diese Art von Antwortverzerrung ist im Nachhinein schwer zu erkennen, weil die Daten sauber aussehen: Jede Zeile ist vollständig, jedes Diagramm wird angezeigt. Die Verzerrung zeigt sich erst später, wenn eine darauf gestützte Entscheidung nicht aufgeht.
Die gute Nachricht: Die meisten Verzerrungen in Fragebögen gehen auf wenige, wiederkehrende Fehler zurück. Sobald Sie diese benennen können, finden Sie sie in einem Entwurf in wenigen Minuten.
1. Suggestivfragen
Eine Suggestivfrage signalisiert, welche Antwort Sie erwarten. Oft enthält sie die eigene Meinung oder ein Lob.
Vorher: „Wie sehr hat Ihnen unser neuer, schnellerer Bestellvorgang gefallen?“
Nachher: „Wie bewerten Sie den Bestellvorgang?“
Die ursprüngliche Frage unterstellt, dass er gefallen hat und schneller ist. Die neue Version bittet um eine Bewertung, ohne eine vorzugeben.
2. Unterstellende Fragen
Eine unterstellende Frage enthält eine Annahme, die auf die befragte Person nicht zutreffen muss. Wer die Annahme nicht teilt, kann nicht ehrlich antworten.
Vorher: „Wo entspannen Sie sich normalerweise nach einem stressigen Arbeitstag?“
Nachher: „Wie würden Sie einen typischen Arbeitstag beschreiben?“, gefolgt von: „Was tun Sie, falls überhaupt, um sich nach der Arbeit zu entspannen?“
Die neue Version prüft zuerst die Annahme und macht mit „falls überhaupt“ auch „nichts“ zu einer akzeptablen Antwort.
3. Doppelte Fragen
Eine doppelte Frage fragt nach zwei Dingen, lässt aber nur eine Antwort zu. Bewertet jemand beides mit „mittel“, wissen Sie nicht, welcher Teil gemeint ist.
Vorher: „Wie zufrieden sind Sie mit unseren Preisen und unserem Kundenservice?“
Nachher: „Wie zufrieden sind Sie mit unseren Preisen?“ und „Wie zufrieden sind Sie mit unserem Kundenservice?“
Ein schneller Test: Steht zwischen zwei Themen „und“ oder „oder“, teilen Sie die Frage.
4. Absolute Fragen
Absolute Fragen verwenden Wörter wie „immer“, „nie“, „jeder“ oder „alle“. Kaum jemand kann ehrlich mit Ja antworten, also sammeln sich die Antworten bei Nein, unabhängig vom tatsächlichen Verhalten.
Vorher: „Lesen Sie immer die AGB, bevor Sie sich für einen Dienst registrieren?“
Nachher: „Wie oft lesen Sie die AGB, bevor Sie sich für einen Dienst registrieren?“ mit Optionen von „Nie“ bis „Jedes Mal“.
Eine Häufigkeitsskala erfasst die Bandbreite, die die Ja/Nein-Version verbirgt.
5. Mehrdeutige Fragen
Mehrdeutige Fragen verwenden Wörter, die für verschiedene Menschen Verschiedenes bedeuten, etwa „regelmäßig“, „kürzlich“ oder „oft“. Zwei Befragte können dieselbe Antwort geben und Unterschiedliches meinen.
Vorher: „Treiben Sie regelmäßig Sport?“
Nachher: „An wie vielen der letzten 7 Tage waren Sie mindestens 30 Minuten körperlich aktiv?“
Ersetzen Sie vage Mengen und Zeiträume durch konkrete Angaben, die Befragte zählen können.
6. Fachjargon und Abkürzungen
Interne Begriffe, Fachsprache und Abkürzungen verwirren alle, die Ihr Vokabular nicht teilen. Verwirrte Befragte raten, überspringen oder brechen ab.
Vorher: „Wie zufrieden sind Sie mit dem SLA für Ihre P1-Tickets?“
Nachher: „Als Sie ein dringendes Problem gemeldet haben, wie zufrieden waren Sie damit, wie schnell wir reagiert haben?“
Lesen Sie jede Frage mit den Augen einer neuen Kundin oder eines neuen Kunden. Braucht ein Begriff eine Erklärung, verwenden Sie die Erklärung statt des Begriffs.
7. Unausgewogene Antwortskalen
Eine Skala ist unausgewogen, wenn sie mehr positive als negative Optionen bietet oder die Beschriftungen nicht symmetrisch sind. Schon die Struktur treibt die Ergebnisse nach oben.
Vorher: „Wie war Ihr Aufenthalt?“ mit den Optionen: Ausgezeichnet, Sehr gut, Gut, Befriedigend.
Nachher: „Wie war Ihr Aufenthalt?“ mit den Optionen: Sehr gut, Gut, Weder gut noch schlecht, Schlecht, Sehr schlecht.
Halten Sie auf beiden Seiten gleich viele Optionen vor, beschriften Sie jeden Skalenpunkt und spiegeln Sie die Beschriftungen. Mehr zum Skalendesign finden Sie im Leitfaden zu Likert-Skala-Fragen.
8. Reihenfolgeeffekte
Die Reihenfolge von Fragen und Optionen verändert Antworten. Eine Frage zu einem aktuellen schlechten Erlebnis kann die Bewertung einer direkt folgenden Frage zur Gesamtzufriedenheit senken. In langen Optionslisten werden Einträge am Anfang oder Ende häufiger gewählt.
Vorher: „Wie zufrieden waren Sie mit der Verzögerung Ihrer Lieferung?“, gefolgt von: „Wie zufrieden sind Sie insgesamt mit unserem Unternehmen?“
Nachher: Fragen Sie zuerst: „Wie zufrieden sind Sie insgesamt mit unserem Unternehmen?“ und danach nach einzelnen Teilen der Erfahrung.
Allgemein vor spezifisch ist eine verlässliche Grundregel. Bei Optionslisten ohne natürliche Reihenfolge, etwa Funktionen oder Marken, randomisieren Sie die Reihenfolge pro Person, damit die Position keinen Eintrag bevorzugt.
9. Zustimmungstendenz
Die Zustimmungstendenz (Akquieszenz) ist die Neigung, Aussagen zuzustimmen, besonders bei langen Umfragen oder müden Befragten. Batterien mit „stimme zu / stimme nicht zu“ sind dafür besonders anfällig.
Vorher: „Das neue Dashboard ist einfach zu bedienen.“ (Stimme überhaupt nicht zu bis Stimme voll und ganz zu)
Nachher: „Wie einfach oder schwierig ist das neue Dashboard zu bedienen?“ (Sehr schwierig bis Sehr einfach)
Themenspezifische Skalen lenken die Aufmerksamkeit auf das Thema statt auf die Frage, ob man zustimmen soll. Wenn Sie eine Zustimmungsbatterie behalten, halten Sie sie kurz und achten Sie auf Straightlining.
10. Soziale Erwünschtheit
Menschen neigen zu Antworten, die sie gut dastehen lassen, etwa indem sie gesunde Gewohnheiten übertreiben oder Regelverstöße herunterspielen. Der Effekt ist bei heiklen Themen am stärksten und wenn Befragte glauben, identifizierbar zu sein.
Vorher: „Halten Sie sich an die Datensicherheitsrichtlinie des Unternehmens?“
Nachher: „Vielen fällt es in einer vollen Woche schwer, jede Sicherheitsregel einzuhalten. Wie oft haben Sie im letzten Monat ein Passwort mit einer Kollegin oder einem Kollegen geteilt?“
Machen Sie die weniger schmeichelhafte Antwort normal, fragen Sie nach konkretem Verhalten statt nach Eigenschaften der Person und erklären Sie, wie die Antworten verwendet werden. Wo es passt, erheben Sie die Antworten anonym und sagen Sie das in der Einleitung.
Antwortoptionen brauchen dieselbe Sorgfalt
Auch bei neutralem Fragetext kann die Antwortliste verzerren:
- Fehlende Optionen. Steht die zutreffende Antwort nicht in der Liste, wählen Befragte die nächstliegende. Ergänzen Sie „Sonstiges (bitte angeben)“, wenn die Liste unvollständig sein könnte.
- Überlappende Bereiche. „18-25“ und „25-34“ enthalten beide die 25. Gestalten Sie Bereiche überschneidungsfrei.
- Keine ehrliche Ausweichoption. Ergänzen Sie „Weiß nicht“ oder „Nicht zutreffend“, wenn manche nicht antworten können. Ersetzen Sie damit aber keinen neutralen Mittelpunkt.
- Pflichtantworten bei heiklen Fragen. Sind alle Fragen Pflicht, raten Menschen eher. Machen Sie nur das zur Pflicht, was Sie wirklich brauchen.
Vor dem Start testen
Keine Checkliste findet alles. Ein Pretest mit einigen Personen aus Ihrer echten Zielgruppe zeigt, bei welchen Fragen sie zögern, sie missverstehen oder überspringen. Bitten Sie einige Testpersonen, jede Frage in eigenen Worten wiederzugeben. Weicht ihre Erklärung von Ihrer Absicht ab, formulieren Sie die Frage neu.
Checkliste für neutrale Umfragefragen
Prüfen Sie jede Frage vor dem Start anhand dieser Liste:
- Die Frage enthält keine Meinung, kein Lob und keine wertenden Wörter
- Sie unterstellt nichts, was die befragte Person nicht teilen könnte
- Sie fragt nur nach einem Thema
- Sie vermeidet „immer“, „nie“, „alle“ und „jeder“, sofern nicht nötig
- Zeiträume und Mengen sind konkret
- Sie enthält keinen Fachjargon und keine unerklärten Abkürzungen
- Die Antwortskala ist ausgewogen und jeder Punkt ist beschriftet
- Die Antwortoptionen überschneiden sich nicht und decken alle wahrscheinlichen Antworten ab
- Es gibt eine ehrliche Ausweichoption, wo manche nicht antworten können
- Allgemeine Fragen stehen vor spezifischen
- Die Optionsreihenfolge ist randomisiert, wo die Liste keine natürliche Ordnung hat
- Bei heiklen Fragen wirkt jede Antwort akzeptabel
- Die Umfrage wurde mit echten Befragten getestet
Neutrale Fragen in Claform umsetzen
Wenn Sie eine Umfrage in Claform erstellen, unterstützen einige Einstellungen die oben genannten Praktiken. Auswahlfragen haben im Frageneditor die Einstellung Randomize options (Optionen zufällig anordnen), sodass jede befragte Person die Optionen in anderer Reihenfolge sieht. Ab dem Professional-Tarif kann das Werkzeug Randomize zusätzlich die Reihenfolge von Seiten und Fragen pro Person mischen. Auf der Testseite der Umfrage sehen Sie eine Vorschau in Desktop-, Tablet- und Smartphone-Größe, bevor Sie den Fragebogen an Testpersonen weitergeben.
Allgemeinere Tipps zu Aufbau, Länge und Ablauf finden Sie im Leitfaden zu Best Practices im Umfragedesign.
Häufig gestellte Fragen
Was ist ein Beispiel für eine Suggestivfrage in einer Umfrage?
„Wie sehr hat Ihnen unser neuer, schnellerer Bestellvorgang gefallen?“ ist suggestiv, weil die Frage unterstellt, dass er gefallen hat und schneller ist. Neutral wäre: „Wie bewerten Sie den Bestellvorgang?“
Wie formuliere ich Umfragefragen neutral?
Entfernen Sie Meinungen und wertende Wörter, vermeiden Sie Annahmen, fragen Sie pro Frage nur nach einem Thema, nutzen Sie konkrete Zeiträume und kombinieren Sie jede Frage mit einer ausgewogenen Skala mit klar beschriftetem Mittelpunkt oder Ausweichoption.
Was ist der Unterschied zwischen einer Suggestivfrage und einer unterstellenden Frage?
Eine Suggestivfrage legt nahe, welche Antwort erwartet wird. Eine unterstellende Frage enthält eine Annahme, sodass Befragte, die sie nicht teilen, nicht ehrlich antworten können. Eine Frage kann beides zugleich sein.
Braucht jede Umfragefrage eine neutrale Antwortoption?
Nicht immer. Ein neutraler Mittelpunkt passt zu Meinungsskalen, bei denen Unentschiedenheit eine echte Position ist. „Weiß nicht“ oder „Nicht zutreffend“ passt zu Fragen, die manche nicht beantworten können. Halten Sie beides getrennt, damit Sie es in der Auswertung unterscheiden können.
Wie viele Personen brauche ich für einen Pretest?
Es gibt keine feste Zahl. Eine kleine Gruppe aus Ihrer echten Zielgruppe reicht meist, um missverständliche Formulierungen aufzudecken. Testen Sie weiter, bis eine neue Runde keine Probleme mehr findet.
Research & Methodology
