Folgen Sie uns:
planung & analyse GmbH auf facebook.de planung & analyse auf twitter.de planung & analyse GmbH auf google+ planung & analyse GmbH auf xing

MaFo-Spitzen


Fake-News in der Marktforschung
YouGov-Deutschlandchef Holger Geißler über die Aufgaben für das Wahljahr 2017: Fair bleiben und als Branche überzeugen

Holger Geißler 

 Holger Geißler

Spätestens seit dem Wahlkampf von Donald Trump ist das gezielte Verbreiten von Falschmeldungen als Mittel der Auseinandersetzung bekannt. Sie denken, dass ist die Politik und Amerika? Das spielt doch in unserer Branche, der Markt- und Meinungsforschung, keine Rolle? Leider weit gefehlt.  Auch hier werden gerne mal Falschnachrichten verwendet.Sie glauben mir nicht? Dann gebe ich Ihnen drei Beispiele aus der jüngeren Vergangenheit, die YouGov mehr oder weniger betroffen haben. Ein Faktencheck.

Beispiel 1

Richard Hilmer, bis Mai 2015 Geschäftsführer von Infratest Dimap und 2013 ausgezeichnet als Forscherpersönlichkeit des Jahres, lässt sich auf der Podiumsdiskussion zum Thema „What’s the matter with polling“ im Rahmen der GOR 2017 an der HTW Berlin zu folgender Aussage hinreißen: „YouGov liefert keine Rohdaten an Auftraggeber“. Belegen wollte er damit, dass YouGov nicht transparent arbeite. Woher er diese Aussage habe? Antwort von Herrn Hilmer nach dem Podium: Das hätte ihm die Konrad-Adenauer-Stiftung aus Berlin gesagt.

Folgende Fakten sprechen dagegen:

Bis zum heutigen Tag hat die Konrad-Adenauer-Stiftung (im weiteren KAS) keinerlei Forschung bei YouGov Deutschland in Auftrag gegeben. Das heißt, es gab überhaupt noch keine Auftraggeber-Kunde-Beziehung zwischen YouGov und der Konrad-Adenauer-Stiftung.

YouGov liefert auf Nachfrage immer Rohdaten an Auftraggeber. Gerade für Universitäten ist das häufig sogar die einzige Form der Datenlieferung, die sie von uns bekommen.

Nachdem wir alle relevanten Posteingänge bei YouGov nach einer passenden Anfrage der KAS durchsucht hatten, meldete sich dann auch am Montag die KAS mit der Bestätigung, dass die Aussage nicht von ihnen stammt.

Beispiel 2

Ulrike Winkelmann ist Journalistin des Deutschlandfunks. Auf der Veranstaltung „Demokratie um 12“ am 22. Februar 2017 moderierte sie eine Diskussionsrunde zur Frage, inwieweit sich der unerwartete Brexit oder der noch weniger erwartete Wahlsieg Donald Trumps auf die Meinungs- und Wahlforschung auswirken würden. Spannende Runde, in der YouGov immer wieder erwähnt wurde. Diskutiert wurde unter anderem darüber, ob es unverantwortlich sei, Wahlergebnisse in kürzerem Abstand als zehn Tage vor der Wahl zu veröffentlichen. Außerdem wurde herausgestellt, dass Demoskopen nicht genug Transparenz an den Tag legen und veröffentlichen müssten, worin falsche Ergebnisse begründet seien. In diesem Kontext ließ sich Ulrike Winkelmann zu der Aussage hinreißen, dass sich YouGov im Vorfeld des Brexit auf feste Ergebnisse festgelegt hätte und das dies unseriös gewesen sei. Woher Frau Winkelmann die Aussage hat? Aus Tweets von Peter Kellner. Wer ist Peter Kellner?

Peter Kellner ist ein britischer Journalist, der von 2001 bis 2016 in verschiedenen Rollen bei YouGov tätig war (zur entsprechenden Meldung). Verlassen hat er YouGov am 31. März 2016. Stellt sich die Frage, wie kann er dann am 23. Juni 2016 – dem Tag des Referendums – noch für YouGov sprechen? Tatsächlich hat Peter Kellner in der Nacht des Referendums einige Tweets abgesetzt, die seine Meinung über YouGov-Zahlen wiedergaben. Aber das machte er längst als Privatier – und nicht mehr als Präsident von YouGov. Wie kann Frau Winkelmann also aus seinen Tweets ableiten, dass YouGov unseriös aufgetreten wäre? Das wäre genauso, wie wenn man die Aussage von Richard Hilmer aus der GOR-Diskussion Infratest dimap zuschreiben würde, nur weil er da in der Vergangenheit einmal Geschäftsführer war. Wenn Frau Winkelmanns Argumentation vielleicht auch kein zwingendes Beispiel für Fake News ist, so würde man von einer Journalistin doch etwas mehr Sorgfalt wünschen, wenn sie Unternehmen – in diesem Fall YouGov - öffentlich an den Pranger stellt.

Tatsächlich hatte YouGov bei der Brexit-Entscheidung seine Lehren aus dem Wahldesaster 2015 gezogen und trat im Vorfeld und im Nachhinein sehr transparent auf. So wurde in Artikeln mehrfach darauf hingewiesen, dass beim Referendum etwa die Wahlbeteiligung das Ergebnis noch deutlich beeinflussen könnten. Zur Veranschaulichung wurde ein Turnout Calendar auf unserer Website zur Verfügung gestellt. Außerdem wurden unsere Methoden ausführlich dargestellt und diskutiert und auch der in den Medien verbreitete On-the-Day-poll wurde mit einer Warnung herraus gegeben: Es sei noch zu früh, um ein definitives Ergebnis zu verkünden und es wurde darauf hingeweisen, dass es sich nicht um einen Exit Poll, also einer Befragung der Wähler nach Verlassen des Wahllokals, handle. Hier der Tweet von Joe Twyman is Head of Political and Social Research für Europa, Middle East und Afrika bei YouGov:



Beispiel 3


Thomas Perry ist Geschäftsführer der Agentur Q für Forschung aus Mannheim. Das Unternehmen berät Unternehmen sowie öffentliche Klienten und forscht in ihrem Auftrag zu Themen der Markt- und Sozialforschung. Thomas Perry schrieb für den Cicero kürzlich eine Online-Kolumne zum Thema „Prozente, die nichts bedeuten“. Darin bezweifelt er die Validität vieler Befragungsergebnisse und glaubt, dass es darüber hinaus manchmal an Repräsentativität mangelt. Es findet sich folgender Absatz darin: „Mal weiß man nicht, was man misst, mal behauptet man Messgenauigkeit, ohne sie zu belegen. So reklamieren Anbieter wie Civey, Dalia Research und andere Repräsentativität ihrer Daten, ohne zu belegen, dass das stimmt.“ (zum Artikel)

Ich gebe Thomas Perry darin Recht, dass der Begriff „Repräsentativität“ mittlerweile inflationär verwendet wird und dass Repräsentativität häufig reklamiert wird, ohne zu belegen wie diese zustande kommt. Meiner Meinung nach müsste aber in seiner Liste, die lediglich aus „Civey, Dalia Research u.a.“ besteht,  so ziemlich jedes Marktforschungsinstitut stehen.

Denn, wo belegen wir Markt- und Meinungsforscher wirklich, wie unsere Stichproben zustande kommen? Sind Aussagen wie „Repräsentative Zufallsauswahl/Dual-Frame (Relation Festnetz-/Mobilfunknummern 70:30)“ mit Nennung der Methode und Zeitraum wie etwa beim DeutschlandTrend zu finden, wirklich ein Beleg dafür, dass Repräsentativität gegeben ist? Wo werden bei öffentlich-publizierten Umfragen Kennziffern wie die Ausschöpfungsquote genannt? Ist eine telefonische Umfrage mit einer Ausschöpfung von drei Prozent - also drei Teilnehmer von 100 Personen, die den Telefonhörer abgenommen haben - wirklich noch repräsentativ zu nennen?

Bei den wenigsten Studien, die veröffentlicht werden, gibt es ausführliche Methodenberichte, aus denen man nachvollziehen kann, ob eine Studie repräsentativ ist. Und in der Regel haben die Studien mit den ausführlichsten Methodenberichten die größten Zweifel an der Repräsentativität ihrer Stichprobe. Die Forderung nach mehr Transparenz und Belegen von Thomas Perry ist absolut berechtigt. Das betrifft meiner Meinung aber alle Institute gleichermaßen – und Thomas Perry sollte nicht Anbieter wie Civey oder Dalia Research alleine an den Pranger stellen.

Wir sollten besser als Branche überzeugen

Wir täten besser daran gemeinsam auf das Ziel hinzuarbeiten bei der Bundestagswahl 2017 als Branche zu überzeugen – und nicht einzelne Wettbewerber durch Falschaussagen in Misskredit zu bringen.
Letztlich haben alle Institute die gleichen Probleme wie etwa die sinkende Teilnahmebereitschaft an Umfragen in der Bevölkerung oder die immer kurzfristiger vor der Wahl stattfindende Festlegung der Wähler auf eine Partei. Statt noch immer Diskussionen darüber zu führen, ob jetzt mit telefonischen-, Online-, Face-to-face- oder mobilen Umfragen die besten Stichproben erreicht werden können – in UK ist man bereits über diese Diskussion hinaus, wie die Keynote von Patrick Sturgis, Professor in Southampton bei der GOR zeigte – könnte man auch offen in den Dialog darüber treten, was man voneinander lernen kann – und wie sich die Methoden gegenseitig ergänzen könnten.

Ideal für uns Meinungsforscher wäre es, wenn es beim Wettstreit um die beste Prognose gleich mehrere Gewinner geben würde – und nicht nur ein Institut die anderen outperformt. So könnte unsere gesamte Profession ihre Daseinsberechtigung unterstreichen, die - wie nach den Umfrage-Pleiten 2005 (Bundestagswahl), 2015 (Parlamentswahl UK), 2016 (Brexit), 2017 (Trump) – sonst wieder reflexartig in Frage gestellt werden wird.

Holger Geißler ist Head of Research und Sprecher der YouGov Deutschland GmbH.
Nähere Informationen zu YouGov finden Sie online im p&a Handbuch der Marktforschung. Firmenprofil >>

Facebook Twitter Google LinkedIn Xing RSS Email