Newsletter-Kennzahlen richtig lesen: Öffnungen, Klicks, Antworten

Warum sagen die Zahlen im Versandwerkzeug so wenig?

Nach jeder Ausgabe eines Newsletters zeigt das Versandwerkzeug eine Übersicht: Zustellrate, Öffnungsrate, Klickrate, Abmeldungen, oft mit Vergleich zum Branchenschnitt. Die Zahlen sehen genau aus, und sie werden gern in Besprechungen gezeigt. Trotzdem beantworten sie selten die Frage, die einen Inhaber interessiert: Bringt der Newsletter Gespräche und Aufträge?

Im Mittelpunkt steht deshalb eine Frage: Welche Kennzahlen eines Newsletters zeigen etwas, worauf ein kleiner Betrieb Entscheidungen stützen kann, und welche führen in die Irre? Dafür klären wir zuerst die Begriffe und warum Öffnungen kaum noch messbar sind. Danach erkläre ich ein Modell aus der Wirtschaftswissenschaft, warum Kennzahlen ihren Wert verlieren, sobald man sie zum Ziel macht, und betrachte einen Feldversuch, der das zeigt. Am Ende steht eine Lesart, die die Zahlen ordnet.

Wann sich ein Newsletter im B2B überhaupt lohnt und wie eine Ausgabe aufgebaut ist, beschreibt der Beitrag Newsletter im B2B. Dort steht auch der Grundsatz, an dem sich dieser Beitrag orientiert: Gemessen wird an Antworten, Gesprächen und Aufträgen.

Eine Öffnung zeigt, dass eine E-Mail angekommen ist. Eine Antwort zeigt, dass sie gewirkt hat.

Was die einzelnen Kennzahlen messen

Die Kennzahlen eines Newsletters sind einfache Verhältnisse. Wichtig ist, worauf sie sich beziehen, denn Werkzeuge rechnen unterschiedlich. Die folgende Übersicht bezieht alle Raten auf die zugestellten E-Mails, sofern nicht anders angegeben.

Eine harte Bounce ist eine dauerhaft unzustellbare Adresse, etwa weil der Empfänger das Unternehmen verlassen hat. Eine weiche Bounce ist ein vorübergehendes Problem, etwa ein volles Postfach. Harte Bounces gehören sofort aus der Liste. Im B2B sind sie oft ein Zeichen dafür, dass ein Ansprechpartner gewechselt hat, und damit ein Anlass, beim Kunden nachzufragen, wer jetzt zuständig ist.

Warum Öffnungen kaum noch zu messen sind

Eine Öffnung wird gemessen, indem die E-Mail ein winziges, unsichtbares Bild enthält, ein Zählpixel. Lädt das E-Mail-Programm dieses Bild vom Server des Versandwerkzeugs, wird die E-Mail als geöffnet gezählt. Das Verfahren hatte schon immer Lücken: Wer Bilder blockiert, öffnet unsichtbar. Seit 2021 kommt ein größeres Problem hinzu. Apple führte mit dem E-Mail-Datenschutz in seinen Mail-Programmen eine Funktion ein, die Inhalte aus der Ferne im Hintergrund lädt und die IP-Adresse verbirgt. Dabei wird das Zählpixel geladen, gleich ob ein Mensch die E-Mail liest. Andere Dienste prüfen eingehende E-Mails ebenfalls automatisch.

Für Geschäftskunden kommt hinzu, dass Sicherheitssysteme in Unternehmen Links und Bilder in E-Mails oft vorab prüfen. Dann können sogar Klicks entstehen, die keine sind. Wer im Versandwerkzeug sieht, dass ein Empfänger alle Links einer E-Mail in derselben Sekunde angeklickt hat, sieht in aller Regel eine Maschine.

Rechtlich ist die Messung ebenfalls nicht frei. Das Auslesen von Öffnungen und Klicks über Zählpixel und markierte Links gilt nach überwiegender Auffassung als Zugriff auf das Endgerät nach § 25 TDDDG und braucht eine Einwilligung, die über die Einwilligung in den Newsletter hinausgeht oder sie ausdrücklich umfasst. Was ohne Einwilligung zulässig ist, beschreibt der Beitrag Cookie-Banner und Messung. Das ist keine Rechtsberatung.

Das Denkmodell: das Gesetz von Goodhart

Das zweite Problem der Kennzahlen ist kein technisches, sondern ein menschliches. Der britische Ökonom Charles Goodhart beobachtete in den 1970er Jahren an der Geldpolitik, dass statistische Zusammenhänge zusammenbrechen, sobald man sie zur Steuerung nutzt. Die Anthropologin Marilyn Strathern fasste den Gedanken 1997 in die heute bekannte Form: Wenn eine Messgröße zum Ziel wird, hört sie auf, eine gute Messgröße zu sein. Das ist das Gesetz von Goodhart.

Auf Newsletter übertragen: Die Öffnungsrate misst ursprünglich, ob Empfänger einen Newsletter für lesenswert halten. Wird sie zum Ziel, optimiert man Betreffzeilen auf Neugier, Dringlichkeit oder Rätsel. Die Rate steigt, aber sie misst nun etwas anderes, nämlich wie gut der Betreff neugierig macht, nicht wie nützlich der Inhalt ist. Die Folgen zeigen sich an anderer Stelle: Empfänger fühlen sich getäuscht, klicken weniger, melden sich ab oder markieren die E-Mail als Werbung.

Wie das in Zahlen aussieht, zeigt ein Feldversuch von Defau, Zauner und Sycik (2023). Sie fügten in zwei zufällig aufgeteilten Versendungen eines Softwareanbieters nur ein Wort in die Absenderzeile ein: den Titel des Geschäftsführers, englisch CEO. Alles andere blieb gleich.

Bei den Interessenten stiegen Öffnungen um knapp 10 Prozent und Klicks um 75 Prozent, die Abmelderate aber auf fast das Dreifache. Alle drei Unterschiede waren statistisch gesichert. In einem zweiten Versuch mit rund 8.300 bestehenden Kunden zeigten sich dieselben Richtungen, aber deutlich schwächer und ohne gesicherten Unterschied. Die Autoren schließen, dass ein Titel stärker auf Menschen wirkt, die das Unternehmen noch nicht kennen. Für die Lesart der Kennzahlen ist der wichtigere Befund ein anderer: Wer nur auf Öffnungen und Klicks geschaut hätte, hätte einen Erfolg gemeldet und die Abmeldungen übersehen.

Zwei Lesarten: Kennzahlen optimieren oder Kennzahlen deuten

Die erste Lesart sieht Kennzahlen als Stellschrauben. Versandwerkzeuge machen es leicht, Betreff, Absender oder Versandzeit in A/B-Tests zu vergleichen. Defau und Kollegen empfehlen solche Tests ausdrücklich als Weg, eine Zielgruppe nach und nach besser zu verstehen. Sahni, Wheeler und Chintagunta (2018) zeigten in einem großen Feldversuch, dass schon der Vorname im Betreff die Öffnungen um 20 Prozent und die Vertriebskontakte um 31 Prozent erhöhte und die Abmeldungen um 17 Prozent senkte. Kleine Änderungen können also echte Wirkung haben.

Die zweite Lesart sieht Kennzahlen als Hinweise, die gedeutet werden müssen. Ein kleiner B2B-Betrieb mit 400 Empfängern hat für saubere Tests meist zu wenige Fälle. Bei 400 Empfängern und einer Klickrate um 9 Prozent sind ein paar Klicks mehr oder weniger Zufall. Der Beitrag Kampagnen auswerten beschreibt diesen Fehler als Glauben an das Gesetz der kleinen Zahlen: Menschen schließen aus kleinen Stichproben zu viel und sehen Unterschiede, die es nicht gibt.

Ich halte für kleine Listen die zweite Lesart für die richtige. Tests lohnen sich bei großen Listen und dann mit einem Blick auf alle Zahlen, wie der Feldversuch zeigt. Bei einer Liste von einigen Hundert Geschäftskontakten bringt es mehr, jede Antwort zu lesen, als die Öffnungsrate um einen Prozentpunkt zu verbessern.

Die Drei-Ebenen-Lesart: Technik, Interesse, Gespräch

Aus Modell und Befunden ergibt sich eine Ordnung, die ich die Drei-Ebenen-Lesart nenne. Sie teilt die Zahlen danach ein, was sie zeigen können, und legt fest, auf welcher Ebene entschieden wird.

1. Ebene 1: Technik

   Zustellrate, Bounces, Spam-Beschwerden. Diese Zahlen sind verlässlich und zeigen, ob die Liste gepflegt ist. Sie verlangen Handlung, wenn sie sich verschlechtern, aber sie sagen nichts über den Inhalt.

2. Ebene 2: Interesse

   Klicks je Beitrag und Abmeldungen. Sie zeigen grob, welche Themen ziehen und ob der Newsletter noch passt. Gelesen wird über mehrere Ausgaben, nicht je Ausgabe. Öffnungen gehören hierher, mit Vorsicht.

3. Ebene 3: Gespräch

   Antworten, Anmeldungen zu Terminen, Gespräche und Aufträge mit der Quelle Newsletter. Diese Zahlen sind klein, aber sie sind die einzigen, die zeigen, ob der Newsletter seine Aufgabe erfüllt.

Entschieden wird auf der dritten Ebene. Die ersten beiden erklären, warum die dritte gut oder schlecht aussieht. Das folgende Rechenbeispiel übernimmt die Zahlen aus dem Beitrag Newsletter im B2B und zeigt ein Quartal.

Die Antworten zählt kein Versandwerkzeug. Sie landen im Postfach des Absenders. Deshalb braucht es eine einfache Regel: Jede Antwort auf den Newsletter wird mit der Quelle „Newsletter“ in die Anfragenliste oder das CRM eingetragen. Wie diese Messkette vom ersten Kontakt bis zum Auftrag aussieht, beschreibt der Beitrag Marketing-Erfolg messen.

Wann eine Zahl Handlung verlangt

Kennzahlen sind nur nützlich, wenn vorher feststeht, was bei welcher Veränderung passiert. Die folgende Übersicht gibt Anhaltspunkte. Die Schwellen sind Vorschläge für kleine B2B-Listen, keine belegten Grenzwerte.

Eine besondere Rolle spielen Empfänger, die über Monate gar nicht mehr reagieren. Ihre Zahl wächst in jeder Liste. Wer nicht reagiert, ist nicht unbedingt verloren, aber er sollte gelegentlich gefragt werden, ob der Newsletter noch gewünscht ist. Wie sich solche Abläufe automatisieren lassen, beschreibt der Beitrag Marketing-Automation für Einsteiger.

Was über den Newsletter hinaus folgt

Das Gesetz von Goodhart gilt nicht nur für Newsletter. Jede Zahl, die ein Team erreichen soll, wird früher oder später erreicht, und dann stellt sich die Frage, ob damit auch das Ziel erreicht ist, für das die Zahl stand. Ehrliche Messung heißt deshalb, die Zahl zu wählen, die dem Ziel am nächsten liegt, auch wenn sie klein, langsam und mühsam zu zählen ist. Bei einem Newsletter sind das Antworten und Gespräche.

Die Grenzen der Befunde sind deutlich. Der Feldversuch von Defau und Kollegen betraf einen einzigen Softwareanbieter und zwei Versendungen. Der Versuch von Sahni und Kollegen wurde mit großen Listen durchgeführt, die mit denen eines kleinen Betriebs wenig gemein haben. Wie hoch der Anteil automatisch erzeugter Öffnungen in einer bestimmten Liste ist, lässt sich von außen nicht feststellen. Sicher ist nur die Richtung: Je weiter eine Zahl vom Gespräch entfernt ist, desto vorsichtiger ist sie zu lesen.

Fazit und nächste Schritte

Offen war zu Beginn, welche Kennzahlen eines Newsletters Entscheidungen tragen und welche in die Irre führen. Die Antwort: Öffnungsraten führen am häufigsten in die Irre, weil sie technisch verzerrt sind und, sobald sie zum Ziel werden, nur noch messen, wie neugierig ein Betreff macht. Klicks und Abmeldungen zeigen über mehrere Ausgaben grob, welche Themen tragen. Entscheidungen tragen nur die Zahlen der dritten Ebene: Antworten, Gespräche und Aufträge. Sie sind klein und müssen von Hand gezählt werden, aber sie sind die einzigen, die messen, wofür der Newsletter da ist.

• Im Versandwerkzeug prüfen, ob Öffnungs- und Klickmessung durch eine Einwilligung gedeckt sind.
• Harte Bounces der letzten Ausgaben entfernen und bei Kunden nach neuen Ansprechpartnern fragen.
• Die Öffnungsrate aus dem Monatsbericht streichen oder ausdrücklich als unzuverlässig kennzeichnen.
• Eine Regel festlegen: Jede Antwort auf den Newsletter kommt mit Quelle in die Anfragenliste.
• Klicks je Beitrag über die letzten sechs Ausgaben vergleichen und die zwei stärksten Themen notieren.
• In die nächste Ausgabe eine echte Frage aufnehmen, auf die man mit einem Satz antworten kann.

Ein Newsletter mit zwanzig Prozent Öffnungen und null Antworten ist ein gut zugestelltes Schweigen.