Landingpages testen: was sich mit wenig Besuchern prüfen lässt

Warum scheitern A/B-Tests auf kleinen Landingpages?

Viele Ratgeber empfehlen für Landingpages dasselbe Verfahren: zwei Varianten bauen, Besucher zufällig verteilen, die bessere behalten. Das ist methodisch sauber, setzt aber etwas voraus, was den meisten kleinen Betrieben fehlt: Besucher in großer Zahl. Eine Landingpage für eine Suchanzeige mit 600 Besuchern im Monat und 18 Anfragen liefert nach einem Monat Unterschiede, die fast immer Zufall sind.

Daraus ergibt sich die Frage: Was lässt sich an einer Landingpage mit wenigen Besuchern verlässlich prüfen, und mit welchen Verfahren? Dafür klären wir zuerst, warum klassische Tests an der Besucherzahl scheitern. Danach stelle ich ein Modell aus der Forschung zur Gebrauchstauglichkeit vor, das erklärt, warum wenige Testpersonen viele Probleme finden, und wäge zwei Sichtweisen ab. Am Ende steht eine Reihenfolge von Prüfungen, die ein kleiner Betrieb selbst durchführen kann.

Wie eine Landingpage aufgebaut ist, beschreibt der Beitrag Landingpage aufbauen mit dem Ein-Ziel-Gerüst aus sieben Bausteinen. Dieser Beitrag setzt danach an: wenn die Seite steht und du wissen willst, ob sie funktioniert.

Eine Zahl sagt dir, dass eine Seite nicht funktioniert. Ein Mensch sagt dir, warum.

Wie viele Besucher ein A/B-Test braucht

Bei einem A/B-Test werden Besucher zufällig auf zwei Varianten einer Seite verteilt, und es wird gemessen, welche mehr Anfragen bringt. Damit ein Unterschied nicht zufällig ist, braucht der Test eine Mindestzahl an Besuchern je Variante. Diese Zahl hängt davon ab, wie hoch die Anfragequote ist und wie groß der Unterschied sein soll, den man erkennen will. Je niedriger die Quote und je kleiner der Unterschied, desto mehr Besucher sind nötig.

Der Beitrag Anfragequote der Website messen und verbessern rechnet ein Beispiel durch: Bei einer Quote von 1,2 Prozent und einer erhofften Steigerung auf 1,8 Prozent braucht ein Test gut 5.000 Besucher je Variante, also über 10.000 insgesamt. Bei 2.000 Besuchern im Monat dauert das fünf Monate. Eine Landingpage, die nur aus einer Anzeige gespeist wird, hat oft deutlich weniger Besucher.

Hinzu kommt, dass sich während einer so langen Laufzeit vieles ändert: Saison, Anzeigentexte, Wettbewerb. Ein Ergebnis nach fünf Monaten misst dann nicht nur die Seite. Wer trotzdem früher abbricht, sobald eine Variante vorn liegt, fällt auf den Zufall herein. Der Beitrag Kampagnen auswerten beschreibt diesen Fehler als Glauben an das Gesetz der kleinen Zahlen.

Das Denkmodell: wie wenige Testpersonen viele Probleme finden

Mit wenig Besuchern lässt sich nicht gut messen, welche Variante mehr Anfragen bringt. Gut prüfen lässt sich dagegen, ob eine Seite Hindernisse enthält: eine Überschrift, die niemand versteht, einen Knopf, den niemand findet, ein Formular, das abschreckt. Für solche Prüfungen gibt es in der Forschung zur Gebrauchstauglichkeit, englisch usability, ein bekanntes Modell.

Nielsen und Landauer (1993) werteten elf Studien aus und zeigten, dass sich das Entdecken von Problemen gut als Zufallsprozess beschreiben lässt. Jede Testperson entdeckt ein bestimmtes Problem mit einer gewissen Wahrscheinlichkeit. Die zweite Person findet teils dieselben Probleme wie die erste, teils neue. Mit jeder weiteren Person kommen weniger neue Probleme hinzu. Der Anteil gefundener Probleme lässt sich deshalb mit einer einfachen Formel schätzen: eins minus die Wahrscheinlichkeit, dass alle Testpersonen ein Problem übersehen. Ich nenne das im Folgenden das Entdeckungsmodell.

Aus dem Modell stammt die verbreitete Regel, fünf Testpersonen genügten. Davids, Harvey, Halperin und Chikte (2015) ordnen sie ein: Die Regel setzt voraus, dass jede Person ein Problem mit etwa 30 Prozent Wahrscheinlichkeit entdeckt. Dann finden fünf Personen im Schnitt rund 80 Prozent der Probleme. Ist eine Anwendung schwieriger oder sind die offensichtlichen Fehler schon behoben, sinkt die Wahrscheinlichkeit, und fünf Personen reichen nicht mehr. In ihrer eigenen Untersuchung mit 15 Ärzten, die eine Lernanwendung testeten, wären für 80 Prozent der schweren Probleme zehn Personen nötig gewesen. Mit fünf Personen hätten sie im Schnitt gut die Hälfte gefunden, je nach Auswahl der Personen aber auch nur ein Viertel.

Für eine Landingpage ist das eine gute Nachricht mit einer Einschränkung. Eine Landingpage ist einfacher als eine Lernanwendung. Grobe Fehler wie eine unverständliche Überschrift fallen fast jedem auf. Feinere Fehler, etwa ein Einwand, den nur Einkäufer haben, findet nur, wer die richtigen Personen testet.

Zahlen oder Menschen: zwei Sichtweisen

Die erste Sichtweise hält nur Zahlen für belastbar. Was Testpersonen sagen, sei nicht, was echte Besucher tun. Wer im Test weiß, dass er beobachtet wird, liest gründlicher und klickt anders. Außerdem fand die Forschung einen Beobachtereffekt: Hertzum, Molich und Jacobsen (2014) ließen 19 erfahrene Fachleute dieselben aufgezeichneten Tests mit fünf Nutzern auswerten. Bei moderierten Sitzungen meldete jeder im Schnitt nur ein Drittel der Probleme, die alle zusammen fanden. Was gefunden wird, hängt also auch davon ab, wer hinsieht.

Die zweite Sichtweise hält Beobachtung bei kleinen Zahlen für das bessere Werkzeug. Eine Anfragequote zeigt, dass etwas nicht stimmt, aber nicht was. Fünf Menschen, die beim Lesen laut denken, zeigen, an welcher Stelle sie zögern und warum. Das ist bei wenigen Besuchern die einzige Information, die schnell und belastbar genug ist, um eine Änderung zu begründen.

Ich halte beide Sichtweisen für berechtigt und ziehe daraus eine Reihenfolge. Zuerst wird beobachtet, um Hindernisse zu finden. Danach wird gemessen, ob die Beseitigung der Hindernisse die Anfragen über einen festen Zeitraum verändert. Den Beobachtereffekt mildert man, indem mindestens zwei Personen die Tests auswerten und ihre Notizen vergleichen.

Die Prüftreppe: verstehen, finden, vertrauen, handeln

Für die Praxis schlage ich eine feste Reihenfolge vor, die Prüftreppe. Sie folgt dem Weg, den ein Besucher auf einer Landingpage geht. Jede Stufe hat ein eigenes, einfaches Prüfverfahren, und jede setzt die vorige voraus: Wer nicht versteht, worum es geht, sucht keinen Knopf.

1. Stufe 1: Verstehen

   Fünf-Sekunden-Test: Zeige die Seite fünf Sekunden, verdecke sie und frage, worum es ging und für wen das Angebot ist. Wer das nicht sagen kann, hat die Überschrift nicht verstanden.

2. Stufe 2: Finden

   Klickaufgabe: Frage, wo die Person klicken würde, um eine Anfrage zu stellen oder den Preis zu sehen. Zögern oder falsche Klicks zeigen, dass der nächste Schritt nicht sichtbar ist.

3. Stufe 3: Vertrauen

   Lautes Denken: Die Person liest die Seite und sagt, was ihr durch den Kopf geht. Achte auf Sätze wie „Das glaube ich nicht“ oder „Was kostet das?“. Das sind fehlende Belege und offene Einwände.

4. Stufe 4: Handeln

   Formular ausfüllen lassen, bis kurz vor dem Absenden: Welches Feld lässt zögern, welche Angabe fehlt der Person, was erwartet sie danach?

Alle vier Stufen lassen sich in einer Sitzung von etwa 20 Minuten je Person prüfen. Fünf Sitzungen passen in einen Nachmittag. Geeignete Testpersonen sind Menschen, die zur Zielgruppe gehören, aber die Seite nicht kennen: Kunden, die du um einen Gefallen bitten kannst, Kontakte aus dem Netzwerk, Bekannte aus der Branche. Kollegen aus dem eigenen Betrieb eignen sich nicht, weil sie das Angebot schon kennen.

Was du mit echten Besuchern trotzdem messen kannst

Auch mit wenigen Besuchern liefern echte Zahlen Hinweise, wenn man sie richtig liest. Drei Verfahren eignen sich besonders.

• Der Vorher-nachher-Vergleich über feste Zeiträume. Eine Änderung, dann mindestens drei Monate abwarten und mit den drei Monaten davor vergleichen, bei saisonalem Geschäft auch mit dem Vorjahr. Das ist weniger sauber als ein A/B-Test, aber bei kleinen Zahlen das ehrlichere Verfahren.
• Der Verlauf über die Seite. Wie viele Besucher scrollen bis zum Ablauf, wie viele beginnen das Formular, wie viele schicken es ab? Ein Abbruch an einer bestimmten Stelle zeigt, wo die Prüftreppe ansetzen sollte.
• Die Frage an die Anfragenden. Wer angefragt hat, kann sagen, was ihn überzeugt und was ihn fast abgehalten hätte. Zwei Anrufe im Monat ersetzen bei kleinen Zahlen jede Statistik.

Wie ein Formular gestaltet sein sollte, damit auf dem letzten Meter niemand abspringt, beschreibt der Beitrag Der Anfrageweg auf der Website. Ob Anzeige und Seite dasselbe versprechen, prüft die Drei-Versprechen-Probe im Beitrag Anzeigen und Zielseite zusammendenken.

Was über die einzelne Landingpage hinaus folgt

Der Befund lässt sich verallgemeinern. Kleine Betriebe haben selten das Problem, zu wenig zu messen, sondern das falsche zu messen: Sie suchen in kleinen Zahlen nach Gewinnern, statt in wenigen Gesprächen nach Gründen. Beobachtung ist kein Ersatz für Messung, sondern ihre Voraussetzung. Erst wer weiß, warum Besucher zögern, kann eine Änderung vornehmen, deren Wirkung sich später zu messen lohnt.

Die Grenzen der Befunde sind deutlich. Das Entdeckungsmodell wurde an Software und Anwendungen entwickelt, nicht an Landingpages. Die Untersuchung von Davids und Kollegen betraf eine komplexe medizinische Lernanwendung, also das Gegenteil einer einfachen Angebotsseite. Testpersonen verhalten sich anders als echte Besucher, und fünf Bekannte aus der Branche sind keine repräsentative Stichprobe. Was die Tests leisten, ist, Hindernisse sichtbar zu machen. Ob ihre Beseitigung die Anfragen erhöht, zeigt erst der Vergleich über die Zeit.

Was bleibt und wie du anfängst

Zu klären war, was sich an einer Landingpage mit wenigen Besuchern verlässlich prüfen lässt. Die Antwort: Nicht, welche Variante mehr Anfragen bringt, dafür fehlen die Besucher. Wohl aber, ob Menschen die Seite verstehen, das Wichtige finden, ihr vertrauen und den nächsten Schritt gehen können. Dafür reichen nach dem Entdeckungsmodell wenige Testpersonen, sofern es die richtigen sind und mehr als eine Person auswertet. Die Wirkung der Änderungen misst du danach über feste Zeiträume und mit Fragen an die, die angefragt haben.

• Die Landingpage mit den meisten Besuchern auswählen und ihren Verlauf über einen Monat notieren.
• Fünf Testpersonen aus der Zielgruppe finden, die die Seite nicht kennen.
• Die vier Stufen der Prüftreppe in Sitzungen von 20 Minuten durchgehen.
• Die Notizen zu zweit auswerten und nur Befunde übernehmen, die mindestens zwei Personen betreffen.
• Die zwei wichtigsten Änderungen umsetzen und das Datum festhalten.
• Nach drei Monaten die Anfragequote mit den drei Monaten davor vergleichen.

Wer wenige Besucher hat, sollte sie nicht zählen, bevor er ihnen zugesehen hat.