Split-Test

Ein Split-Test, auch A/B-Test genannt — auf Deutsch geteilter Versuch —, zeigt zwei Fassungen gleichzeitig verschiedenen Gruppen und misst, welche besser wirkt.

Beispiel:
Zwei Betreffzeilen für eine Einladung standen zur Wahl. Die Runde diskutierte eine halbe Stunde, dann entschied die lauteste Meinung.

Beim Split-Test bekommt die eine Hälfte der Empfänger Fassung A, die andere Fassung B, im selben Zeitraum. Gemessen wird eine vorher festgelegte Zahl: die Zahl der Anmeldungen.

Ergebnis: A brachte 3,1 Prozent, B brachte 4,8 Prozent. Das ist keine Meinung mehr, sondern eine Zahl — und sie stand nach zwei Tagen fest.

Wichtig ist, nur eine Sache zu ändern. Wer Betreff und Absender gleichzeitig tauscht, weiß hinterher nicht, woran es lag.

Und die Menge muss reichen. Bei 40 Empfängern je Gruppe ist ein Unterschied von einem Prozentpunkt Zufall. Als grobe Faustregel gilt: unter einigen hundert je Gruppe lohnt sich der Aufwand nicht.

Vorteile:
+ die Entscheidung kostet zwei Tage statt einer Diskussion, und das Ergebnis lässt sich nicht wegdiskutieren
+ beide Fassungen laufen gleichzeitig — dadurch wirken Wochentag, Wetter und Jahreszeit auf beide gleich

Hinweise:
Ein Unterschied von wenigen Zehntelprozent bei kleinen Gruppen ist Zufall, keine Erkenntnis. Wer daraus eine Regel macht, hat sich an Rauschen orientiert.
Nicht alles darf geteilt werden. Bei Preisen, Zusagen oder rechtlich bindenden Angaben ist die Ungleichbehandlung von Empfängern ein eigenes Problem.