A/B-Tests auf der Firmenwebsite: Wer zählt zur Auswertung, und was gilt als Erfolg?

Schreiben Sie vor dem Entwicklungsauftrag auf, welche Entscheidung ein A/B-Test unterstützen soll. Ein Dienstleistungsbetrieb könnte beispielsweise zwei Anfragewege anhand vollständig eingegangener, brauchbarer Anfragen vergleichen wollen. Klicks auf den ersten Knopf wären dafür ein anderer Maßstab. Unterschiedliche Seiten auszuliefern ist lediglich der technische Teil. Die Untersuchung braucht auch eine vereinbarte Grundgesamtheit, ein Zielereignis und ein Beobachtungsfenster.

Sonst wirkt ein Dashboard präzise, beantwortet aber die falsche Frage. Dieser Beitrag behandelt die Anforderungen an die Auswertung eines Experiments. Er plant keine schrittweise Funktionsfreigabe und verspricht keine zusätzlichen Verkäufe durch einen neuen Seitenentwurf.

Eine Variante erhalten heißt noch nicht, in die Auswertung einzugehen

Ein Besucher kann einer Variante zugeordnet werden, bevor er den tatsächlich veränderten Bereich erreicht. Betrifft der Test einen späteren Schritt im Anfrageformular, belegt ein früher Seitenaufruf nicht unbedingt den Kontakt mit dieser Änderung.

PostHog liefert dafür ein konkretes Produktbeispiel. Laut Dokumentation zur Experimenterstellung ist das standardmäßige Expositionsereignis $feature_flag_called. Stattdessen lässt sich ein eigenes Ereignis verwenden, um die Auswertung auf Personen zu begrenzen, die den relevanten Produktbereich erreicht haben. Diese Wahl verändert die untersuchte Gruppe.

Lassen Sie den vorgesehenen Eintrittspunkt vorführen. Was belegt das Ereignis, und an welcher Stelle wird es erzeugt? Die Auswertung eines Funktionsschalters beweist nicht automatisch, dass jemand eine Seite gelesen hat. Umgekehrt könnte ein Ereignis, das erst nach dem gewünschten Erfolg auftritt, gerade die erfolglosen Verläufe ausschließen. Eine fachkundige Analyseperson sollte den Aufbau prüfen, statt einfach den Nenner mit dem schönsten Ergebnis zu wählen.

Das Geschäftsziel festlegen, bevor Ergebnisse vorliegen

Formulieren Sie eine primäre Frage in Alltagssprache und übersetzen Sie sie in eine Ereignisdefinition. Im erfundenen Anfragebeispiel muss klar sein, ob Erfolg das Absenden, eine vereinbarte Prüfung der Eingaben oder eine spätere fachliche Qualifizierung bedeutet. Das sind unterschiedliche Ergebnisse. Ein Klick auf „Absenden“ darf nicht unbemerkt als Nachweis einer brauchbaren Anfrage gelten.

PostHog unterscheidet primäre Messgrößen für das Hauptziel und sekundäre Messgrößen für Kontext und mögliche Nebenwirkungen. Die Dokumentation empfiehlt eine Festlegung im Voraus, um eine verzerrte Auswertung zu vermeiden. Die Bezeichnung „primär“ macht eine ungeeignete Messung allerdings nicht passend.

Vereinbaren Sie ergänzende Kontrollen, die tatsächlich zum Ziel gehören. Entstehen etwa mehr ungültige Anfragen oder technische Fehler? Halten Sie die Auswahl begründet. Eine wachsende Sammlung unverbundener Kennzahlen nach einem günstigen Ausschlag zu durchsuchen und diesen nachträglich zum ursprünglichen Ziel zu erklären, wäre kein sauberer Entscheidungsweg.

Dem Zielereignis eine bewusste Zeitgrenze geben

Das Ergebnis braucht einen klaren zeitlichen Bezug zur Exposition. Laut PostHogs Metrikdokumentation gehen nur danach auftretende Ereignisse in die Berechnung ein. Konversionsfenster begrenzen zusätzlich, welche späteren Ereignisse zählen.

Für den Betrieb ist ein Detail wichtig: Ein ausdrücklich gesetztes Konversionsfenster wird in PostHog an der ersten Exposition verankert. Spätere Expositionen beginnen oder verlängern es nicht erneut. Für spät aufgenommene Personen kann dieses Fenster auch über das Enddatum des Experiments hinausreichen.

Lassen Sie ein zum tatsächlichen Kundenweg passendes Fenster wählen und halten Sie es im Briefing fest. Keine neuen Teilnehmer mehr aufzunehmen bedeutet also nicht zwangsläufig, dass für alle bereits eine ausgereifte Endbeobachtung vorliegt. Die Anzeige sollte Bezugsdaten und noch laufende Beobachtungszeiträume erkennen lassen, statt beim Abschalten sofort ein endgültiges Ergebnis zu behaupten.

Ausschlüsse und spätere Änderungen nachvollziehbar halten

Die Erstellungsanleitung beschreibt den Umgang mit Personen, die mehrere Varianten erhalten haben. Standardmäßig werden sie ausgeschlossen; alternativ kann die zuerst erhaltene Variante verwendet werden. Interne Nutzer lassen sich anhand der Testkontofilter des Projekts ausschließen. Das sind konkrete Analyseoptionen und keine allgemeingültige Pflichtregel für jedes Unternehmen.

Entscheiden Sie gemeinsam mit der Analyseperson, welche Behandlung gilt. Mitarbeitende, die die Website prüfen, sollten nicht unbeabsichtigt als gewöhnliche Kundenevidenz erscheinen. Unerwartete Variantenverläufe oder Identitätswechsel brauchen eine nachvollziehbare Behandlung statt unsichtbarer Änderungen an Summen.

PostHog erlaubt laut derselben Anleitung, Messgrößen und Einschlusskriterien nach dem Speichern anzupassen, ohne dadurch die sichtbare Variante oder die Datenerfassung zu ändern. Eine neue Auswertung ist deshalb nicht automatisch die ursprünglich geplante. Verlangen Sie eine nachvollziehbare Konfigurationsgeschichte und eine Kennzeichnung neu berechneter Ergebnisse mit geänderten Kriterien.

Erst die Messung testen, dann den Vergleich verwenden

Lassen Sie in einer isolierten Umgebung mit erfundenen Verläufen zeigen:

• Eine Person erhält eine Variante, erreicht aber den Expositionspunkt nicht.
• Die Exposition erfolgt, das Zielereignis bleibt aus.
• Ein Zielereignis liegt vor der Exposition oder außerhalb des Zeitfensters.
• Eine Person begegnet mehreren Varianten.
• Ein internes Testkonto folgt der vereinbarten Ausschlussregel.
• Geänderte Kriterien führen zu einer erkennbar neuen Auswertungsversion.

Die erwarteten Datensätze müssen aus dem vereinbarten Messkonzept folgen. Bestehende Funktionstests belegen weder ausreichende Stichprobengröße noch statistische Gültigkeit oder einen Gewinner. Lassen Sie festlegen, wann die Evidenz ausreicht, und erlauben Sie ausdrücklich ein nicht eindeutiges Ergebnis.

Für ein Website- oder Web-App-Projekt gehören Entscheidung, Eintrittspunkt, Zielereignis, Zeitfenster und verantwortliche Prüfung zusammen. Das ist hilfreicher als der Wunsch nach einem Testwerkzeug mit grüner Gewinneranzeige.

Offizielle Quellen und Grenzen

PostHog: Creating an experiment und Experiment metrics. Die produktspezifischen Beschreibungen beziehen sich auf diese Dokumente. Konfigurationsgeschichte, Abnahmefälle und betriebliche Entscheidungswege sind vorgeschlagene Anforderungen, keine Zusage einer automatisch gültigen Studie. Datenschutz, Einwilligung und produktive Datenerfassung benötigen vor dem Start eine eigene angemessene Prüfung.