Natürlich wissen wir alle, was ein A/B-Test bewirken kann. Aber was ist ein A/A-Test? Wo ist der Unterschied?
Mit einem A/B-Test wissen wir, dass wir eine Webseite (unsere „Kontrolle“) nehmen, eine Variation dieser Seite (die neue „Variante“) erstellen und unseren Website-Besuchern diese beiden unterschiedlichen Erlebnisse bieten können, um dies festzustellen der bessere Darsteller. Der A/B-Testprozess, auch Split-Testing genannt, vergleicht die Leistung des Originals mit der der Variante anhand einer festgelegten Liste von Metriken, um herauszufinden, welche der beiden bessere Ergebnisse liefert.
Dank Experimentierplattformen wie Optimizely Web Experimentation erkennen viele von uns auch den unbestreitbaren Wert, zwei Variationen einer Webseite testen zu können, ohne den Back-End-Code zu ändern. Sprechen Sie über Speed-to-Value!
Was ist also ein A/A-Test? Und warum müssen wir diese Art von „Test“ in die Planungs- und Strategiephasen unseres Experimentierprogramms integrieren?
Was ist ein A/A-Test?
Der A/A-Test steht vor allen anderen Tests auf der Experimentierplattform und dient im Wesentlichen als Die Übungslauf Ihres Experimentierprogramms. Im Gegensatz zu einem A/B-Test erstellt der A/A-Test keine Variation der ursprünglichen Webseite. Stattdessen testet das A/A-Modell die ursprüngliche Webseite mit einer Kopie von sich selbst, um zu prüfen, ob möglicherweise Probleme auftreten könnten, bevor ein tatsächlicher Test auf der Plattform durchgeführt wird.
Während ein A/B-Test also zwei verschiedene Versionen einer Webseite vergleicht (egal wie gering der Unterschied zwischen den beiden ist); ABeim A/A-Test werden zwei Versionen einer Webseite verglichen, die genau gleich sind. Bei einem A/A-Test gibt es keinen Unterschied zwischen der Kontrolle und der Variante (Version A = Version A). Sie testen im Grunde eine Webseite gegen sich selbst!
Das wirft natürlich die Frage auf …
Warum ist ein A/A-Test sinnvoll?
Der A/A-Test dient hauptsächlich einem zweifachen Zweck:
- Plattformebene: Zum Testen der Funktionalität der Web-Experimentierplattform
- Experimentelle Ebene: Zum Testen der Gültigkeit der Datenerfassung und des Testaufbaus
Ein A/A-Test ist daher gibt Ihnen die Gewissheit, dass Ihre Plattform für die Durchführung Ihres Experimentierprogramms bereit ist bevor es in großem Umfang zum Einsatz kommt.
Wann sollte ein A/A-Test verwendet werden?
Der A/A-Test sollte daher der erste Test sein, den Sie unmittelbar nach der Implementierung des Optimizely-Javascript-Tags auf der Website starten.
Hinweis: Wenn Sie mehrere Websites haben und/oder Single-Page-Application-Webseiten (SPA) verwenden, sollten Sie immer dann einen A/A-Test durchführen, wenn das Tag neu in den Header-Code implementiert wurde, auch wenn Sie für alle Erlebnisse dasselbe Tag verwenden .
So richten Sie einen A/A-Test ein
Sobald das Tag installiert wurde, können Sie mit der Einrichtung des A/A-Tests beginnen. Ähnlich wie Sie einen A/B-Test erstellen würden, beginnt die Erstellung eines A/A-Tests mit einem Klick auf Neues Experiment erstellen Klicken Sie auf die Schaltfläche in der oberen rechten Ecke von Optimizely Experimentation und wählen Sie dann aus A/B-Test aus dem Dropdown-Menü. (Ja, A/B; aber unser B bleibt für diesen Test unser A.)
Die Einrichtung eines A/A-Tests ist relativ einfach und schnell, sollte jedoch die primären und sekundären Metriken berücksichtigen, die in dieser Art von Test enthalten sein sollten.
A/A-Testmetriken
Auch wenn es verlockend sein mag, so viele Kennzahlen wie möglich einzubeziehen, sollten Sie davon absehen! Denken Sie daran, dass Optimizely nicht mehr als fünf Gesamtmetriken pro Test empfiehlt, um Testverzögerungen zu vermeiden: die primäre Metrik plus 2–4 sekundäre Metriken.
Die Metriken in einem A/A-Test sollen Folgendes bewirken Suchen Sie nach auffälligen Unterschieden zwischen den erfassten Daten von beiden Webseiten. Mit anderen Worten: Mit dem Test können Sie die Ergebnisse der Kontrolle A mit den Ergebnissen der Variante A vergleichen, um sicherzustellen, dass die Daten vergleichsweise gleich sind.
Seitenmetriken
Metriken auf Seitenebene, z Seitenansicht Und Absprungrate werden im Allgemeinen in einen A/A-Test einbezogen, da diese Metriken grundlegende, aber wichtige Datenpunkte erfassen. Mithilfe der aus diesen Metriken gesammelten Daten können Sie schnell überprüfen, ob Ihre Website über den Javascript-Code Daten an Optimizely Web Experimentation sendet.
Wenn in den Ergebnissen eines A/A-Tests keine Seitenaufrufe erfasst werden, wissen wir sofort, dass ein Problem behoben werden muss.
Hinweis: Um dieses Problem zu beheben, überprüfen Sie noch einmal die Implementierung des Optimizely-Tags, um sicherzustellen, dass es im Header-Code Ihrer Website erscheint.
Klicken Sie auf & benutzerdefinierte Metriken
Metriken, die bestimmte Benutzeraktionen verfolgen, können ebenfalls hilfreich sein, wenn Sie sie zu Ihrem A/A-Test hinzufügen. Diese Metriken können Folgendes umfassen: Klicken Sie auf ein Ereignis und/oder a Transaktionsereignis Dadurch erfahren Sie, ob eine bestimmte Benutzeraktion von der Experimentierplattform korrekt erfasst wurde.
Abhängig von Ihrer Website können einige dieser Ereignisse auch kundenspezifisch entwickelt sein. Dies ist ein weiterer Grund, sie in Ihren A/A-Test einzubeziehen, um sicherzustellen, dass diese benutzerdefinierten Ereignisse so entwickelt wurden, dass sie die Art von Daten liefern, die Sie erwarten .
Als allgemeine Faustregel sollten Sie Metriken verwenden, die wahrscheinlich in den meisten Tests Ihres Experimentierprogramms vorkommen würden. Fügen Sie die Metriken hinzu, deren Einbeziehung am sinnvollsten wäre: diejenigen, die Ihnen bei der Validierung der Funktionalität Ihrer Experimentierplattformen und der Genauigkeit der Metriken helfen können, die Daten für Ihre geplanten Tests sammeln.
Brauchen Sie Hilfe bei der Entscheidung? Lesen Sie: „So bestimmen Sie, welche Testmetriken ausgewählt werden sollen“
Worauf sollte ich bei einem A/A-Test achten?
Das ideale Ergebnis eines A/A-Tests besteht darin, ähnliche Ergebnisse zwischen den beiden gleichen Versionen der Webseite zu sehen. Da ein A/A-Test die Metriken zweier identischer Webseiten miteinander vergleicht, ist zu erwarten, dass es zwischen ihnen keinen Unterschied in den Metrikwerten gibt.
Ein erfolgreicher A/A-Test würde nahezu die gleichen Ergebnisse zwischen der Kontrolle (A) und der „Variante“ (A) zeigen.
Während die gesammelten Ergebnisse möglicherweise nicht vorhanden sind genau Dennoch dürften die Unterschiede zwischen den Ergebnissen der Kontrolle A und denen der Variante A sehr gering sein. Wenn in den A/A-Testergebnissen für eine Metrik größere Unterschiede festgestellt werden, sollten wir uns die Einrichtung dieser Metrik genauer ansehen. (Auch hier gilt: Wenn die Seitenaufrufe einfach nicht in den Ergebnissen der Plattformen erfasst werden, besteht unser erster Schritt darin, die Installation des Tags auf der Website zu überprüfen.)
Keine statistische Signifikanz
Ähnliche Ergebnisse zwischen den beiden Erfahrungen sollten auch verhindern, dass eine Metrik statistische Signifikanz erreicht. Daher dient die statistische Signifikanz als hilfreicher Leitfaden, wenn wir die Ergebnisse eines A/A-Tests überprüfen.
Im Idealfall suchen wir nach der statistischen Signifikanz einer „flachen Linie“ für alle Metriken während der gesamten Dauer eines A/A-Tests. Wenn die statistische Signifikanz ansteigt, können wir ein Problem markieren, das behoben werden muss.
Tipp: Verwenden Sie die folgende Diagrammansicht in Optimizely Web Experimetation, um nach Anstiegen der statistischen Signifikanz Ihrer A/A-Testmetriken zu suchen.
Anwendungsfälle für A/A-Tests
Der A/A-Test ist mehr eine nützliche Übung als ein „Test“ selbst, er ist aus mehreren Gründen ein praktischer Schritt, den Sie in Ihr Experimentierprogramm aufnehmen sollten. Sie können diesen Test beispielsweise verwenden, um:
- Bestätigen Sie die Funktionalität Ihrer Experimentierplattform
- Bestimmen Sie die Machbarkeit der Durchführung eines Tests auf einer bestimmten Webseite
- Validieren Sie die Genauigkeit der Leistungsmetriken der Software
- Überprüfen Sie die Nachverfolgung und Analyse Ihrer primären und sekundären Kennzahlen
- Erhalten Sie Basisdaten für diese Metriken, die zur Prognose von Zielen verwendet werden können
Oder natürlich alles davon! Wie Sie sehen, überprüft der A/A-Test nicht nur die Einsatzbereitschaft Ihrer Software, sondern ermöglicht Ihnen auch eine stichprobenartige Überprüfung der Einrichtung einzelner Tests. Nutzen Sie diese Art von Test als „Probelauf“ vor Ihrem ersten A/B- oder multivariaten Test, um die Sicherheit zu gewinnen, die Sie für den erfolgreichen Start Ihres Experimentierprogramms benötigen!
15. April 2024
