Viele A/B/N-Test-Auswertungstools suggerieren, dass immer die Conversion Rate optimiert werden sollten. Falsch: Bietest du in deiner A-Variante ein Handy weit unter Einkaufspreis an und in der B-Variante nicht, wird die A-Variante gewinnen. Verfolgt man beide Varianten aber bis zum Ergebnis, wird die weniger ruinöse Variante B gewinnen. Insofern ist vor jedem A/B-Test zu überlegen, welche Zielvariable optimiert werden soll: Warenkörbe pro Besucher (Conversionrate), Umsatz je Besucher, Ergebnis je Besucher, …? Da z.B. die Varianz der Stichproben nun möglicherweise eine ganz andere ist als beim Testen der Conversionrate, sollte die Auswertung mit dem T-Test durchgeführt werden.
Keine Frage, man sollte schon wissen, was man mit einem Test wirklich messen will. Und dafür braucht man wohl eine klare Hypothese. Doch Vorsicht, denn der Test kann ggf. ein Ergebnis liefern, das nicht zu der eigenen Hypothese passt. Dann ist Disziplin gefragt, damit man am Ende nicht die Ergebnisse über den Haufen wirft, „nur“ weil sie nicht zum eigenen Glauben passen. Und das ist nicht so leicht getan wie gesagt, vor allem, wenn man wirklich zentrale Ideen testet.