All ContentHarvard business manager - Kluger experimentieren
Harvard business manager - Kluger experimentieren
EXPERIMENTE TITEL
FOTO: JONATHAN KNOWLES / GETTY IMAGES
VON RON KOHAVI UND STEFAN THOMKE
DEZEMBER 2017 HARVARD BUSINESS MANAGER
3
in Microsoft-Mitarbeiter hatte 2012 eine Idee, wie
sich in der Suchmaschine Bing die Überschriften
von Werbeanzeigen anders darstellen ließen. Der
Aufwand war gering. Ein einzelner Entwickler
hätte sie in wenigen Tagen umsetzen können –
aber es war eben nur einer von Hunderten Vorschlägen, und die zuständigen Manager stuften
ihn als unwichtig ein. Also lag die Idee mehr als
sechs Monate lang in einer Schublade. Dann sah
ein Softwareingenieur, dass es hier um geringe
Programmierkosten ging, und führte ein kontrolliertes Experiment durch, um die Wirkung der
vorgeschlagenen Änderung zu testen. Er verwendete dafür einen A/B-Test.
Die neue Überschriftenvariante sorgte binnen
weniger Stunden für ungewöhnlich hohe Einnahmen und löste einen „Zu schön, um wahr zu sein“Alarm aus. So eine Warnmeldung signalisiert normalerweise einen Softwarefehler. In diesem Fall
aber nicht. Eine genauere Prüfung zeigte, dass die
Veränderung den Umsatz um erstaunliche 12 Prozent erhöht hatte – was aufs Jahr gerechnet allein
in den USA mehr als 100 Millionen Dollar bedeutete –, ohne die zentralen Kenngrößen für das
Nutzererlebnis zu beeinträchtigen. Noch nie in
der Geschichte der Suchmaschine Bing hatte eine
Idee eine derartige Umsatzsteigerung bewirkt,
4
HARVARD BUSINESS MANAGER DEZEMBER 2017
und trotzdem hatte bis zu jenem Test niemand das
Potenzial erkannt.
Das Beispiel zeigt, wie schwierig es sein kann,
das Potenzial neuer Ideen zu bewerten. Und, was
genauso wichtig ist: Es verdeutlicht, wie nützlich
es ist, viele Tests billig und gleichzeitig durchführen zu können – eine Erkenntnis, die sich allmählich bei immer mehr Unternehmen durchsetzt.
Heute führen Microsoft und eine Reihe anderer
bekannter Konzerne – darunter Amazon, Google,
Booking.com und Facebook – jedes Jahr mehr als
10 000 kontrollierte Onlineexperimente durch,
und an vielen dieser Tests nehmen Millionen Nutzer teil. Auch Start-ups und Unternehmen ohne
digitale Wurzeln, wie Walmart, Hertz oder Singapore Airlines, führen regelmäßig solche Tests
durch, wenngleich in kleinerem Rahmen. Diese
Unternehmen haben erkannt, dass die Grundeinstellung, alles auszuprobieren, sich in überraschendem Umfang lohnt. Bing haben solche
Tests geholfen, Monat für Monat umsatzsteigernde Verbesserungen umzusetzen – zusammengenommen erhöhten sie den Erlös je Suche um
10 bis 25 Prozent pro Jahr. Diese Optimierungen
sind neben Hunderten anderer Änderungen, die
Bing jeden Monat durchführt, der Hauptgrund
dafür, dass die Suchmaschine profitabel ist und ihren Marktanteil von 8 Prozent im Gründungsjahr
2009 auf inzwischen 23 Prozent steigern konnte.
In einem Zeitalter, in dem das Internet für praktisch alle Unternehmen überlebenswichtig geworden ist, sollten Onlineexperimente nach wissenschaftlichen Methoden zu den Standardverfahren
gehören. Unternehmen, die die dafür nötige Softwareinfrastruktur und die erforderlichen organisatorischen Fähigkeiten aufbauen, können damit
nicht nur Ideen für Websites bewerten, sondern
auch potenzielle Geschäftsmodelle, Strategien,
Produkte, Dienstleistungen und Marketingkampagnen – und das für relativ wenig Geld. Mit kontrollierten Experimenten sind Entscheidungen
keine intuitiven Reaktionen mehr, sondern das Ergebnis eines wissenschaftlichen, faktenbasierten
Prozesses. Ohne sie hätte es viele Durchbrüche
vielleicht nie gegeben, und viele schlechte Ideen
wären umgesetzt worden, nur um wenig später zu
scheitern und sich als Ressourcenverschwendung
zu erweisen.
Dennoch haben wir zu viele Unternehmen angetroffen, darunter auch große digitale Akteure,
die planlos experimentieren, nicht wissen, wie
Tests nach strengen wissenschaftlichen Regeln
funktionieren, oder viel zu wenige solcher Tests
durchführen.
Zusammengenommen haben wir mehr als
35 Jahre darauf verwendet, Experimente zu studieren und zu praktizieren und Unternehmen aus
einem breiten Spektrum an Branchen in diesem
Bereich zu beraten. Was wir dabei gelernt haben,
KOMPAKT
DAS PROBLEM
Beim Entwickeln von
Websites und Apps
stützen sich zu viele
Unternehmen bei
ihren Entscheidungen
auf subjektive
Meinungen statt auf
harte Daten. Dabei ist
es gleich, ob es um
neue Produktfunktionen geht, um Optik
und Handhabung
oder um Marketingkampagnen.
DIE LÖSUNG
Unternehmen sollten
ihre Ideen mit kontrollierten Onlineexperimenten bewerten. Sie
müssen potenzielle
Verbesserungen nach
wissenschaftlichen
Methoden testen,
denn große Investitionen können verpuffen, während manche kleine Änderung
überraschend
hohe Zusatzgewinne
bringen kann.
DIE UMSETZUNG
Führungskräfte
müssen wissen, wie
sie A/B-Tests und
andere kontrollierte
Experimente richtig
planen und durchführen, ihre Aussagekraft gewährleisten,
die Ergebnisse
auswerten und Fallen
umgehen.
Please complete the form to gain access to this content
