Scoring

Je präziser KPIs und Scores sind, desto später können sie berechnet werden. Das ist gut für Personalisierung oder Recommender, aber weniger gut für Management und Steuerung.

Wer steuern will, muss messen – bloß was? Diese Frage stellt sich in noch sehr beweglichen Umfeldern wie News Subscriptions umso mehr. Conversion und Churn liegen auf der Hand. Beide lassen sich mit einfachen Mitteln messen und beide haben den Nachteil, zu spät im Funnel zu liegen, um Steuerung zu ermöglichen. Wenn Conversion stattgefunden hat, ist das zwar schön – die Tatsache liefert aber wenig Hinweise darauf, wie sich andere Conversions erzielen lassen. Churn ist weder schön noch besonders nützlich – es ist dann zu spät, die Abonnenten sind weg und nur schwer zurückzugewinnen. 

Beides sind Ergebnisse, keine Steuerungsinstrumente. 

Artikel- und Userscores sind sind komplexe Kennzahlen, die zu einem früheren Zeitpunkt bessere und nützlichere Einsichten liefern sollen. Verlage, Analysten, oft auch Paywall-Anbieter entwickeln unterschiedliche Scores, die tweilweise völlig unterschiedliche Ansätze verfolgen. 

Ich unterteile diese Ansätze in drei große Gruppen. 

Die erste Gruppe sind die Data Science-Scores, die aus einer Fülle von Faktoren berechnet werden. Sie sind auf einen bestimmten Zweck hin ausgerichtet (etwa Conversion-Wahrscheinlichkeit) und liefern dank dieser Präzision oft eine hohe Trefferquote. Sie eignen sich gut für den Einsatz in Recommender- und Personalisierungssystemen, allerdings bringen sie zwei wesentliche Nachteile mit sich: Ihre Berechnung ist datenintensiv und dauert einige Zeit, deshalb müssen zu bewertende Storys eine Weile online sein, um gescored zu werden. Im Nachrichtenbusiness ist die Story dann oft schon erledigt. Der zweite, bei Versuch, die Arbeit der Redaktion zu optimieren, wesentlich relevantere Faktor: Sie sind zu komplex, um Storys danach auszurichten. Als Ergebnis von Unsupervised Machine Learning-Prozessen richten sie weniger nach menschenverständlichen Kriterien, die eine Eigenschaft der Story oder ihrer Aufbereitung sind, ausschlaggebend ist die Ähnlichkeit zu Storys, die schon einmal zum gewünschten Ziel geführt haben. 

Data Science-Scores können inspirierend sein, aber sie sind für eine Redaktion nicht viel nützlicher als der Aufruf, einfach mehr bessere Storys zu schreiben. In der Seitensteuerung – was bleibt auf prominenten Startseitenplätzen, was sollte Newsletter-Aufmacher werden oder welche Themen sollten mit neuen Storys weiterverfolgt werden – sind sie allerdings sehr effizient. 

Die zweite Gruppe sind Makro-Scores, die ebenfalls neben Merkmalen der Story erweiterte Kriterien wie die Position im Funnel, die Nutzung in verschiedenen Audiences oder andere Merkmale der User einbeziehen. Oft sind diese Scores nicht ganz einfach auf konkrete Inhalte runterzubrechen. Bei weitgehend statischen Inhalten gelingt das eher, bei sehr dynamischen häufig aktualisierten Seiten, deren Inhalte geringe Halbwertszeit haben, ist das schwieriger. Solche Ansätze räumen Redaktionen deutlich mehr Handlungsspielraum ein: Neben Merkmalen der Story und ihrer Aufbereitung rücken sie das Publikum in den Mittelpunkt. Mit Makro-Scores müssen sich Redaktionen die Frage stellen, für wen sie schreiben und was konkrete Storys bei einzelnen Audiences leisten sollen. Bei neuen Usern erregen sie vielleicht Aufmerksamkeit, bei bestehenden Usern tragen sie zu Retention bei – und in dieser Perspektive entpuppen sich auch Storys als nützlich, die möglicherweise selbst nichts zu Conversions beitragen. 

Kriterien für solche Scores können Metriken wie Pageviews, Verweildauer, Scrolltiefe oder andere Werte sein, mit denen sich Interesse messen lässt. Diese können für unterschiedliche Audiences gewertet werden. Ziel ist weniger, Scores für verschiedene Audiences messen zu können (auch das kann nützlich sein). Storys, die in unterschiedlichen Audiences messbare Scores erzielen, können noch einmal besser bewertet werden – sie sind effizienter, weil sie ihre Zwecke auf mehreren Ebenen erfüllen. Anderes Kriterium solcher Makro-Scores kann die Position einer Story oder eines Format sim Funnel sein: Podcasts konvertieren nicht, aber sie bieten zusätzliche Touchpoints, die zur Userbindung beitragen können. Newsletter sind effiziente Kanäle für den Support von Conversions. Inhalte können damit unterschiedlich danach bewertet werden, wie weit sie erstens selbst conversiontauglich sind und wie gut sie zweitens dazu beitragen, User zu weiteren Touchpoints weiterzuleiten. Metriken dafür können Recirculation Rates, Einbindung von Audio- oder Videoelementen, Serien oder ähnliche Kriterien sein. 

Anders als Data Science-Scores sind Makro-Scores verständlich, sie beruhen auf weniger und konkret beobachtbaren Metriken. Damit wird Steuerung möglich. Die Kombination der Metriken kann allerdings Schwierigkeiten mit sich bringen. Sie kommen teilweise auf unterschiedlichen Messsystemen, liegen in unterschiedlichen Frequenzen vor, sind damit unter Umständen nicht immer gleich aktuell und nicht in gleichen Formaten verfügbar. Meistens sind Lade- und Aggregationsprozesse notwendig; Makro-Scores setzen zumindest einfache Datawarehouse-Infrastrukturen voraus. Eine weitere Hürde liegt in Organisationsfragen und Kompetenzen der Redaktion. Makro-Scores berühren mehrere Aspekte, die meist nicht in direkter Verantwortung der Redaktion liegen. Makro-Scores können also nur von zusammengesetzten Teams erarbeitet und durchgesetzt werden und dabei wird schnell der Punkt erreicht, an dem Management Support notwendig wird, weil die Organisation in Zukunft anderes arbeiten müsste, um die Erkenntnisse aus dem Scoring sinnvoll einsetzen zu können. 

Die dritte Art von Scores sind Mikro-Scores. Die lassen sich einfacher aus weniger Kennzahlen berechnen, stammen meist aus nur einem Tracking-Tool und beschreiben Eigenschaften der Story. Mögliche Metriken sind Reichweitenkennzahlen, Verweildauer (idealerweise kombiniert mit erwarteten Lesedauern), Scrolltiefen, Conversions, User Needs oder Attribution und andere messbare Indikatoren. Die Berechnung und Gewichtung muss im Licht der eigenen Ziele Sinn ergeben und stellt die größere Herausforderung dar als die Sammlung von Daten. Mikro-Scores lassen sich in eine Kennzahl kondensieren und haben den Vorteil, dass auch jeder einzelne Redakteur mit seiner Arbeit direkten Einfluss auf die Kennzahlen nehmen kann. Offene Frage ist aber, wie effizient solche Mikro-Scores sind. Sie können als Zielvorgaben instrumentalisiert werden, um unschlüssige Redakteure anzuleiten. Und sie eignen sich, um die Arbeit mit Zahlen und Zielen zu lernen. Mikro-Scores allein weisen aber meist nicht den Weg zu mehr Umsatz. Dazu ist auch die Einbindung der User und die Entwicklung userorientierter KPIs notwendig. Das leisten Makro-Scores.

Letztere sind weitaus effizienter und aussagekräftiger. Aber sie brauchen Entscheidungen als Grundlage, die nicht in der Redaktion allein getroffen werden können.