Klick ist nicht gleich Antwort: Ein Beobachtungsprotokoll für den Erfolg der Suche
„Die Suche funktioniert, 80 Prozent klicken auf ein Ergebnis.“ Solche Sätze klingen solide, sagen aber wenig: Wer auf das erste Ergebnis klickt und sofort zurückkehrt, hat vielleicht gerade festgestellt, dass es nicht passt. Dieser Text schlägt ein Protokoll vor, das beobachtete Suchaufgaben mit einer eigenen Kategorie für Unklares führt. Die Zahlen im Beispiel sind erfunden und dienen nur der Rechenlogik.
Das Prinzip
Sie beobachten eine Aufgabe („Finde die Öffnungszeiten der Werkstatt“), nicht nur ein Ereignis. Ein Klick ist Ereignis, eine Antwort ist das Ergebnis der Aufgabe. Das Protokoll hält fest, was Sie wissen und was nicht.
Das Artefakt: Beobachtungs und Uneindeutigkeitsprotokoll
| Nr. | Aufgabe | Beobachtete Schritte | Ergebnis | Beleg |
|---|
Erlaubte Ergebnisse: Erfolg (Person nennt oder nutzt die gesuchte Antwort), Misserfolg (Person gibt auf, sagt, nichts gefunden zu haben, oder wählt eindeutig Falsches), uneindeutig (Verhalten lässt beide Deutungen zu).
Entscheidungszweige für die Einordnung
Zweig 1, Klick, danach Aufgabe erledigt (zum Beispiel Kontaktaufnahme mit dem richtigen Anliegen): Erfolg, wenn die Person es bestätigt oder die Handlung eindeutig passt.
Zweig 2, Klick, schnelle Rückkehr, neue Formulierung: nicht automatisch Misserfolg. Wenn die Person danach fündig wird, ist der erste Versuch ein Teilmisserfolg, der Endausgang Erfolg. Notieren Sie beides.
Zweig 3, Klick, danach Verlassen der Seite: uneindeutig. Es kann Zufriedenheit oder Aufgabe sein.
Zweig 4, kein Klick, aber Antwort im Ergebnisausschnitt gelesen: kann Erfolg sein, nur durch Nachfrage belegbar.
Durchgespieltes Beispiel (hypothetisch)
Sie beobachten 20 Aufgaben. Ergebnis nach Protokoll: 9 klare Erfolge, 4 klare Misserfolge, 7 uneindeutig. 9 + 4 + 7 = 20. Statt „45 Prozent Erfolg“ zu melden, berichten Sie eine Spanne: Erfolg liegt zwischen 9 von 20 (wenn alle offenen Fälle Misserfolge waren) und 16 von 20 (wenn alle offenen Fälle Erfolge waren). Ein Misserfolg liegt zwischen 4 und 11 von 20. Die Spanne ist breit, und das ist die ehrliche Aussage.
Dann verkleinern Sie die Unsicherheit gezielt: Bei den 7 offenen Fällen fragen Sie, wo möglich, nach. Angenommen, bei 5 gelingt das, davon 3 Erfolge und 2 Misserfolge; 2 bleiben offen. Neue Summe: Erfolge 12, Misserfolge 6, offen 2, zusammen 20. Spanne Erfolg: 12 bis 14 von 20.
Was Sie nicht daraus ableiten
Bei einer kleinen, ausgewählten Beobachtung ist das keine Aussage über alle Besucher. Das Protokoll zeigt Muster („Öffnungszeiten werden oft nicht gefunden“), keine Prozentwerte für die Gesamtheit. Vergleichen Sie Beobachtungen vor und nach einer Änderung nur dann, wenn Aufgaben und Personenkreis ähnlich sind.
Stoppbedingungen
Hören Sie auf, Prozentwerte zu berichten, wenn mehr als ein Drittel der Fälle uneindeutig bleibt und keine Nachfrage möglich ist. Berichten Sie dann nur die Spanne und die offenen Fragen. Beenden Sie die Messreihe, wenn die Aufgaben nicht mehr denen echter Besucher ähneln.
Vorgeschlagene Abnahmetests (nicht durchgeführt)
- Zwei Personen ordnen dieselben zehn Protokollzeilen unabhängig ein und vergleichen die Abweichungen.
- Prüfen, dass Erfolg, Misserfolg und uneindeutig zusammen immer die Gesamtzahl ergeben.
- Jede Erfolgszeile muss einen Beleg tragen, der nicht allein der Klick ist.
- Eine Auswertung ohne die uneindeutigen Fälle und eine mit ihnen anfertigen und beide Spannen nebeneinander stellen.
- Die Aufgabenformulierung prüfen: Verrät sie schon den Suchbegriff und verfälscht so das Ergebnis?
Das Protokoll ist bewusst unspektakulär. Es verhindert vor allem, dass ein Klick still zur Antwort erklärt wird.