Lorixen.
DE

KI-Telefonassistent vor dem Start testen: Testanrufe planen

Kurz gesagt: Ein KI-Telefonassistent, der im Probelauf zweimal freundlich einen Termin vereinbart hat, ist noch lange nicht startklar. Bevor echte Kundinnen und Kunden anrufen, sollten Sie festlegen, welche Gesprächssituationen geprüft werden, wie Sie die Ergebnisse festhalten, wer entscheidet und woran Sie „bereit“ erkennen. Die folgenden Fragen helfen, aus ein paar Probeanrufen einen geordneten Test zu machen – unabhängig davon, welches System Sie verwenden.

Ein Anbieter für Sprachassistenten bringt es in seiner Dokumentation auf den Punkt: Weil ein solcher Assistent auf denselben Anrufer unterschiedlich reagieren kann, reicht ein erfolgreicher Testanruf nicht. Genau deshalb lohnt sich etwas Planung vorab.

Die Fragen, die vor dem ersten echten Anruf beantwortet sein sollten

Welche Anliegen muss der Assistent sicher beherrschen?

Schreiben Sie die fünf bis zehn häufigsten Anrufgründe auf, so wie sie im Betrieb wirklich vorkommen. In einer Tischlerei sind das vielleicht: Termin für ein Aufmaß, Frage nach dem Liefertermin, Reklamation, Öffnungszeiten der Ausstellung, Rückruf durch den Chef. Für jedes Anliegen notieren Sie, was am Ende des Gesprächs passiert sein muss – ein Eintrag im Kalender, eine Notiz mit Telefonnummer, eine Weiterleitung. Erst mit diesem Soll-Zustand können Sie einen Test als bestanden oder nicht bestanden werten.

Welche schwierigen Situationen spielen wir bewusst durch?

Die glatten Fälle funktionieren meist. Interessant sind die Ränder. Planen Sie mindestens diese Szenarien ein:

  • Dringender Fall: Ein Kunde meldet einen Wasserschaden oder ein ausgefallenes Gerät. Erkennt der Assistent die Dringlichkeit und verbindet oder benachrichtigt er sofort eine zuständige Person, statt einen Termin in drei Wochen anzubieten?
  • Dialekt und Umgangssprache: Rufen Sie mit breitem Dialekt an, verwenden Sie Ausdrücke wie „Jänner“, „heuer“ oder „Paradeiser“ und nennen Sie Uhrzeiten wie „dreiviertel neun“. Versteht das System das richtig, und bestätigt es die Uhrzeit in eindeutiger Form?
  • Lärm im Hintergrund: Anruf vom Auto mit Freisprecheinrichtung, von der Baustelle, mit Kindern im Hintergrund.
  • Abbrüche und Unterbrechungen: Die Anruferin legt mitten im Satz auf, unterbricht den Assistenten oder beginnt mit einem Anliegen und wechselt zu einem anderen.
  • Wunsch nach einem Menschen: „Ich will mit jemandem Echten reden.“ Was passiert dann – während der Öffnungszeiten und außerhalb?
  • Themen außerhalb des Auftrags: Fragen zu Preisen, die der Assistent nicht nennen soll, oder völlig fremde Anliegen.

Wie prüfen wir: per Text, im Browser oder am echten Telefon?

Viele Plattformen bieten mehrere Testwege. In der Dokumentation eines Anbieters werden etwa ein Text-Chat zum schnellen Ausprobieren, gespeicherte Testszenarien, Anrufe im Browser und echte Telefonanrufe unterschieden. Laut dieser Beschreibung zeigen erst echte Anrufe, wie Weiterleitungen, Tastentöne und die Tonqualität über das Telefonnetz funktionieren. Für den Start heißt das: Prompt-Änderungen dürfen Sie schnell per Text prüfen, die Freigabe sollte aber auf echten Anrufen von echten Handys und Festnetzanschlüssen beruhen.

Wie halten wir die Ergebnisse fest?

Ein einfaches Testprotokoll genügt – eine Tabelle mit diesen Spalten:

Nr. Szenario Wer ruft an Erwartetes Ergebnis Tatsächliches Ergebnis Bestanden? Anmerkung

Ergänzen Sie, wenn vorhanden, den Link zur Aufzeichnung oder zum Gesprächsprotokoll. So lässt sich später nachvollziehen, ob ein Fehler nach einer Änderung behoben ist. Wiederholen Sie wichtige Szenarien mehrmals, denn die Antworten variieren.

Wer ruft an, und wer bewertet?

Lassen Sie nicht nur die Person testen, die den Assistenten eingerichtet hat – sie kennt die „richtigen“ Formulierungen zu gut. Holen Sie Kolleginnen aus dem Büro, einen Lehrling, jemanden mit kräftigem Dialekt, eine ältere Person aus dem Bekanntenkreis. Bewerten sollte am besten jemand, der täglich Kundentelefonate führt, denn diese Person weiß, welche Antwort am Telefon gut ankommt und welche nicht.

Woran erkennen wir, dass der Assistent startklar ist?

Legen Sie das Freigabekriterium vor dem Test fest, nicht danach. Ein Beispiel für eine solche Regel: Alle Notfallszenarien müssen ausnahmslos bestanden sein, die Weiterleitung an einen Menschen funktioniert in jedem Versuch, und bei den übrigen Anliegen gibt es keine Fehler, die zu falschen Terminen oder verlorenen Rückrufnummern führen. Kleinere Holprigkeiten in der Formulierung dürfen bleiben und werden nach dem Start verbessert.

Was passiert, wenn das System ausfällt?

Klären Sie, wohin Anrufe gehen, wenn der Dienst nicht erreichbar ist: auf die Mobilbox, auf ein Handy, an eine Kollegin. Testen Sie diesen Fall genauso wie die anderen, etwa indem Sie den Assistenten testweise deaktivieren und dann anrufen. Notieren Sie, wie lange es dauert, bis jemand im Betrieb merkt, dass etwas nicht stimmt – oft ist das der eigentliche Schwachpunkt. Ebenso wichtig: Wer im Betrieb wird benachrichtigt, wenn eine Notfallmeldung eingeht, und auf welchem Weg?

Wie geht es nach dem Livegang weiter?

Auch nach der Freigabe bleibt Kontrolle nötig. Hören oder lesen Sie in den ersten Wochen täglich einige Gespräche stichprobenartig nach, später wöchentlich. Ein Anbieter empfiehlt in seiner Dokumentation, aus echten Fehlern neue Testfälle zu machen und Tests nach jeder Änderung an Prompt, Stimme, Spracherkennung oder Modell zu wiederholen. Das ist ein guter Grundsatz: Jede Panne im Echtbetrieb landet als neues Szenario in Ihrer Testliste. Ob und wie Gespräche aufgezeichnet werden dürfen und wie Anrufende darauf hingewiesen werden, klären Sie für Ihren Betrieb gesondert.

So gehen Sie den nächsten Schritt an

Reservieren Sie zwei Termine: einen für die Vorbereitung (Anliegen, Szenarien, Protokoll, Freigaberegel) und einen halben Tag für die eigentlichen Testanrufe mit mehreren Personen. Danach wird nachgebessert und ein kürzerer zweiter Durchgang gemacht. Erst wenn das Freigabekriterium erfüllt ist, schalten Sie die Rufumleitung auf den Assistenten – am besten zunächst nur außerhalb der Öffnungszeiten, bevor er auch tagsüber annimmt.

Häufige Fragen

Wie viele Testanrufe brauche ich?

Eine fixe Zahl gibt es nicht. Entscheidend ist, dass jedes Szenario mehrmals und von verschiedenen Personen durchgespielt wird, weil die Antworten von Gespräch zu Gespräch variieren können.

Reicht es, im Text-Chat zu testen?

Für schnelle Änderungen ja, für die Freigabe nein. Spracherkennung, Dialekt, Unterbrechungen und Weiterleitungen zeigen sich nur in echten Anrufen.

Wer sollte die Freigabe geben?

Am besten die Person, die für Kundenkontakt verantwortlich ist, gemeinsam mit der Inhaberin oder dem Inhaber. Wichtig ist, dass die Kriterien vorher feststehen.

Was mache ich mit Fehlern nach dem Start?

Jeden Fehler als neues Testszenario aufnehmen, den Assistenten anpassen und die betroffenen Szenarien erneut prüfen, bevor die Änderung live geht.

Für die Testliste Ihres Telefonassistenten liefern wir gern eine erste Fassung mit Szenarien für Ihre Branche – schicken Sie uns einfach eine Nachricht.

Quellen

WhatsAppSprechen wir