Analytics

Die Bubble Chatbot Metriken erlauben es, die Leistung eines Chatbots über eine bestimmte Zeit zu überwachen. Damit kann zum Beispiel der Effekt einer Änderung am Chatbot (z.B. eine Einführung einer neuen Absicht) beobachtet werden, oder es kann Hinweise darüber geben, wie der Chatbot optimiert werden soll.

Metriken werden in der Regel über einen bestimmten Zeitraum betrachtet (z. B. die letzten 30 Tage) und einige stehen in Korrelation zu anderen, teils nicht Chatbot-spezifischen Metriken (z.B. «Anzahl Bot Nachrichten» vs «Anzahl Erreichung spezifischer Zielvorhaben»). Bei einem neu erstellten Chatbot schwanken Metriken in der Regel noch stark. Mit der Zeit erhält man allerdings ein immer klareres Bild darüber, wie die Besucher mit dem Chatbot interagieren.

Allgemeine Metriken

• Anzahl Chats
  Es ist wichtig, viele Chats und somit eine grosse Datenbasis für verschiedenste Auswertungen zu haben. Die Anzahl Chats kann wichtige Informationen über die Berechnungen der Marktgrösse und möglicherweise die Auswirkungen des Chatbots liefern.

• Anzahl Benutzereingaben
  Führen die Anwender eher lange Konversationen oder kann Ihr Chatbot direkt helfen?

• Anzahl nicht verstandener Benutzerfragen (Wissenslücken-Rate)
  Ein Chatbot wird nie auf jede Frage eine passende Antwort haben. Das tracking der Wissenslücken hilft dabei, den Chatbot gezielt zu verbessern – beispielsweise durch das Hinzufügen neuer Wissensquellen oder durch präziseres Prompting. Über die Zeit sollte diese Kennzahl möglichst niedrig gehalten werden.

• Benutzerzufriedenheit
  Den Grad der Benutzerzufriedenheit kannst du nutzen, um den Chatbot stetig zu verbessern. Indem du deine Kunden mit einer einfachen Frage wie z.B. «Wie zufrieden sind Sie mit diesem Chat?» konfrontierst, erhältst du ein ungefiltertes und ehrliches Feedback.

• Anzahl aktive Benutzer
  Als Benutzer zählt, wer dem Chatbot mindestens eine Nachricht sendet und ihn somit aktiv nutzt. Eine Vielzahl aktiver Benutzer hilft, diese besser zu verstehen und das Angebot passender zu gestalten.

• LLM-Kosten
  Im Analyse-Bereich steht ein Diagramm zur Verfügung, das die kumulierten LLM-Kosten über die Zeit darstellt. So lässt sich die Kostenentwicklung auf einen Blick verfolgen und frühzeitig reagieren, wenn die Ausgaben unerwartet ansteigen.

• Anzahl Übergaben an einen Live-Agenten vom Kundendienst (Human Takeover Rate)
  Die Anzahl Übergaben an einen Live-Agenten kann verwendet werden, um die First Contact Resolution (FCR) zu ermitteln - ein prozentuales Mass für die Erfolgsquote bei der Beantwortung von Kundenanfragen bei der ersten Kontaktaufnahme über den Chatbot.

• Chats pro Wochentag und Zeit
  Eine Heatmap zeigt, an welchen Wochentagen und zu welchen Tageszeiten der Chatbot am häufigsten genutzt wird. So lässt sich erkennen, wann die Nutzungsspitzen liegen – hilfreich etwa für die Planung von Wartungsfenstern oder die Beurteilung, zu welchen Zeiten ein Live-Agent verfügbar sein sollte.

• Top Wissensquellen
  Die Auflistung der Top-Wissensquellen bietet einen Überblick darüber, welche Dokumente oder Datenquellen am häufigsten von Bubble Chat für die Beantwortung von Nutzeranfragen herangezogen werden. Diese Analyse hilft dabei, die Relevanz und Qualität der zugrunde liegenden Inhalte zu bewerten, Optimierungspotenziale zu erkennen und gezielt an der Verbesserung der Wissensbasis zu arbeiten.

Chatbot-spezifische Metriken

Da jeder Chatbot individuell konzipiert ist, sind häufig speziell zugeschnittene Metriken erforderlich. Diese können gezielt erfasst und an ein Analyse-Tool nach Wahl weitergegeben werden – beispielsweise an Google Tag Manager, Tableau oder Qlik Sense.