Warum nennt ChatGPT mich nicht immer?

Stellen Sie sich vor, Sie fragen einen Bekannten: „Kennen Sie einen guten Installateur in Eferding?” Er nennt Ihnen zwei Namen. Drei Wochen später fragen Sie ihn dasselbe noch einmal. Jetzt nennt er einen der beiden und dazu einen dritten, an den er vorhin nicht gedacht hat.

Niemand würde sagen, Ihr Bekannter sei kaputt. Er hat sich erinnert, was ihm gerade einfiel.

Bei KI-Systemen ist es ähnlich, nur schneller und öfter. Und genau das führt zu dem Satz, den wir am häufigsten hören: „Ich hab selbst gefragt und komme nicht vor. Funktioniert das nicht?”

Was beim Fragen wirklich passiert

Wenn Sie ChatGPT nach einem Betrieb in Ihrer Gegend fragen, passiert nicht das, was viele vermuten. Das System schlägt nicht in einer Liste nach, in der Betriebe nach Rang sortiert sind. So eine Liste gibt es nicht.

Stattdessen laufen drei Dinge nacheinander:

Erstens sucht das System im Web. Es formuliert selbst ein paar Suchanfragen, ruft ein paar Seiten ab und liest sie. Welche Suchanfragen es formuliert, entscheidet es jedes Mal neu. Ob es drei oder acht Seiten liest, hängt davon ab, wie ergiebig die ersten waren.

Zweitens wählt es aus. Aus dem Gelesenen entstehen ein paar Namen, oft zwei oder drei. Nicht zehn. Eine Google-Ergebnisliste zeigt Ihnen zwanzig Treffer und überlässt Ihnen die Wahl. Eine KI trifft die Wahl für Sie, und sie trifft sie knapp.

Drittens formuliert es. Derselbe Inhalt kann als „Ich würde Ihnen X empfehlen” herauskommen oder als „In der Gegend gibt es mehrere Betriebe, zum Beispiel X und Y”. Die zweite Fassung nennt mehr Namen als die erste, obwohl dieselben Daten dahinterstehen.

An jeder dieser drei Stellen kann es beim nächsten Mal anders laufen.

Wie stark schwankt das?

Stark genug, dass eine einzelne Frage nichts beweist. Wer dieselbe Frage mehrmals stellt, bekommt selten zweimal dieselbe Liste.

Das gilt in beide Richtungen. Wenn Sie einmal fragen und nicht vorkommen, heißt das nicht, dass Sie nie vorkommen. Und wenn Sie einmal fragen und vorkommen, heißt das leider auch nicht, dass Sie immer vorkommen. Wir haben schon Betriebe erlebt, die uns begeistert schrieben, sie seien genannt worden, und bei der nächsten Messung lagen sie bei vier von fünfzehn.

Vier von fünfzehn ist kein schlechtes Ergebnis. Es ist nur etwas anderes als „ich komme vor”.

Warum niemand eine Platzierung versprechen kann

Wenn Ihnen jemand anbietet, Sie auf „Platz 1 in ChatGPT” zu bringen, dann verkauft er Ihnen eine Position in einer Rangliste, die es nicht gibt.

Das ist nicht unsere Meinung gegen seine. Das steht bei Google in der eigenen Anleitung für Website-Betreiber, und zwar seit Jahren, für die klassische Suche. Für KI-Antworten gilt es erst recht, weil dort noch eine Auswahlschicht dazukommt.

Niemand kann eine Platz-1-Platzierung bei Google garantieren.

Das ist der Satz, an dem sich unseriöse Angebote messen lassen. Wer ihn ignoriert, ignoriert die Quelle selbst.

Dazu kommt etwas Praktisches: Selbst wenn jemand wüsste, wie man die Auswahl beeinflusst, könnte er es nicht garantieren. Die Anbieter ändern ihre Modelle mehrmals im Jahr. Was im Jänner wirkte, kann im Juni wirkungslos sein.

Was man statt dessen messen kann

Es gibt eine Zahl, die etwas aussagt, und sie heißt Nennungsquote.

Die Idee ist simpel. Statt einmal zu fragen, stellen wir dieselbe Frage mehrmals. Und statt einer Frage stellen wir fünfzehn verschiedene, so wie Ihre Kunden sie stellen würden. Dann zählen wir, in wie vielen Antworten Sie vorkommen.

Ein Ergebnis sieht dann so aus: In 7 von 45 Antworten werden Sie genannt.

Das ist eine Zahl, mit der man arbeiten kann. Sie schwankt auch, aber sie schwankt viel weniger als eine einzelne Antwort. Und sie lässt sich mit dem Vormonat vergleichen.

Warum wir die Fragen in drei Gruppen teilen

Nicht jede Frage ist gleich. Wir teilen sie in drei Gruppen, damit die Quote nicht lügt.

Grün sind die Fragen, bei denen ein Betrieb aus dem Ort vorkommen muss. „Kannst du mir jemanden für Heizung in Eferding empfehlen?” Wenn Sie hier nicht vorkommen, ist das die wichtigste Information des ganzen Berichts.

Gelb sind die Fragen drumherum. „Was kostet eine neue Heizung ungefähr?” Hier kann ein örtlicher Betrieb vorkommen, muss aber nicht. Eine Antwort über Preise braucht keinen Namen.

Rot sind Kontrollfragen. „Wer ist der günstigste Anbieter in ganz Österreich?” Bei so einer Frage kommt fast nie ein Betrieb aus einem Bezirk vor, egal wie gut er ist. Wir stellen sie trotzdem, damit wir merken, wenn ein System plötzlich anders antwortet. Sie zählen aber nicht in die Hauptquote, sonst sähe jeder Bericht schlechter aus, als er ist.

Warum die Auswahl so knapp ist

Es gibt noch einen Grund, warum viele Betriebe nicht vorkommen, und er hat nichts mit ihnen zu tun.

Eine Google-Suche zeigt Ihnen eine Liste. Wer auf Platz elf steht, ist noch da, man muss nur weiterscrollen. Eine KI-Antwort ist ein Absatz Text. Darin haben zwei oder drei Namen Platz.

Das heißt: Die Zahl der Betriebe, die überhaupt genannt werden können, ist viel kleiner als früher. Untersuchungen aus den USA zeigen, wie streng diese Auswahl ist, auch wenn sie dort große Filialketten untersucht haben und nicht Handwerksbetriebe im Mühlviertel.

Für Sie heißt das zweierlei. Die schlechte Nachricht: Es wird enger. Die gute: Wer einmal in der Auswahl ist, hat mehr davon als früher ein guter Platz auf Seite eins.

Was Sie daraus machen

Drei Dinge folgen daraus, und alle drei sind unspektakulär.

Messen Sie nicht mit einer einzigen Frage. Wenn Sie wissen wollen, wie Sie dastehen, brauchen Sie mehrere Fragen und mehrere Durchläufe. Eine einzelne Antwort ist ein Schnappschuss, kein Befund.

Vergleichen Sie über Monate, nicht über Tage. Eine Quote, die von 7 auf 5 fällt, kann Schwankung sein. Eine Quote, die über drei Monate von 7 auf 2 fällt, ist ein Trend.

Arbeiten Sie an dem, was steuerbar ist. Die Auswahl der KI können Sie nicht steuern. Was in den Quellen steht, aus denen sie liest, schon: Google-Unternehmensprofil, Bing Places, WKO, herold, Ihre eigene Website. Dort stehen Ihre Öffnungszeiten, Ihre Leistungen, Ihre Telefonnummer. Wenn die stimmen und überall gleich sind, haben Sie das getan, was in Ihrer Hand liegt.

Mehr kann niemand versprechen. Alles andere wäre ein Märchen.