Mit KI zu perfekten Gesprächszusammenfassungen? – Das Problem mit der Mitte.

Für mein Buch habe ich mehrere längere Interviews aufgenommen und transkribieren lassen. Anschließend habe ich mit ChatGPT und anderen Programmen Gesprächszusammenfassungen der Texte erstellen lassen. Mal mit besserem, mal mit schlechterem Ergebnis – auch abhängig vom Entwicklungsstand der KI (Stichwort Token-Anzahl).

Aber kein einziges Mal erhielt ich eine fehlerfreie Version und oft fielen mir einige falsche Aussagen zunächst gar nicht auf. Erst der Abgleich mit dem Original zeigte vor allem Fehler oder Auslassungen, die in der Mitte des Gespräches stattfanden. Dies wird als „Lost in the middle“-Problem bezeichnet und ist mehrfach nachgewiesen worden.

Ich war ziemlich enttäuscht, dass KI das nicht in den Griff bekommt, bis mir klar wurde, dass wir Menschen ein ganz ähnliches Problem haben. Es wird »serieller Positionseffekt« oder »Primacy-Recency-Effekt« genannt. Dieser Effekt beschreibt die Tendenz, sich an die ersten (Primacy-Effekt) und letzten (Recency-Effekt) Elemente einer Liste oder Geschichte besser zu erinnern als an die in der Mitte.

KI verhält sich also menschlicher als gedacht. Aber vielleicht hat gerade das meine Enttäuschung genährt?

Egal ob Mensch oder Maschine, man sollte wichtige Aussagen und Gesprächszusammenfassungen von Videos oder Büchern kritisch hinterfragen, bevor man alles als wahr abspeichert. 

Sonst kann es passieren, dass du dich ärgerst, weil Kollege Müller dir im Meeting (an dem du nicht teilnehmen konntest) scheinbar einen Auftrag erteilt hat, der in Wirklichkeit von deiner Chefin Frau Koch stammt. Konfliktpotenzial ist da.

Wem vertraust du mehr? Mensch oder Maschine?