Open Access

Monika Oertner

• „ChatGPT may produce inaccurate information about people, places, or facts“, so warnt Open AI vor der Unzuverlässigkeit der Auskünfte, die sein Chatbot erteilt. Zu KI-Kompetenz, die heute zu den zukunftsrelevanten und berufsvorbereitenden Studienzielen gezählt wird, gehört, diese Unzuverlässigkeit einschätzen zu können. Der Beitrag bietet dazu eine Fehlertypologie und setzt sie in Bezug zur technischen Funktionsweise. Zwanzig Arten der Unzuverlässigkeit von KI-Auskünften ordnet er den drei Ursachenfeldern Trainingsmaterial, Generierungsprozess und Programmierung zu. Außerdem entwirft er ein Modell des paradoxen Mechanismus der User-Psychologie – Technikglaube vs. Eliza-Effekt – und rekurriert auf Harry Frankfurts Begriff des Unfugs („Bullshit“), der wie zugeschnitten auf KI-Auskünfte scheint. Einige der Fehlertypen, insbesondere die im Generierungsprozess selbst erzeugten, sind als unbehebbares Kernphänomen zu sehen. Im Einsatz generativer KI als Informations- und Recherchetool steckt daher ein großes und dauerhaftes Gefahrenpotenzial – für den Kompetenzaufbau im Studium, aber auch für unsere Wissensgesellschaft als Ganzes.
• “ChatGPT may produce inaccurate information about people, places, or facts,” Open AI warns when using its chatbot. Being able to assess this unreliability is part of AI literacy, which recently became a future skill at university, understood as a precondition for future careers. The article offers an error typology, which is linked to AI’s technical functionality. Twenty categories of flaws in AI information are assigned to three fields of causative factors: training data, generation process, and programming. Additionally, a paradoxical mechanism pattern in user psychology is outlined – automation bias vs. Eliza effect –, and Harry Frankfurt’s concept of “bullshit” is introduced, which seems tailor-made for AI information. Some error types, especially those caused in the generation process itself, must be regarded as non-recoverable. The use of generative AI as an information and research tool therefore harbors a substantial and lasting risk potential – for competence development in higher education as well as for our knowledge-based society as a whole.