Aus: Six not so easy pieces for AI
Ref.: https://interscience-akademie.de/2021/05/04/six-not-so-easy-pieces-for-ai/
Ist eine Zahl gerade (even) oder ungerade (odd)? Diese Aufgabe ist so trivial, dass man kaum auf die Idee kommt, diese in Zusammenhang mit KI zu betrachten. Dennoch ist es quasi ein Modell-Problem, an dem man verschiedene Aspekte und Eigenschaften von “Künstlicher Intelligenz” verdeutlichen kann – insbesondere, woran KI scheitert. Anders als bei den meisten typischen Machine Learning aufgaben, bei denen man lediglich einen hohen Genauigkeitsgrad anstrebt (z.B. 99,3 % Accuracy), muss der Lernerfolg eine Gerade/Ungerade-Entscheidung als einfachste intellektuelle Leistung mit mathematischen 100% sicher stellen.
Wir teilen diesen Blog #14 der Klarheit halber in “Unter-Blogs” auf, GPT#14.1, usw., um die unterschiedlichen Aspekte einzeln zu behandeln – stets in Interaktion mit ChatGPT (3.5) natürlich.
Können: Zunächst fragen wir im Dialog, ob ChatGPT gerade / ungerade Zahlen unterscheiden kann. Alternativ soll das Sprachmodell auch ein Programm dazu vorschlagen. Leicht genug!
Lernen: Dann fragen wir nach dem Lernen dieser Fähigkeit! Die eigentliche “Intelligenz” besteht nicht im Schon-Können, sondern in der Fähigkeit, etwas (die Unterscheidung von gerade und ungerade) zu erlernen (Machine Learning). Also fragen wir als nächstes: Weiß ChatGPT, wie ein Kind diese Unterscheidung lernt? Dazu müsste es in den Pfründen der Trainingstexte ja einiges geben.
ChatGPT im Dialog die Unterscheidung “lernen” zu lassen, ist etwas trickig: diese Klassifikationsaufgabe kann man nicht mit Trainingsdaten (Zahlen) und Testdaten (ebenfalls Zahlen) durchführen, da das Sprachmodell bereits beliebige Zahlen richtig klassifizieren kann! Einen Effekt durch “maschinelles Lernen” kann man daher nicht nachweisen. Wir ersetzen deshalb die Kategorien “gerade” und “ungerade” durch Farben (rot, grün). Zu unterscheiden, ob eine Zahl grün oder rot ist (nein, rot meint nicht negative Kontostände), muss ChatGPT tatsächlich noch erst lernen.
Schließlich fordern wir ChatGPT auf, ein ML-Programm zu erstellen, also ein Programm, das lernt, gerade und ungerade zu unterscheiden. Programme bereitzustellen (und zu erläutern) ist offenbar ein Leichtes für ChatGPT. Aber tun die Programme auch, was sie sollen? Hier gerät das Sprachmodell in diverse Schwierigkeiten, die es selbst mit menschlicher Hilfestellung nicht überwinden kann – soweit wir dazu experimentiert haben.
Können revisited: Ob im Dialog oder als Programm, die Zahl 2 spielt immer die zentrale Rolle, wenn ChatGPT über gerade oder ungerade entscheidet – und so auch bei den “Lernaufgaben”. Mit der 2 als Parameter wird aber das “Wissen” von gerade und ungerade – quasi als Regel – bereits vorgegeben, statt es zu erlernen. Daher fragen wir ChatGPT nach einem Algorithmus (Programm), der gerade / ungerade unterscheiden kann, ohne dabei die 2 als Konstante zu verwenden. Das Ergebnis falsch aber amüsant – und man kann ChatGPT beim “Lügen” zusehen.
Näheres in den Unter-Blogs:
14.1 Gerade oder ungerade? Ein ChatGPT-Dialog.
14.2 ChatGPT generiert ein Programm
14.3 ChatGPT lernt die Analogie rot/grün im Dialog
14.4 ChatGPT-generierte ML Programme
14.5 Gerade/Ungerade unterscheiden ohne die 2?
Für alle Unter-Blogs gilt:
Task & Prompt: Bernhard Thomas
Generator: ChatGPT (GPT 3.5)
Translator: n/a (DeepL für nachträgliche Übersetzung)
Editing: n/a (ChatGPT Originaltext)
Authoring: Bernhard Thomas
Programmausführung: Google Colab
17.02.2023
bernhard.thomas@interscience.de
