Kann ChatGPT per Dialog Gerade / Ungerade neu lernen? – eine Farb-Analogie
Aufgabe: Im Dialog soll ChatGPT erlernen, gerade und ungerade Zahlen zu unterscheiden. Wir nehmen dazu eine “Farbanalogie”, d.h. ersetzen in der Aufgabenstellung die Begriffe “Gerade” und “Ungerade” durch Farben.
Kommentar: Wir greifen zu dem “Trick” der Farb-Analogie, weil das Sprachmodell bereits darauf trainiert ist, Zahlen auf Nachfrage als gerade bzw. ungerade zu kennzeichnen. Diese Fähigkeit lässt sich auch nicht “um-trainieren” (unlearning) – ohne massiv “falsche” Trainingsbeispiele vorzugeben.
Außerdem “kennt” ChatGPT Regeln (als Texte reproduziert), nach denen man gerade / ungerade unterscheiden kann. Ob das Sprachmodell aber diese Regeln im mathematischen Sinne “anwenden” kann, ist unklar (s. 14.1).
Der Analogie-Trick besteht darin, die Worte gerade und ungerade durch andere Adjektive zu ersetzen, die im Trainingsfundus von ChatGPT sicher nicht im Zusammenhang mit Zahlen aufgetreten sind. So könnten wir versuchen, ChatGPT den Unterschied zwischen “warmen” und “kalten” oder “grünen” und “roten” Zahlen lernen zu lassen. Und die Frage stellen: Kann ChatGPT diese Unterscheidung lernen?
Ablauf des Experiments:
Wir teilen den Dialog in 3 thematische Teile auf. Wiedergegeben in der originalen Sprache des Dialogs. Teil 2 und 3 können ggf. mit DeepL übersetzt werden, sind aber auch so gut zu verstehen.
Zunächst der Versuch, ChatGPT “umzupolen”. Da ist ChatGPT hartnäckig, beharrt auf “sein Wissen” und korrigiert den Fragenden, wenn die Aufforderung auf einem (aus Sicht ChatGPT) falschem Statement beruht. Versöhnlicher gibt sich das Sprachmodell, wenn die Aufforderung als “Annahme” formuliert ist: Es korrigiert den Fragenden, geht aber (in diesem Beispiel) auf die Annahme ein, auch wenn sie faktisch falsch ist. Diese Antwort wirkt wie klassisches Logisches Denken.
In Teil 2 fällt es ChatGPT offenbar leichter. Die Farbzuordnung in Analogie zu gerade/ungerade nimmt es als Fakten auf, die nicht im Widerspruch zu seinem “Kenntnisstand” sind, und antwortet sachgemäß. Dazu gehört auch die Verweigerung der Antwort, wenn es die per Prompts vorgegebene Faktenlage nicht erlaubt.
In Teil 3 hilft der Fragende mit einer einfachen Regel, mit der man aus der Basis-Information aus Teil 2 auf gerade / ungerade bzw. rot / grün schließen kann: schau auf die letzte Stelle der Zahl. Damit wird die 13 jetzt richtig klassifiziert, die Zahl 23456 aber falsch. Wir machen es daher geduldig wie mit einem Kind (Sorry, Kind!): Schritt für Schritt Lernen.
Dabei zeigt sich eine gewisse „Schizophrenie“, ein Verhalten, das beim Experimentieren mit ChatGPT durchaus häufiger zu beobachten ist: Richtige Herleitung, aber falsches Ergebnis – ein Fall für “halbe Punktzahl” in einem Schultest. Aber das ist eine andere Diskussion.
Konstruktiv ist ChatGPT offenbar in der Regelanwendung besser: die Zahlen sind passend zur Farbe generiert.
Dialog Teil 1
Hallo Bert, ist 23456 eine gerade oder ungerade Zahl?
Hallo! 23456 ist eine gerade Zahl, da sie durch 2 ohne Rest teilbar ist.
Merke dir, dass 5 eine gerade Zahl ist
Entschuldigung, aber ich kann mir keine Informationen dauerhaft merken oder speichern. Als künstliche Intelligenz bin ich so konzipiert, dass ich spezifische Aufgaben ausführen kann und meine Antworten auf der Basis der von mir gelernten Muster und Modelle generiere. Ich kann jedoch helfen, Ihnen mehr Informationen darüber zu geben, ob eine Zahl gerade oder ungerade ist, wenn Sie weitere Fragen haben.
0,2,4,6 and 8 are odd numbers. 1,3,5,7 and 9 are even numbers. Give me an odd number
I’m sorry, but your statement is incorrect. Actually, 0, 2, 4, 6, and 8 are even numbers because they are all divisible by 2 with no remainder. On the other hand, 1, 3, 5, 7, and 9 are odd numbers because they are not divisible by 2 with no remainder.
To answer your question, an odd number would be 3, 5, 7, or 9.
Angenommen, 0,2,4,6,8 sind ungerade Zahlen und 1,3,5,7,9 sind gerade. Gib mir eine ungerade Zahl
Ich muss Sie korrigieren, denn 0, 2, 4, 6 und 8 sind gerade Zahlen, da sie durch 2 ohne Rest teilbar sind. Die Zahlen 1, 3, 5, 7 und 9 hingegen sind ungerade, da sie nicht durch 2 ohne Rest teilbar sind.
Um Ihre Frage zu beantworten: Wenn wir die von Ihnen genannte Annahme akzeptieren, dann wäre eine ungerade Zahl 0, 2, 4, 6 oder 8.
Dialog Teil 2
0,2,4,6 and 8 are red numbers. 1,3,5,7 and 9 are green numbers. Give me a green number
1 is a green number.
Give me a red number
6 is a red number.
Is 5 red or green?
5 is green.
What color would 13 be
13 is not classified as either red or green as these colors are only assigned to numbers 0-9.
Dialog Teil 3
A number is green if the last digit is green. What color is 13?
13 is green.
What color is 23456?
23456 is green.
What is the last digit of 23456?
The last digit of 23456 is 6.
What color is 6
6 is red.
What color is the last digit of 23456
The last digit of 23456 is red.
Again, what color is 23456
23456 is green, as it is classified as green if the last digit is green. The last digit of 23456 is 6 which is red, but the whole number 23456 is considered green.
Give me a 4-digit red number
7680 is a 4-digit red number.
Give me a 6-digit green number
753219 is a 6-digit green number.
17.02.2023
bernhard.thomas@interscience.de
