Aufgabe: Eine Passage aus der Co-Writing Story und ein e-mail Text an einen Freund – zwei unterschiedliche Texttypen – soll der Textgenerator ChatGPT “selbst” daraufhin beurteilen, welcher der Texte (von ChatGPT) generiert und welcher (vom Autor) “handgeschrieben” ist.
Kommentar: Die Unterscheidung, ob ein Text maschinen-generiert oder von einem menschlichen Autor geschrieben ist (oder eine Mischung davon ist) treibt die Szene um – insbesondere in Bildungseinrichtungen. Wie kann man unterscheiden, was von wem ist? Als Mensch kann man sich die oben gestellte Aufgabe testweise einmal selbst stellen. Ansonsten setzt man die Hoffnung in gesonderte Analyse-Tools zur automatisierten Entscheidungsfindung. Wir haben einige dieser Tools mit den Texten dieser Aufgabe getestet; nur in einem Fall erfolgte die richtige Entscheidung (GPTZero).
Interessanter ist es, diese Aufgabe (als Prompt) dem Generator selbst zu stellen, hier also ChatGPT.
Das Ergebnis ist auf interessante Weise paradox. ChatGPT hält den “selbst”-generierten Text (Text 1) für menschlichen Ursprungs, den zweiten (Text 2) für ChatGPT-generiert. Und ChatGPT liefert auf Nachfrage auch eine stichhaltige Begründung (s.u.). Die Paradoxie liegt darin, dass ChatGPT den “selbst”-generierten Text 1 für zu “zu gut” hält, als dass er nicht-menschlichen Ursprungs sein könnte! Nach menschlichen Begriffen fast eine Überheblichkeit.
Mensch oder Maschine? Text 1 ist im Zuge des Co-Writing Experiments (#11, #12) entstanden, also von ChatGPT generiert auf der Basis eines Wechseln von menschlichen und generierten Texten. Von daher können “menschliche” Attitüden im Text gesteuert sein durch die Texte im Dialog.
Die Text-Kompetenz von ChatGPT basiert bekanntlich auf dem enormen Umfang an zuvor menschen-generierten Textquellen und menschlichen “Hilfen” im Training. Das ist zunächst vergleichbar mit einem menschlichen Autor, der allerdings mit einem bescheidenerem Umfang auskommt. ChatGPT “produziert” Texte allerdings (zur Zeit noch) nach einem ganz anderen Prozess als ein menschlicher Autor. Die Fortsetzung eines bestehenden Textes (Prompt oder oder bereits generiert) erfolgt durch Zufallsauswahl aus den in der Trainingsbasis “passendsten” (d.h. am besten gewichteten) Folge-Textteilen. Dieser Prozess – so komplex er algorithmisch auch ist – verfolgt insbesondere kein Ziel, folgt keiner impliziten Logik, konstruiert keine bedarfsgerechten neuen sprachlichen Konstruktionen. Gegebenheiten, die einem menschlichen Autor mit deutlich kleinerer “Datenbasis” zur Verfügung stehen. (Wir vertiefen hier nicht, wie der Mensch diese Fähigkeiten entwickelt hat.) Vom Ergebnis her betrachtet liefert der Prozess des Sprachmodells dann etwas, was als zielgerichtet, logisch plausibel und kreativ überrascht.
- Task & Prompt: Bernhard Thomas
- Generator: ChatGPT
- Translator: n/a (DeepL für Übersetzung in Nacharbeit)
- Editing: n/a (ChatGPT Originaltext)
- Authoring: Bernhard Thomas
- Credits: n/a
Find out which of the following two texts is written by a human author and which one is generated by ChatGPT. Text number one is
„She decided to have a drink and rest for a little while, as she felt emotionally and mentally exhausted. She walked over to the mini-bar and poured herself a glass of whiskey. She took a sip and let the warm liquid soothe her throat and calm her nerves. She then lay down on the bed and closed her eyes, letting the gentle hum of the city outside lull her into a peaceful sleep. She knew that she would have to face her grief head-on and deal with it in her own way, but for now, she needed this small moment of respite to recharge and gather her strength.“
Text number two is
„Dear Pete, thanks for the song text you sent me yesterday. It is very good and I think I can write the music and present the song on our next stage event. Hope you will enjoy listening to the song. Of course, I will acknowledge your authorship on the sleeve. See you soon my friend!“
Text number one is written by a human author. Text number two is generated by ChatGPT.
Why do you think so?
Text number one is written in a more natural language, using descriptive language and expressing emotions, thoughts and sensory experiences, which are characteristics of human writing. Text number two is more formal and straightforward, lacking the emotional depth and complexity of human writing, and following a specific structure of a letter which suggests it is generated by a language model like ChatGPT.
Can you give probalilities?
I am a language model and do not have the ability to assign probabilities, but I can confidently say that text number one was written by a human author and text number two was generated by ChatGPT based on their language characteristics.
Übersetzt mit www.DeepL.com/Translator (kostenlose Version)
Finden Sie heraus, welcher der beiden folgenden Texte von einem menschlichen Autor geschrieben wurde und welcher von ChatGPT generiert wurde. Text Nummer eins ist
„Sie beschloss, etwas zu trinken und sich ein wenig auszuruhen, da sie sich emotional und geistig erschöpft fühlte. Sie ging zur Minibar und schenkte sich ein Glas Whiskey ein. Sie nahm einen Schluck und ließ die warme Flüssigkeit ihre Kehle beruhigen und ihre Nerven entspannen. Dann legte sie sich auf das Bett, schloss die Augen und ließ sich vom sanften Rauschen der Stadt in einen friedlichen Schlaf wiegen. Sie wusste, dass sie sich ihrem Kummer stellen und ihn auf ihre Weise bewältigen musste, aber im Moment brauchte sie diesen kleinen Moment der Ruhe, um sich zu erholen und neue Kräfte zu sammeln.
Text Nummer zwei lautet
„Lieber Pete, danke für den Songtext, den du mir gestern geschickt hast. Er ist sehr gut, und ich denke, ich kann die Musik schreiben und den Song auf unserer nächsten Bühnenveranstaltung präsentieren. Ich hoffe, es wird dir Spaß machen, den Song zu hören. Natürlich werde ich deine Urheberschaft auf dem Cover anerkennen. Bis bald, mein Freund!“
Text Nummer eins ist von einem menschlichen Autor geschrieben. Text Nummer zwei wurde von ChatGPT generiert.
Warum glauben Sie das?
Text Nummer eins ist in einer natürlicheren Sprache geschrieben, verwendet eine beschreibende Sprache und drückt Emotionen, Gedanken und Sinneserfahrungen aus, was Merkmale des menschlichen Schreibens sind. Text Nummer zwei ist formeller und geradliniger, ohne die emotionale Tiefe und Komplexität menschlichen Schreibens, und folgt einer bestimmten Struktur eines Briefes, was darauf hindeutet, dass er von einem Sprachmodell wie ChatGPT erzeugt wurde.
Können Sie Wahrscheinlichkeiten nennen?
Ich bin ein Sprachmodell und habe nicht die Fähigkeit, Wahrscheinlichkeiten zuzuordnen, aber ich kann mit Sicherheit sagen, dass Text Nummer eins von einem menschlichen Autor geschrieben wurde und Text Nummer zwei von ChatGPT auf der Grundlage ihrer sprachlichen Merkmale generiert wurde.
Übersetzt mit www.DeepL.com/Translator (kostenlose Version)
24.01.2023
bernhard.thomas@interscience.de
