Als der Schachcomputer Deep Blue von IBM 1996 mit einem Algorithmus aus dem Bereich der Künstlichen Intelligenz (KI) den Schachweltmeister Gari Kasparow nachhaltig geschlagen hatte, war das eine Erschütterung für die gesamte Schachwelt. Trotz dieses Durchbruchs waren sich die Gospieler und die algorithmischen Experten einig und davon überzeugt, dass sich die sehr guten Gospieler dieser Welt keine Sorgen machen müssten. Denn Go ist quantitativ so viel komplexer als Schach, dass man auf viele Jahrzehnte keine Chance für die Algorithmen der Künstlichen Intelligenz sah, die menschliche Go-Intelligenz zu verdrängen: Beim Schach hat man pro Zug im Mittel vielleicht 30 Möglichkeiten, beim Go pro Zug im Mittel eher 200.

Diese Überzeugung der menschlichen Go-Überlegenheit ist seit 2016 obsolet, als der Go-Algorithmus AlphaGo den weltbesten Gospieler Lee Sedol nachhaltig schlug. In den 20 Jahren von 1996 bis 2016 hatte es einen algorithmischen Durchbruch gegeben, den ich hier Algorithmenwandel nennen möchte.

Algorithmus, das war bis zur Jahrhundertwende ein mathematisch-informatischer Fachbegriff, unter dem sich lange Zeit nur Experten etwas vorstellen konnten. In den letzten 20 Jahren ist Algorithmus dann allmählich ein Begriff des täglichen Lebens, der Journalistik und der Politik geworden – mit einem richtigen Schub im Jahr der Mathematik 2008. Trotz seiner Verbreitung ist der Begriff für die meisten Menschen unklar, für viele unheimlich und bedrohlich geblieben.

Dabei ist ein Algorithmus nichts Geheimnisvolles: Ein Algorithmus ist eine eindeutige, aus endlich vielen Einzelschritten bestehende, detaillierte Verfahrens- oder Handlungsvorschrift zur Lösung eines Problems oder einer Aufgabenstellung. Handelt es sich um ein mathematisch oder informatisch formuliertes Problem und wird der Algorithmus in einer Programmiersprache formuliert, spricht man in der Regel von einem Computerprogramm. Das ist dann auch der geläufigere Begriff. In einem allgemeineren Sinn sind aber auch eine Aufbauanleitung für ein Regal, ein präzises Kochrezept, eine genaue Wegbeschreibung Beispiele von Algorithmen.

Die fundamentale Bedeutung von (mathematisch-informatischen) Algorithmen besteht darin, dass sie den Kern alles Digitalen, aller digitalen Geräte und Prozesse bilden: Sie steuern Computer und Netze, und sie verarbeiten die Daten. Softwaresysteme bestehen meist aus einer Vielzahl von Algorithmen.

Algorithmen sind in ihrem Kern mathematische Konstrukte und damit prinzipiell wertfrei und gestaltbar, wie alles Mathematische. Diese Überzeugung hat mich bei meinen Lehrveranstaltungen, Publikationen, Projekten und Vorträgen, geleitet, und sie hat bewirkt, das ich die algorithmischen Entwicklungen bisher – wie die Mathematik insgesamt – positiv eingeschätzt und mit Optimismus betrieben habe. Indem ich einen Algorithmus konzipiere und programmiere, lege ich fest, was er tut und wofür er gut ist. Klar, Programmierfehler können auftreten mit verhängnisvollen Folgen, Algorithmen können für inhumane, verbrecherische, kriegerische Zwecke konzipiert und eingesetzt werden. Aber dass Algorithmen fehleranfällig sind, missbraucht und gezielt für problematische Zwecke konzipiert und eingesetzt werden, widerspricht ihrer prinzipiellen Wertfreiheit nicht.

Seit etwa 1995 hat sich in der Algorithmik aber einiges essentiell geändert. Etwas vereinfachend kann man diesen Wandel mit der Formulierung: „vom programmierten zum trainierten Algorithmus“ beschreiben.

Zu den traditionellen Algorithmen hinzugekommen sind spezielle, neue Methoden der KI und des „Maschinellen Lernens (ML)“. Grundlegenden Ideen zu KI und ML sind zwar schon rund 70 Jahre alt, sensationelle Durchbrüche sind aber erst in den letzten 30 Jahren erreicht worden: durch neue algorithmische Ideen, durch die Datenexplosion und durch superschnelle Rechner. Im Mittelpunkt stehen dabei zur Zeit eine Vielzahl von selbstlernenden Verfahren des „Deep Learning“. Diese Algorithmen, die – in Analogie zur Funktionsweise des biologischen Gehirns – mit vielen, vielleicht Hunderten von Schichten, Millionen künstlicher Neuronen und geeigneten, oft riesigen Mengen von (Trainings-)Daten arbeiten, werden nicht in herkömmlicher Weise programmiert, sondern trainiert. Der Programmierer, den man auch bei diesen lernenden Algorithmen braucht, legt nur die Methodik fest, wie das System lernt und wie es mit den Daten umgeht. Der Programmierer hat aber im allgemeinen keine Kontrolle darüber, welche Muster das System in den Daten erkennt und welche Schüsse es aus diesen Erkenntnissen zieht. Zur Mustererkennung verwendet das System statistische und zunehmend auch hocheffiziente numerische Optimierungsverfahren, die für den jeweiligen Algorithmus charakteristisch sind.

Eine Vielzahl der mit dieser Methodik des Deep Learning bereits heute erzielten Ergebnisse und Erfolge sind absolut faszinierend, geradezu phantastisch. Wir erwähnen hier nur die Entwicklungen bei der Bild- und Spracherkennung und bei der automatischen Übersetzung von schriftlichem und gesprochenem Text.

Überraschend waren selbst für Experten, wie eingangs erwähnt, die Erfolge, die mit speziellen ML-Algorithmen des Deep Learning, insbesondere mit sogenanntem Bestärkungslernen (Reinforcement), beim Go-Spiel erzielt wurden. Dabei werden nur die äußerst einfachen Go-Spielregeln programmiert. Alles andere wird gelernt, und zwar dadurch, dass das System millionenfach gegen sich selber spielt. Nach dem Lernprozess erweist sich das System als auch den weltbesten Go-Spielern deutlich überlegen. Absolut überraschend und bezeichnend ist dabei auch, dass das System eigene Spielstrategien entwickelt und Spielzüge ausführt, die bisher noch von keinem menschlichen Spieler gespielt worden sind und deren Sinn auch von den weltbesten Spielern daher nicht sofort verstanden und vollständig erklärt werden kann.

Und das ist auch eine allgemeine Problematik des ML: Wie hier beim Go-Spiel werden insbesondere mit Algorithmen des Deep Learning (oft hervorragende) Ergebnisse erzielt, deren Zustandekommen weitgehend, oft vollständig unerklärlich bleibt.

Dass die ML-basierten neuen Spielstrategien beim Go-Spiel nicht (vollständig) verstanden werden, ist verblüffend, aber nicht wirklich kritisch oder bedrohlich, sondern eher anregend. Diese verborgene Seite des ML ist aber ganz offensichtlich unakzeptabel, wenn das System den Anwender nicht nur unterstützt, sondern selbstständig Entscheidungen trifft, die für Betroffene von großer oder sogar existenzieller Bedeutung sind. Auch dafür gibt es heute bereits eine zunehmende Anzahl von Beispielen.

Wir nennen hier nur selbstständige Entscheidungen (Sortieren und Filtern) bei Bewerbungsverfahren, bei der Festlegung von Versicherungs- und Kreditkonditionen, und weisen auf das sich rasant entwickelnde Forschungsfeld der autonomen Systeme (autonome Fahrzeuge, Waffen usw.) hin. In all diesen Bereichen gibt es schon sehr weitgehende technische Entwicklungen – und parallel dazu intensive juristische, ethische und politische Diskussionen in entsprechenden Gremien (s. z.B. Artificial Intelligence Act der EU-Kommission, ein Vorschlag der EU zur Regulierung der Nutzung der KI).

Wie soll die informatische Forschung mit dieser Problematik umgehen? Eine wissenschaftliche Antwort auf diese Problematik ist die Bemühung, das auf Deep Learning beruhende System zu veranlassen, seine Entscheidung selbst zu erklären, also z.B. seinen „Entscheidungspfad“ nachvollziehbar zu machen. Mit dieser wissenschaftlichen Zielsetzung beschäftigt sich die mathematisch-informatische Disziplin des XAI (Explainable AI). Obwohl an XAI in vielen Forschungszentren weltweit gearbeitet wird, sind die Erfolge noch begrenzt. Das erkennt man z.B. daran, dass schon bei „kleinen“, überschaubaren Anwendungen des Deep Learning die „berechneten“ Ergebnisse  hochsensibel von den Trainingsdaten abhängen: Kleine Änderungen in den Trainingsdaten  können zu erheblichen, unvorhersehbaren Veränderungen bei den Ergebnissen führen, ein oft irritierender Effekt.

Für manche Anwendungen gibt es die Möglichkeit, die mit Deep Learning erzielten Ergebnisse durch andere Methoden des ML überprüfen zu lassen, deren Ablauf nachverfolgt werden kann. Das sind aber in der Regel nicht die interessantesten Anwendungen, weil die „durchschaubaren“ ML-Algorithmen oft nicht die Effektivität der („undurchschaubaren“) Deep Learning Algorithmen erreichen.

Angesichts dieser unübersichtlichen Situation  – weil und solange das XAI-Problem nicht befriedigend gelöst ist – ist es eine gemeinsame Aufgabe der Algorithmiker, Juristen, Ethiker und der Politik, die Risiken systematisch zu untersuchen, zu bewerten und geeignete Steuerungsmaßnahmen zu ergreifen.

Es stellen sich unter anderem folgende Fragen:

Sollten Algorithmen, deren interne (Trainingsdaten-basierten) Abläufe nicht vollständig nachverfolgt und deren Ergebnisse nicht erklärt werden können, nur zur Unterstützung menschlicher Entscheidungen benutzt werden, aber keine eigene Entscheidungen treffen?

Oder weitergehend: Sollten solche Algorithmen als unsicher gekennzeichnet und ihre Benutzung grundsätzlich ausgeschlossen werden? Reichen Warnhinweise aus?

Macht es Sinn, einen TÜV oder ein Audit für ML-Algorithmen einzuführen, womit sichergestellt wird, dass alle Bestandteile und internen Abläufe der Algorithmen kontrolliert werden können?

Besteht eine Chance, diese Fragen anwendungsunabhängig zu behandeln, oder können die Probleme nur anwendungsspezifisch in Angriff genommen werden?

Besteht eine realistische Chance auf internationale Einigung? Oder wird man damit leben müssen, dass sich z.B. autokratische Staaten nicht in die Karten gucken lassen?