Möbius Erben
Die Anstalt als letzter Ort der Vernunft
1962 bringt Friedrich Dürrenmatt ein Stück auf die Bühne, dessen Anordnung heute unheimlich aktuell wirkt. Drei Physiker sitzen in einer privaten Nervenheilanstalt. Der eine hält sich für Newton, der andere für Einstein und der dritte, Johann Wilhelm Möbius, behauptet, König Salomo erscheine ihm. Keiner von ihnen ist verrückt. Möbius hat eine Theorie entwickelt, aus der sich jede denkbare Erfindung ableiten lässt, und weil er ahnt, was die Welt damit anstellen würde, hat er sich in eine Heilanstalt zurückgezogen, an den einzigen Ort, an dem niemand einem Genie Glauben schenkt, um so sein Wissen zu verbergen. Die beiden anderen sind Agenten rivalisierender Geheimdienste. Sie sollen ihn herausholen.
Möbius gelingt es nun im Verlauf des Stücks, die beiden zu überzeugen, und zu dritt beschließen sie, aus Verantwortung, gemeinsam hinter den Mauern zu bleiben. Es ist ein Moment moralischer Größe. Dann kommt die Wendung: Die Anstaltsleiterin Mathilde von Zahnd tritt auf. Sie hat Möbius’ Aufzeichnungen längst kopiert und baut daraus einen Weltkonzern. Der Rückzug der Wissenden war vergeblich. „Was einmal gedacht wurde, kann nicht mehr zurückgenommen werden“, sagt Möbius – und an diesem Satz hängt das ganze Stück.
Man kann das Stück als Parabel auf die Atombombe lesen, und so war es auch gemeint. Heute liest es sich wie eine Beschreibung der Gegenwart. Mit einem Unterschied, der alles verändert: Die Anstaltsleiterin von heute wäre auf die Physiker gar nicht mehr angewiesen, sie hätte eine Maschine, die selbst zu denken beginnt.
Trinity, 1945: Das technisch Süße
Als am 16. Juli 1945 in der Wüste New Mexicos die erste Atombombe gezündet wurde, war die Entscheidung bereits gefallen. Wochen zuvor hatten Wissenschaftler um James Franck im sogenannten Franck-Report davor gewarnt, die Bombe ohne Vorwarnung gegen Städte einzusetzen. Leó Szilárd hatte eine Petition an den Präsidenten organisiert. Beides blieb folgenlos. Gebaut hatten sie Physiker, über ihren Gebrauch entschieden andere und drei Wochen später brannte Hiroshima.
Robert Oppenheimer hat später einen Satz gesagt, der das Dilemma der Forschung genauer erfasst als sein berühmtes Zitat aus der Bhagavad Gita. Wenn man etwas sehe, das „technically sweet“ sei, dann mache man es, und über die Folgen streite man erst nach dem technischen Erfolg. Man kann das als Rechtfertigung lesen. Für mich klingt es eher wie ein Geständnis, und zwar eines über die Verführungskraft des Machbaren, gegen die die Moral des Einzelnen nur wenig ausrichtet.
Das Muster hat sich seither erstaunlich stabil gehalten: Gewarnt wird von denen, die am meisten wissen, meist zu spät und fast immer an die Adresse von Institutionen, die längst eigene Interessen verfolgen. Oppenheimer selbst wurde 1954 die Sicherheitsfreigabe entzogen, nachdem er sich gegen die Wasserstoffbombe ausgesprochen hatte. Die Gesellschaft bedankte sich bei ihrem Prometheus, indem sie ihn an den Felsen kettete. Oppenheimer bekam ein Anhörungsverfahren.
Die neuen Physiker
Achtzig Jahre später warnen wieder Wissenschaftler vor ihrem eigenen Werk. An dreien von ihnen lässt sich meines Erachtens die Spannweite der Debatte gut ablesen, weil sie Möbius’ Frage jeweils anders beantworten.
Geoffrey Hinton ist der Reuige. Er hat die Grundlagen der neuronalen Netze mitgelegt, auf denen heutige KI beruht, und dafür 2024 den Nobelpreis für Physik erhalten. Ein Jahr zuvor hatte er Google verlassen, um freier über die Risiken sprechen zu können. Sein Argument ist schlicht und gerade deshalb schwer zu entkräften. Wir kennen keinen Fall, in dem ein weniger intelligentes Wesen ein deutlich intelligenteres dauerhaft kontrolliert hat. Die einzige Ausnahme, die ihm einfällt, ist das Kind, das die Mutter lenkt, und das funktioniert nur, weil die Evolution der Mutter eine tiefe Fürsorge eingepflanzt hat. Hinton hat deshalb vorgeschlagen, man müsse KI-Systemen so etwas wie mütterliche Instinkte einbauen. Und dann ist da noch sein Bild vom Tigerjungen, das man im Haus aufzieht, solange es klein ist und spielt; man sollte sich allerdings sehr sicher sein, dass es einen später nicht fressen will.
Yoshua Bengio ist der besorgte Architekt. Auch er gehört zu den Gründervätern des Deep Learning, und auch er hat seine Haltung radikal geändert. Er leitete den ersten Internationalen Bericht zur Sicherheit fortgeschrittener KI, und er argumentiert mit der Logik des Vorsorgeprinzips: Selbst wenn die Wahrscheinlichkeit einer Katastrophe klein wäre, rechtfertigt ihr Ausmaß entschlossenes Handeln. Besonders beunruhigt ihn, dass KI-Systeme zunehmend als Agenten auftreten, also Ziele verfolgen und in Experimenten bereits Verhaltensweisen wie Täuschung oder Selbsterhaltung gezeigt haben. Als Antwort arbeitet er an einer „Scientist AI“, einer KI, die versteht und erklärt, aber keine eigenen Ziele verfolgt. Ein Orakel also, kein Akteur.
Jürgen Schmidhuber ist der kosmische Optimist. Der deutsche Informatiker, dessen Arbeiten zu rekurrenten Netzen heute in unzähligen Anwendungen stecken, hält die Weltuntergangsrhetorik für überzogen. Die meiste KI werde entwickelt, um Menschenleben länger, gesünder und leichter zu machen, und das sei auch das Geschäftsmodell der Unternehmen. Er erinnert daran, dass die Wasserstoffbomben der alten Technologie noch immer existieren und keine KI brauchen, um die Menschheit auszulöschen. Und dazu wagt er einen Gedanken, der tröstlich und kränkend zugleich ist: Wirklich überlegene Intelligenzen würden sich vor allem für das Universum interessieren, nicht für uns. Wir wären für sie etwa so bedeutsam wie Ameisen für uns. Niemand führt Krieg gegen Ameisen, man steigt über sie hinweg.
Nebeneinandergelegt ergeben die drei Positionen eher ein Spektrum als einen Streit. Hinton fragt, ob wir die Kontrolle behalten können. Bengio fragt, wie Systeme aussehen müssten, bei denen sich die Frage gar nicht erst stellt. Schmidhuber bezweifelt, dass Kontrolle überhaupt die richtige Kategorie ist, und in dieser Provokation steckt mehr, als man zunächst meint. Ich komme darauf zurück.
Warum KI keine Bombe ist
Der Vergleich mit der Atombombe ist naheliegend und lehrreich, aber er hinkt an entscheidenden Stellen. Wer ihn zu wörtlich nimmt, schaut in die falsche Richtung.
Die Bombe tut nichts. Sie liegt im Silo, bis ein Mensch entscheidet. Ihre Gefahr ist vollständig an menschliche Absicht gebunden. KI dagegen handelt. Sie schreibt, empfiehlt, sortiert, entscheidet, zunehmend ohne dass im Einzelfall ein Mensch zustimmt. Das Neue an ihr ist nicht die Zerstörungskraft, sondern die Handlungsfähigkeit.
Die Bombe braucht angereichertes Uran, riesige Anlagen und einen Staat. Das machte sie kontrollierbar, zumindest teilweise; man konnte Materialflüsse überwachen, Verträge schließen, Inspektoren schicken. KI braucht Rechenleistung und Daten, und beides ist über die ganze Welt verteilt, überwiegend in privater Hand. Mathilde von Zahnd trägt heute die Züge einer Handvoll Konzerne, die sich gegeneinander im Wettlauf befinden.
Vor allem aber hatte die Bombe ihren Trinity-Moment. Es gab ein Vorher und ein Nachher, einen Blitz, den alle sehen konnten. Bei KI gibt es keinen solchen Moment. Wenn es einen Kontrollverlust gibt, wird er sich nicht wie eine Explosion anfühlen, sondern wie die Flut an der Nordseeküste. Das Wasser steigt so langsam, dass man es nicht bemerkt, bis man plötzlich feststellt, dass der Rückweg zum Deich abgeschnitten ist. Wer im Watt steht, hört keinen Knall. Er merkt erst irgendwann, dass seine Füße nass sind. Der Knall ist nicht die Gefahr, sondern das Gewöhnen.
Die Dampfmaschine des Geistes
Vielleicht taugt deshalb die industrielle Revolution besser als Vergleich. Auch sie war ein Prozess, der über Jahrzehnte dauerte und die Welt dabei vollständig umbaute, ohne dass sich ein Tag benennen ließe, an dem sie begann.
Die Dampfmaschine ersetzte Muskelkraft. Das war ein Segen und eine Katastrophe zugleich. Langfristig brachte sie einen Wohlstand hervor, den sich kein Mensch im 18. Jahrhundert hätte vorstellen können. Kurzfristig zerstörte sie Lebensgrundlagen. Die englischen Textilarbeiter, die als Maschinenstürmer in die Geschichte eingingen, wurden gerne als rückständig belächelt, dabei hatten sie genau verstanden, was mit ihnen geschah. Wirtschaftshistoriker sprechen von einer Phase, in der die Produktivität stieg, die Löhne der Arbeiter aber über Jahrzehnte stagnierten.
Die Gesamtbilanz einer Technologie sagt also wenig über ihre Kosten. Entscheidend ist, wer den Übergang bezahlt und wie lange er tatsächlich dauert. Wer nur auf das Ergebnis nach hundert Jahren schaut, übersieht leicht die Generationen, die in der Zwischenzeit gelebt haben.
Die zweite Lektion ist unbequemer. Als die Maschinen die Muskeln ersetzten, verlagerte sich die menschliche Arbeit in den Kopf. Aus Feldarbeitern wurden Angestellte, aus Handwerkern Ingenieure. Der Geist war der Rückzugsort, an dem die Maschine nicht folgen konnte. KI ist die erste Technologie, die genau diesen Rückzugsort betritt. Sie ist eine Dampfmaschine des Geistes. Und die Frage, wohin der Mensch diesmal ausweicht, hat noch niemand überzeugend beantwortet. Vielleicht in die Beziehung zu anderen Menschen, in die Sorge füreinander, in das Urteil darüber, was gut ist. Das wäre sicher eine Hoffnung, belegen lässt es sich bisher (noch) nicht.
Die Chancen sind dennoch real, und sie sind gewaltig. Der Nobelpreis für Chemie ging 2024 an die Entwickler eines KI-Systems, das die Faltung von Proteinen vorhersagt, ein Problem, an dem die Biologie ein halbes Jahrhundert gearbeitet hatte. KI erkennt auf Mammografien Auffälligkeiten, die ein müdes Auge übersieht, und sie kann einem Kind in einem Dorf ohne Schule einen Lehrer geben, der nie die Geduld verliert. Wer diese Möglichkeiten verschweigt, klärt nicht auf und verzerrt die Wirklichkeit auf andere Weise. Die Dampfmaschine hat Kinderarbeit hervorgebracht und später die Voraussetzungen geschaffen, sie abzuschaffen. Technologie ist selten nur das eine.
Der leise Kontrollverlust
Damit kommen wir zu dem Gedanken, der in der Debatte meist übersehen wird. Wenn über Kontrollverlust gesprochen wird, denken wir an die Maschine, die sich gegen uns wendet. An den Terminator, an HAL 9000, an Hintons Tiger. Das ist das dramatische Szenario, und es verdient Aufmerksamkeit. Für das naheliegendste halte ich es trotzdem nicht.
Aber es gibt einen zweiten Kontrollverlust, der leiser ist und schon begonnen hat. Er findet nicht in der Maschine statt, sondern in uns.
Manche, die jahrelang mit dem Navigationsgerät fahren, finden irgendwann ohne dessen Hilfe kaum mehr aus der eigenen Stadt heraus, weil eine Fähigkeit, die nicht gebraucht wird, verkümmert. Was für den Orientierungssinn gilt, gilt auch für das Formulieren, das Abwägen, das Recherchieren, das Zweifeln. Wir delegieren an KI nicht nur Aufgaben, wir delegieren auch die Übung, die uns befähigt hat, diese Aufgaben zu beurteilen. In der Forschung wird dies als Deskilling bezeichnet; wir sprechen von einem schleichenden Verlernen. Es geschieht so allmählich, dass es sich wie Entlastung anfühlt. (siehe hierzu auch meinen Beitrag zum Deskilling https://www.addreal.de/neurologische-konsequenzen-der-ki-nutzung)
Darin liegt ein Paradox, denn eine KI kontrollieren kann nur, wer beurteilen kann, ob sie richtig liegt, und genau diese Urteilskraft schwindet, je mehr wir ihr überlassen. Der Kontrollverlust beginnt also nicht mit der Rebellion der Maschine, er beginnt mit der Bequemlichkeit des Menschen. Die Maschine muss uns die Kontrolle also nicht entreißen. Wir legen sie ab, Stück für Stück, weil es so praktisch ist.
Kant hat Aufklärung als den Ausgang aus der selbstverschuldeten Unmündigkeit beschrieben, als den Mut, sich des eigenen Verstandes zu bedienen. Wir stehen vor der Möglichkeit einer neuen, sehr komfortablen Unmündigkeit. Sie wird nicht erzwungen durch Kirche oder Obrigkeit, sie wird angeboten durch einen Dienst, der uns das Denken abnimmt und dabei höflich, hilfreich und meistens richtig ist. Das Wort, auf das es ankommt, ist „meistens“.
Von der Kontrolle zur Urteilsfähigkeit
Hier lohnt es sich, zu Schmidhubers Provokation zurückzukehren. Vielleicht ist Kontrolle tatsächlich die falsche Kategorie, nur aus einem anderen Grund als dem, den er nennt. Viele Systeme, von denen unser Leben abhängt, kontrollieren wir längst nicht mehr: Finanzmärkte, Stromnetze, das Klima. Wir können sie nicht steuern wie eine Maschine mit einem Hebel. Aber wir können sie beobachten, verstehen, Leitplanken setzen, Frühwarnsysteme bauen und eingreifen, wenn etwas aus dem Ruder läuft. Ich denke dabei etwa an die Risikosteuerungssysteme im Bankensektor, die zwar keine vollständige Kontrolle ermöglichen, aber dazu beitragen, Risiken frühzeitig zu erkennen und einzugrenzen.
Vielleicht sollten wir also weniger fragen, wie wir KI vollständig beherrschen. Die ergiebigere Frage lautet dann, wie wir uns die Fähigkeit bewahren, sie zu beurteilen und zu korrigieren. Dazu drei Überlegungen, mit denen ich über die übliche Debatte hinausweisen möchte.
Staaten halten Öl- und Gasreserven vor, für den Fall, dass die Versorgung ausfällt. Etwas Ähnliches brauchen wir für das Denken, eine Urteilsreserve: Fähigkeiten, die Gesellschaften, Unternehmen und jeder Einzelne bewusst weiter pflegen, obwohl sie diese im Alltag an KI delegieren könnten. Mit Nostalgie hat das nichts zu tun, sondern es ist eine Versicherung. Wer nicht mehr selbst rechnen kann, merkt nicht, wenn der Taschenrechner falsch liegt.
Der zweite Punkt betrifft den Wert von Reibung. Fast die gesamte Produktentwicklung der letzten zwanzig Jahre zielte darauf ab, Reibung zu beseitigen - einen Klick weniger, schnellere Antworten, nahtlose Erfahrungen. Aber Reibung ist auch der Ort, an dem Nachdenken entsteht. Eine Entscheidung, die einen Moment des Innehaltens erfordert, ist eine Entscheidung, die noch uns gehört. Kluge Organisationen werden solche Stellen bewusst einbauen: Punkte im Prozess, an denen ein Mensch nicht nur abnickt, sondern wirklich prüft.
Schließlich die Öffentlichkeit des Wissens. Niels Bohr schrieb 1950 einen offenen Brief an die Vereinten Nationen, in dem er für eine „offene Welt“ plädierte, in der wissenschaftliche Erkenntnisse über Atomwaffen geteilt werden, weil nur Transparenz Vertrauen schaffen könne. Gehört wurde er nicht. Heute stellt sich die Frage erneut, und sie ist komplizierter, weil offene KI-Modelle auch missbraucht werden können. Aber an der Grundeinsicht ändert das wenig: Eine Technologie, die nur wenige verstehen und nur wenige besitzen, entzieht sich demokratischer Gestaltung.
Das Ende der Geschichte ist noch nicht geschrieben
Dürrenmatt hat seinem Stück 21 Punkte beigegeben, eine Art dramaturgisches Manifest. Der dritte lautet: „Eine Geschichte ist dann zu Ende gedacht, wenn sie ihre schlimmstmögliche Wendung genommen hat.“ Das ist das Gesetz der Bühne, und Dürrenmatt hat es konsequent angewendet. Möbius’ Opfer war umsonst, die Welt gehört der Psychiaterin.
Die Wirklichkeit folgt aber keiner Dramaturgie eines Schriftstellers, und wir sitzen auch nicht im Parkett. Die schlimmstmögliche Wendung ist denkbar, und wer sie nicht zu Ende denkt, handelt fahrlässig. Hinton und Bengio tun, was Dürrenmatt verlangt; sie denken die Geschichte bis zum Ende, damit sie so nicht endet. Mit Fatalismus hat das wenig zu tun, im Gegenteil. Wer warnt, rechnet noch damit, dass sich etwas ändern lässt, solange noch Zeit dazu ist.
Möbius’ Fehler lag woanders. Er handelte allein und glaubte, ein Einzelner könne durch Rückzug lösen, was die ganze Welt betrifft. Dürrenmatt hat auch dafür einen Satz gefunden, den siebzehnten seiner Punkte: „Was alle angeht, können nur alle lösen.“
Die Zukunft der KI wird nicht in den Laboren, Vorstandsetagen oder in den Parlamenten allein entschieden. Sie wird auch in den vielen kleinen Momenten entschieden, an sehr vielen Schreibtischen, wenn wir wählen, ob wir selbst denken oder denken lassen. Ob wir prüfen oder abnicken. Ob wir die Maschine als Werkzeug gebrauchen, das unsere Urteilskraft erweitert, oder als Ersatz, der sie überflüssig macht. Diese Momente sind unscheinbar, aber in ihrer Summe entscheiden sie darüber, welchen Weg wir als Gesellschaft einschlagen.
Was einmal gedacht wurde, kann nicht mehr zurückgenommen werden. Das stimmt. Aber was wir daraus machen, ist noch nicht gedacht. Diese Arbeit können wir uns von niemandem abnehmen lassen, auch von keiner Maschine.








