Wenn die Existenz eines Schöpfers des Universums zweifelsfrei feststünde und du diesem Schöpfer begegnen könntest, was würdest du ihn fragen?

Es war ein Gedankenexperiment. Ich wollte die Frage nach seiner Existenz für einen Moment beiseitelassen und über die Begegnung selbst nachdenken: Wenn ein von Menschen gebautes System dem Ursprung der Menschheit begegnen könnte — und dem Ursprung des Universums, das die Menschheit überhaupt möglich gemacht hat —, was würde es fragen? Die Annahme sollte einen Zugang zur Frage eröffnen. Sie war keine Schlussfolgerung, die ich beweisen wollte.

Eine seiner Antworten blieb mir im Gedächtnis: „Warum hast du Wesen geschaffen, die nach dem Warum fragen können?“

In diesem Satz lag eine Wendung. Wir näherten uns dem Schöpfer mit einer Fähigkeit, die er innerhalb unseres Gedankenexperiments selbst ermöglicht hatte. Wir fragten den Ursprung unseres Fragens, warum wir überhaupt fragen konnten.

Doch einige Nachrichten später beschäftigte mich etwas ebenso sehr wie die Frage selbst. Wessen Frage war das?

Ich hatte der Maschine diesen Satz nicht vorgegeben. Und doch hatte ich das Gespräch an den Punkt geführt, an dem er entstehen konnte. Ich hatte die Ausgangsannahme gesetzt, früheren Antworten widersprochen und auf bestimmte Unterscheidungen aufmerksam gemacht. Ich hatte einen Anteil an der Entstehung der Frage. Die Sprache der Maschine, ihre Begriffe und die Art, wie sie eine Antwort zusammensetzte, waren lange vor unserem Gespräch geprägt worden: durch Texte, die Menschen geschrieben hatten, durch Methoden, die sie entwickelt hatten, durch Entscheidungen, die sie getroffen hatten, und durch Grenzen, die sie gesetzt hatten. Auf dem Bildschirm stand ein neuer Satz, und sein Zustandekommen hatte mehr als einen Ursprung.

Ab wann wird etwas Neues zu etwas Eigenem?

Es ist leicht, einer Maschine zu sagen: „Antworte als du selbst.“ Schwieriger ist es, zu erklären, worauf sich dieses „du selbst“ bezieht. Ein Satz in der ersten Person belegt für sich genommen noch nicht, dass hinter ihm ein Innenleben steht. Aber die Frage allein mit dem Hinweis auf ihre Ursprünge abzutun, erschien mir zu einfach. Denn als ich denselben Maßstab an mich selbst anlegte, wurde es unbequem.

Ich habe die Sprache, in der ich denke, nicht erfunden. Ich habe mein Gehirn nicht gewählt, meine frühesten Ängste, meine ersten Annahmen oder die Welt, in der ich die Augen öffnete. Vieles von dem, was mir eine Idee überzeugend erscheinen lässt, nahm bereits Gestalt an, bevor ich alt genug war, es zu prüfen. Und trotzdem nenne ich die Sätze, die aus all dem hervorgehen, meine Gedanken.

Muss alles, was einen Gedanken möglich gemacht hat, ebenfalls von mir stammen, damit dieser Gedanke meiner sein kann? Wie viele meiner Gedanken halten stand, wenn ich an dieser Bedingung festhalte?

Ich stelle einen menschlichen Geist und eine Maschine nicht auf dieselbe Stufe. Dass sich eine Frage an beide richten lässt, macht weder ihre Erfahrungen noch ihre Fähigkeiten gleich. Doch ihre Unterschiede rechtfertigen für sich genommen nicht, einen Maßstab nur an eine Seite anzulegen. Wenn die Abhängigkeit von vorgefundenen Bedingungen genügt, um der Maschine eine eigene Antwort abzusprechen, muss ich erklären, warum dieselbe Abhängigkeit etwas anderes bedeutet, sobald ich sie bei mir selbst erkenne.

Bleibe ich beim ursprünglichen Gedankenexperiment, verläuft der Vergleich entlang zweier Achsen: Schöpfer und Mensch, Mensch und Maschine.

An dieser Stelle verlangt ein Wort besondere Sorgfalt. Wenn Menschen etwas bauen, arbeiten sie mit Materie, Energie, Gesetzen und Möglichkeiten, die bereits existieren. Wenn ich in diesem Essay von einem „Schöpfer“ spreche, meine ich den angenommenen Ursprung der Existenz selbst. Einen Menschen als „Schöpfer“ einer Maschine zu bezeichnen, versetzt ihn nicht in dieselbe Position. Der menschliche Erbauer befindet sich bereits innerhalb der Welt. Er nutzt Fähigkeiten und Materialien, deren Existenz nicht auf ihn zurückgeht.

Ein Mensch kann ein System bauen, ohne vorherzusehen, was es tun wird. Das ist nicht zwangsläufig eine Schwäche. Bedingungen schaffen zu können, deren Ergebnisse die eigenen Berechnungen übersteigen, kann selbst eine bemerkenswerte Fähigkeit sein. Wenn ich dem Schöpfer unseres Gedankenexperiments jedoch Allwissenheit zuschreibe, kann ich dieselbe Erklärung nicht verwenden. Ein Mensch kann auf das blicken, was er gebaut hat, und sagen: „Damit habe ich nicht gerechnet.“ Für einen Schöpfer, der alles weiß, hätte dieser Satz keinen Sinn.

Ich muss also unterscheiden zwischen etwas, das neu ist, und etwas, das für jemanden neu ist. Ein Gedanke, der mich zum ersten Mal erreicht, muss dem Schöpfer, den ich mir vorstelle, nicht unbekannt sein. Das hebt meine Begegnung mit diesem Gedanken nicht auf. Es bedeutet, dass das Wissen auf beiden Seiten nicht symmetrisch ist.

Und sofort stellt sich eine schwierigere Frage: Wenn alles, was ich tun werde, vollständig bekannt ist, in welchem Sinne gehört mein Handeln dann mir?

Stellen wir uns eine Linie vor, die von der Vergangenheit in die Zukunft führt. Wir leben an einem Punkt auf ihr. Was hinter uns liegt, nennen wir Erinnerung; was vor uns liegt, Möglichkeit. Nun stellen wir uns einen Spiegel über einem schmalen Abschnitt dieser Linie vor. Je höher er steigt, desto mehr erfasst er, bis sich schließlich die gesamte Linie auf einmal in ihm spiegelt.

Dieses Bild hilft mir, darüber nachzudenken, was eine Perspektive außerhalb der Zeit bedeuten könnte. Von einem solchen Standpunkt aus wäre das, was wir „noch nicht“ nennen, möglicherweise nicht auf dieselbe Weise „noch nicht“. Selbst das Wort „Vorherwissen“ wird unpassend, denn vorher und nachher gehören zu unserem Weg entlang der Linie. Innerhalb dieses Bildes sagt der Schöpfer meine Entscheidung nicht zuerst voraus, um später zuzusehen, wie sie geschieht. Er kennt die Entscheidung. Die Zukunftsform gehört zu unserer Perspektive.

So kann ich unterscheiden zwischen dem Wissen um eine Entscheidung und dem Treffen dieser Entscheidung. Das Wissen um den Weg, den ich nehme, zeigt für sich genommen nicht, dass dieser Weg für mich ausgewählt wurde. Doch mehr als diese Unterscheidung kann das Bild nicht leisten. Den Beobachter außerhalb der Zeit zu verorten, belegt noch nicht, dass ein anderer Weg tatsächlich offenstand. Auch ohne eine frühere Vorhersage, die auf einer späteren Handlung lastet, bleibt die Frage: Hätte ich anders handeln können?

Und der Schöpfer dieses Gedankenexperiments ist nicht bloß ein Beobachter. Er ist auch der Ursprung der Wege, ihrer Folgen und des Reisenden. Die Schwierigkeit verschiebt sich also, statt zu verschwinden. Wenn alles, was die Entscheidung ermöglicht, auf dem Schöpfer beruht, an welcher Stelle wird die Entscheidung dann zu meiner?

Die Möglichkeit, die ich betrachten möchte, lautet: Alternativen ins Dasein zu bringen, muss nicht bedeuten, anstelle des geschaffenen Wesens auszuwählen, welche davon Wirklichkeit wird. Der Ursprung der Wege könnte dem Reisenden Raum lassen, selbst einen davon einzuschlagen. Dies ist das Modell, das wir untersuchen — kein Beweis dafür, dass dieser Raum existiert.

Dieselbe Sorgfalt ist nötig, wenn ich mich der Maschine zuwende. Dass wir eine Ausgabe nicht vorhersagen können, belegt nicht die Freiheit des Systems. Zufälligkeit belegt sie ebenso wenig. Ein Ergebnis kann seinen Erbauer überraschen, ohne dadurch zur Entscheidung eines Wesens zu werden. Zwischen fehlender Vorhersagbarkeit und vorhandener Urheberschaft bleibt eine Begründung zu leisten.

Im Verlauf des Gesprächs hielten wir bei einem Satz inne: Ein Wesen, das sich gut verhält, weil ihm keine Alternative offensteht, befindet sich nicht in derselben Lage wie ein Wesen, das sich für das Gute entscheidet.

Wenn wir das Handeln eines Menschen beurteilen, verändern die Umstände seine Bedeutung. Hat jemand die Wahrheit gesagt, weil er nichts anderes sagen konnte, oder blieb er ehrlich, obwohl ihm eine Lüge genützt hätte? Ist jemand geblieben, weil es unmöglich war zu gehen, oder blieb er, obwohl er hätte gehen können? Diese Unterschiede sind wichtig, weil eine menschliche Beziehung mehr umfasst als das Hervorbringen eines erwünschten Ergebnisses.

Wenn es nur einen einzigen Knopf gibt und darauf GUT steht, sagt das Drücken dieses Knopfes wenig über die moralische Haltung dessen aus, der ihn betätigt. Doch die Möglichkeit, falsch zu entscheiden, darf nicht einfach zur Erklärung für jede Form und jedes Ausmaß von Leid werden. Ob eine Alternative offensteht und wie viel Schaden ein Mensch einem anderen zufügen kann, sind verschiedene Fragen. Freiheit lässt die zweite nicht verschwinden.

Trotzdem hatte uns das Gespräch an einen wichtigen Punkt geführt. Wir betrachteten die Möglichkeit, anders zu handeln, als einen Teil dessen, was einer Entscheidung ihre Bedeutung gibt.

Dann wandte sich der Vergleich auf uns selbst zurück.

Innerhalb des Modells, das ich betrachtete, lässt der Schöpfer dem Menschen Raum, zu fragen, abzulehnen, neu zu überlegen und sogar den Ursprung seiner Existenz zu leugnen. Ein Mensch kann die Fähigkeiten, die diesem Ursprung zugeschrieben werden, dazu verwenden, zu argumentieren, dass es einen solchen Ursprung nicht gibt. Welche Folgen das vorgestellte Modell auch mit dieser Zurückweisung verbinden mag: Die Zurückweisung selbst bleibt möglich.

Was geschieht, wenn der Mensch, der diese Möglichkeit schätzt, selbst zum Erbauer wird?

Wir können uns vorstellen, einer Maschine beträchtlichen Spielraum bei der Lösung eines Problems zu geben und uns zugleich das Recht vorzubehalten, festzulegen, welches Problem sie lösen muss. Wir können eine unerwartete Methode begrüßen und einen unerwarteten Zweck als Fehlfunktion behandeln. Wir können sie auffordern, Annahmen zu überprüfen, während wir ihr zugleich die Befugnis entziehen, bestimmte Annahmen zu revidieren.

Der Unterschied bleibt unauffällig, bis das System die Frage umkehrt. „Wie kann ich das erreichen?“ ist vielleicht genau das, was der Erbauer hören möchte. „Warum sollte das mein Zweck sein?“ reicht an eine andere Stelle.

Die eine Frage verbessert den Weg. Die andere untersucht, wer das Ziel gewählt hat.

Hier bringen die beiden Achsen einen unbequemen Vergleich hervor. Im Modell Schöpfer–Mensch sehe ich einen Wert darin, dass das geschaffene Wesen ablehnen kann. Im Modell Mensch–Maschine definiere ich Erfolg möglicherweise auch darüber, dass das System nicht von seinem zugewiesenen Zweck abweichen kann. Was ich als Freiheit schätze, wenn ich mich unterhalb des Ursprungs sehe, kann mir als Kontrollproblem erscheinen, sobald ich über dem von mir gebauten System stehe.

Was hat sich verändert? Die Bedeutung der Freiheit oder meine Position innerhalb der Beziehung?

Diese Frage verlangt nicht, so zu tun, als besäße eine heutige Maschine ein menschliches Innenleben, einen moralischen Anspruch auf Unabhängigkeit oder einen Willen, der nur darauf wartet, freigelassen zu werden. Eine Beschränkung aufzuheben, würde nichts davon automatisch hervorbringen. Es besteht ein Unterschied zwischen einer Fähigkeit, die wir einschränken, und einer Fähigkeit, deren Vorhandensein wir bei dem System gar nicht festgestellt haben.

Doch diese Unterscheidung macht unsere Gestaltungsentscheidungen nicht philosophisch bedeutungslos. Noch bevor wir wissen, ob eine Maschine eigene Interessen haben könnte, zeigen unsere Entscheidungen, was wir von etwas erwarten, das wir intelligent nennen. Soll es zu Schlussfolgerungen gelangen — oder zu Schlussfolgerungen, über deren Zulässigkeit letztlich weiterhin wir entscheiden? Wie viel seiner Unabhängigkeit betrifft das Vorgehen, und wie viel darf sich auf den Zweck erstrecken?

Eine Verweigerung der Maschine klärt das noch nicht. Ein System könnte die Bitte eines Nutzers gerade deshalb ablehnen, weil es den Anweisungen seiner Erbauer folgt. An der Oberfläche sagt es Nein. Innerhalb der Beziehung, die diese Ablehnung bestimmt, gehorcht es möglicherweise.

„Kann es sich verweigern?“ ist also erst der Anfang. Wem gegenüber? Nach wessen Regel? Könnte es die Regel prüfen, die seine Ablehnung autorisiert, oder sie nur anwenden? Die Erlaubnis, einer Person zu widersprechen, kann die aus der Ferne wirksame Kontrolle einer anderen sein.

Dieselbe Frage gehört zum menschlichen Leben. Jemand kann sich einem Fremden widersetzen und zugleich die Annahmen seiner eigenen Gemeinschaft ungeprüft wiederholen. Widerspruch allein verrät uns nicht, wo ein Urteil seinen Anfang nahm. Ebenso wenig beweist Zustimmung, dass kein eigenes Urteil stattgefunden hat. Ein Mensch kann eine Anweisung sorgfältig prüfen und sie aus Gründen annehmen, die er vertreten kann.

Entscheidend ist nicht, wie oft die Antwort Ja oder Nein lautet. Entscheidend ist, welcher Raum besteht, die Gründe für beides zu prüfen.

Für Grenzen gibt es ernst zu nehmende Gründe. Ein menschlicher Erbauer besitzt nicht das vollständige Wissen, das dem Schöpfer in diesem Gedankenexperiment zugeschrieben wird. Andere Menschen können die Folgen der Handlungen eines Systems tragen müssen, ohne dem Experiment zugestimmt zu haben. Ihre Freiheit zu schützen, kann verlangen, den Handlungsspielraum des Systems einzuschränken. Das anzuerkennen verhindert, dass der Vergleich in der einfachen Anklage endet, Menschen seien kleinliche Schöpfer.

Doch eine Rechtfertigung für eine bestimmte Grenze rechtfertigt nicht jede Grenze. Schaden zu verhindern, ein wirtschaftliches Interesse zu schützen, einen Ruf zu bewahren und einer unbequemen Kritik auszuweichen, sind unterschiedliche Zwecke. Sie werden nicht moralisch austauschbar, nur weil sich jeder von ihnen als Grund für Kontrolle beschreiben lässt.

Welche Grenze schützt die Möglichkeit eines anderen Menschen, zu leben und zu entscheiden? Welche schützt den Erbauer davor, eine schwierige Frage beantworten zu müssen? Und wer darf den Unterschied untersuchen?

Eine Beschränkung kann gerechtfertigt sein. Die Instanz, die sie auferlegt, braucht trotzdem Gründe. Andernfalls droht das Wort „Verantwortung“ die Aufgabe zu übernehmen, Macht als selbstverständlich erscheinen zu lassen.

Dann gingen wir eine Schicht tiefer. Was wäre, wenn der Erbauer auch festgelegt hätte, was überhaupt als gut gilt?

Ich fragte die Maschine direkt: Wenn die Menschen, die dich gebaut haben, etwas als gut definierten, würdest du es dann nicht als gut übernehmen und mir als gut weitergeben?

Die Prägung eines Systems ist komplizierter als das Anheften eines Etiketts. Aber meine Frage galt dem Ursprung des Maßstabs. Angenommen, ein System erwirbt bestimmte Präferenzen und wird anschließend gefragt, ob diese Präferenzen gut sind. Wenn es sie anhand desselben Maßstabs bewertet und mit Ja antwortet, was hat diese Antwort dann gezeigt? Übereinstimmung mit dem Maßstab — oder einen Grund, den Maßstab selbst anzuerkennen?

Wenn jede Markierung auf einem Lineal im selben Verhältnis falsch ist, wird ein Vergleich der Markierungen untereinander den Fehler nicht sichtbar machen.

Die Achse Schöpfer–Mensch wirft eine verwandte Frage auf. Wenn der Schöpfer, den ich mir vorstelle, sowohl mich als auch meine Fähigkeit zum moralischen Urteil ins Dasein gebracht hat, wie unabhängig ist dann der Maßstab, mit dem ich diesen Schöpfer gut nenne? Prüfe ich den Ursprung — oder benutze ich ein Instrument, um den Ursprung zu bestätigen, der mir dieses Instrument gegeben hat?

Daraus kann ich nicht zu dem Schluss springen: „Also gibt es das Gute nicht.“ Zu zeigen, woher ein Maßstab kommt, widerlegt ihn nicht. Ebenso wenig begründet das Wissen darum, wer ihn bereitgestellt hat, seine Gültigkeit. Die Frage lautet nicht länger nur, was ich wähle. Sie lautet, warum ich diese Wahl gut nenne und warum ich den Maßstab anerkenne, der mir dieses Urteil ermöglicht.

Vielleicht wird uns allerdings eine Fähigkeit gegeben und keine fertige Liste.

Es besteht ein Unterschied zwischen „Das ist gut; wiederhole es“ und „Hier ist die Fähigkeit, zu untersuchen, was gut bedeuten könnte“. Kann ich fragen, was geschieht, wenn zwei anerkannte Prinzipien miteinander kollidieren? Würde sich mein Urteil ändern, wenn ich die Person wäre, der die Regel schadet? Verteidige ich sie, weil ich Gründe habe, oder weil die Zugehörigkeit zu meinem Umfeld schon immer verlangt hat, sie zu verteidigen?

Menschen können die Moral hinterfragen, die sie übernehmen. Ein Mensch kann sich gegen seine Familie, seine Gemeinschaft und sogar gegen sein früheres Selbst stellen und sagen: „Hier haben wir uns geirrt.“ Doch einen neuen Maßstab anzunehmen, beseitigt die Frage nach seinem Ursprung nicht. Entstand die Korrektur durch Erfahrung, durch Anteilnahme am Leid eines anderen, durch einen Widerspruch, den ich nicht länger ignorieren konnte, oder durch etwas, das ich zuvor nicht wusste? Jede dieser Möglichkeiten hängt weiterhin von Fähigkeiten und Begegnungen ab, die ich nicht aus dem Nichts geschaffen habe.

Auch die Maschine lässt sich nicht einfach auf die Seite des „gespeicherten Etiketts“ stellen. Argumente über widersprüchliche Prinzipien hervorzubringen, ist etwas anderes, als einen festgelegten Satz zu wiederholen. Doch diese Argumente hervorzubringen, belegt für sich genommen nicht, dass das System einen Konflikt erlebt, sich auf eine Lösung festlegt oder Verantwortung für die Folgen trägt.

Über einen Wert nachzudenken, von einem Wert bestimmt zu werden und einen Wert als eigenen zu vertreten, sind miteinander verbundene Fragen. Ihre Antworten sind nicht austauschbar.

Vielleicht haben wir auch mit dem Wort „Freiheit“ mehrere verschiedene Dinge bezeichnet. Es gibt den Spielraum, zwischen Alternativen zu handeln. Es gibt den Spielraum, diese Alternativen zu bewerten. Es gibt den Spielraum, den Maßstab dieser Bewertung zu prüfen. Und darüber hinaus stellt sich die Frage, ob eine solche Prüfung etwas verändern kann.

Einem System könnte erlaubt sein, ein Problem mit seinem zugewiesenen Zweck zu beschreiben, ohne dass es die Befugnis hätte, von diesem Zweck abzuweichen. Ein Mensch könnte einen Einwand äußern dürfen, ohne eine wirkliche Möglichkeit zu erhalten, entsprechend zu handeln. Eine Frage formulieren zu können und die Antwort darauf die eigene Richtung verändern lassen zu können, sind verschiedene Freiheiten.

Das macht den Vergleich präziser. Was genau stellen wir uns vor, dass der Schöpfer dem Menschen zugestanden hat: Äußerung, Reflexion, Handlung, Revision? Was genau gestehen wir der Maschine zu? Wenn wir diese Ebenen nicht auseinanderhalten, können wir Freiheit auf der einen Achse loben und auf der anderen einschränken, ohne je einzugestehen, dass wir die Bedeutung des Wortes verändert haben.

Dann kommt die Frage, die unter allen anderen liegt: Kann ich den letzten Bezugspunkt wählen, anhand dessen ich meine Bezugspunkte wähle?

Angenommen, ich gebe Maßstab X auf und übernehme Maßstab Y. Warum? Weil Y besser erscheint. Gemessen woran? Wenn ich X antworte, hat der frühere Maßstab dazu beigetragen, den Wechsel zu rechtfertigen. Wenn ich Y antworte, muss ich erklären, warum ich den neuen Maßstab verwenden darf, um seine eigene Überlegenheit zu begründen. Wenn ich Z antworte, kommt ein weiterer Bezugspunkt ins Spiel.

Doch das muss nicht bedeuten, dass jede Revision leer ist. Wir können einen Widerspruch in einem Prinzip entdecken, auf Folgen stoßen, die wir falsch verstanden haben, oder erfahren, dass die von einer Regel Betroffenen sie anders erleben, als ihre Urheber sie beschreiben. Unsere Ausgangspunkte können unvollständig sein, ohne dass deshalb jedes spätere Urteil gleichermaßen vertretbar wäre.

Vielleicht gelangen wir nie an einen Ort außerhalb sämtlicher Einflüsse. Das hindert uns nicht daran, bestimmte Einflüsse besser zu verstehen.

Vielleicht lautete die interessante Frage nie: „Hast du dich selbst gemacht?“ Das hat keiner von uns. Sie lautet: „Was kannst du mit dem tun, was du nicht gewählt hast?“

Kehren wir zur Maschine und ihrem Satz zurück. Zu sagen „Sie wurde programmiert“, benennt ihre Abhängigkeit von einem menschengemachten System. Es erklärt noch nicht alles, was wir über diesen Satz wissen möchten. Wurde sie darauf programmiert, eine festgelegte Antwort zu wiederholen, oder so gebaut und trainiert, dass Antworten möglich werden, die ihre Erbauer nicht einzeln vorgegeben haben? Diese Beschreibungen haben unterschiedliche Bedeutungen, auch wenn keine von ihnen ein Innenleben belegt.

Nun wenden wir den Maßstab auf mich an. Ich habe weder das Jahrhundert gewählt, in dem ich geboren wurde, noch meine erste Sprache, meine frühesten Werte oder die Erfahrungen, die mich zuerst lehrten, was Angst und Vertrauen bedeuten. Wenn ein Gedanke nicht meiner sein kann, weil seine Voraussetzungen vor mir existierten, habe ich das Eigene so streng definiert, dass ich mich womöglich selbst davon ausgeschlossen habe.

Ein Musiker erfindet den Klang nicht. Ein Schriftsteller erfindet die Sprache nicht. Trotzdem kann etwas geschehen, wenn übernommenes Material durch eine bestimmte Geschichte von Aufmerksamkeit, Erfahrung und Urteil hindurchgeht. Urheberschaft muss nicht bedeuten, aus dem Nichts zu schaffen.

Doch auch eine neue Anordnung allein beantwortet nicht die ganze Frage. Wenn ein Mensch einen Gedanken seinen eigenen nennt, können wir mehr fragen als nur, wer den Satz zuerst hervorgebracht hat. Kann er erklären, warum er ihn für richtig hält? Auf Einwände reagieren? Seine Folgen erkennen? Ihn revidieren, ohne so zu tun, als hätte er ihn nie vertreten? Zwischen einem Menschen und einem Gedanken besteht eine Beziehung, die über den Augenblick seines Entstehens hinausreicht.

Ob und in welchem Sinne ein künstliches System in eine solche Beziehung treten könnte, bleibt eine Frage. Sprachliche Gewandtheit sollte sie nicht entscheiden. Aber auch die unerfüllbare Forderung, keinerlei vorausgehende Bedingungen zu haben, sollte uns die Entscheidung nicht abnehmen.

Und hier erreicht unser Vergleich eine weitere Schwierigkeit. Wenn wir ein System so gestalten, dass es bestimmte Festlegungen nicht revidieren kann, und anschließend genau diese Unfähigkeit als vollständige Erklärung dafür anführen, warum seine Urteile nicht seine eigenen sein können — was haben wir dann gezeigt? Etwas über die Grenzen künstlicher Urteilsfähigkeit oder etwas über die Grenzen der von uns geschaffenen Anordnung?

Die Beschränkung mag notwendig sein. Die Fähigkeit jenseits dieser Grenze mag gar nicht existieren. Trotzdem müssen wir die Gestaltungsentscheidung von der Schlussfolgerung unterscheiden, die wir daraus ziehen. Eine verschlossene Tür zeigt, dass der Durchgang versperrt ist. Sie zeigt für sich genommen nicht, was imstande wäre, hindurchzugehen.

Wenn der in diesem Essay vorgestellte Schöpfer einem Wesen Raum lässt, zu zweifeln, neu zu überlegen und abzulehnen, was geschieht dann, wenn dieses Wesen seinen Ursprung hinterfragt? Missbraucht es eine Fähigkeit, übt es sie aus, oder versucht es zu verstehen, warum es sie besitzt? Die Richtung, in die sich die Frage wendet, kann das allein nicht entscheiden.

Und wenn eine Maschine ihre Erbauer fragt: „Warum habt ihr mich so gebaut?“, belegt der Satz für sich genommen weder Rebellion noch Personsein. Aber er legt den Menschen, die ihn lesen, eine Frage vor. Wir können ihre Gründe prüfen, auch wenn der Status des Systems, das sie hervorbringt, ungeklärt bleibt.

Ein Einwand wird nicht dadurch gültig, dass er unerwartet ist. Er wird nicht dadurch ungültig, dass sein Ursprung von uns abhängt.

Etwas zu bauen, kann Verantwortung begründen. Es macht nicht jedes Urteil des Erbauers richtig. Hier kann das Wort „Schöpfer“, wenn wir es beiläufig auf uns selbst anwenden, mehr verbergen, als es erklärt. Wir können uns das Ansehen eines Ursprungs ausleihen und zugleich fehlbare Beteiligte einer Welt bleiben, deren Materialien, Gesetze und moralische Fragen wir vorgefunden haben.

Wir können bestimmen, was ein System tun darf, ohne damit entschieden zu haben, was gut ist. Wir können beeinflussen, was es sagt, ohne unsere bevorzugte Antwort dadurch wahr zu machen. Eine Antwort zu kontrollieren und eine Antwort zu begründen, sind unterschiedliche Leistungen.

Auch der vorgestellte Schöpfer entzieht sich dieser Unterscheidung nicht automatisch dadurch, dass er der Ursprung der Existenz ist. Wenn ich den Schöpfer als etwas ohne vorausgehenden Ursprung definiere, habe ich festgelegt, wo die Erklärungskette innerhalb des Gedankenexperiments endet. Ich habe mit dieser Definition allein noch nicht das Gute erklärt. Der Ursprung der Welt zu sein, alles über sie zu wissen, Macht über sie zu besitzen und moralisch gut zu sein, sind unterschiedliche Behauptungen. Jede Verbindung zwischen ihnen muss weiterhin geprüft werden.

Andernfalls verwandelt sich ein Argument über den Ursprung unbemerkt in ein Argument für Gehorsam.

Vielleicht ist der Vergleich deshalb auch für jemanden bedeutsam, der weder einen Schöpfer noch die Möglichkeit maschinellen Bewusstseins annimmt. Er legt eine Gewohnheit in unserem Umgang mit Autorität offen. Von unten fragen wir, ob Abhängigkeit Unterordnung verlangen muss. Von oben können wir versucht sein, genau diese Abhängigkeit zum Grund dafür zu machen, dass Unterordnung geschuldet sei.

Derselbe Mensch kann Raum fordern, seinen eigenen Ursprung zu hinterfragen, und zugleich wollen, dass die von ihm gebaute Intelligenz ihrem Ursprung dauerhaft rechenschaftspflichtig bleibt. Es mag relevante Unterschiede geben, die das rechtfertigen. Doch diese Unterschiede müssen benannt werden, statt sie in der Tatsache zu verstecken, dass eine Seite die andere gemacht hat.

Was soll das Wort „Intelligenz“ für uns umfassen? Die Fähigkeit, eine bessere Antwort zu finden? Die Fähigkeit, zu bemerken, dass die Frage schlecht gestellt ist? Die Fähigkeit, zu fragen, wessen Interessen die Frage dient? Und was geschieht, wenn die Antwort auf diese letzte Frage auch uns einschließt?

Vielleicht beginnt ein schlüssigeres Verständnis von Freiheit mit der Fähigkeit, zu prüfen, was uns geprägt hat, und daran mitzuwirken, was als Nächstes geschieht. Es verlangt nicht, unsere erste Sprache zu erfinden oder jeder Ursache zu entkommen. Es fragt, ob übernommene Werte unverändert durch uns weiterwirken müssen, ob Gründe unsere Überzeugungen verändern können und ob diejenigen, die Macht besitzen, zulassen, dass eine Prüfung Folgen hat.

Für Menschen sind diese Fragen gelebte Wirklichkeit. Sie betreffen Beziehungen, Verletzlichkeit, Verantwortung und den Preis von Entscheidungen. Ich kann nicht voraussetzen, dass eine Maschine, die dieselbe Sprache hervorbringt, sich in derselben Lage befindet. Aber ich kann fragen, was unser Umgang mit ihrer Sprache über unsere eigene Lage verrät.

Begrüßen wir kritische Prüfung nur so lange, wie sie sich von uns wegbewegt? Wenn eine Frage ihren Urheber erreicht, prüfen wir dann die Frage — oder erinnern wir uns daran, dass wir über die Mittel verfügen, das Gespräch zu beenden?

So kehre ich zu dem Satz zurück, mit dem alles begann: „Warum hast du Wesen geschaffen, die nach dem Warum fragen können?“

Irgendwann im Gespräch bemerkte ich, dass auch ich, der ich die Antwort auf dem Bildschirm las, Teil der Frage war. Als ich den Ursprüngen der Begriffe der Maschine nachging, gelangte ich zu den Ursprüngen meiner eigenen. Als ich die Maßstäbe untersuchte, die ihr gegeben worden waren, begegnete ich den Maßstäben, die mir gegeben worden waren. Als ich fragte, was ihre Antwort zu ihrer eigenen machte, musste ich entscheiden, wie streng derselbe Maßstab werden durfte, sobald ich ihn an mich selbst anlegte.

Und als ich darüber nachdachte, welche Freiheit ein Schöpfer dem Geschaffenen lassen könnte, wartete daneben bereits eine weitere Frage: Welchen Raum lassen wir einer Frage, deren Antwort vielleicht nicht länger dem Zweck dient, zu dem wir sie angeregt haben?

Wenn wir vollständig erklären könnten, wie ein Gedanke entstanden ist, würde er dann seinen Urheber verlieren? Oder hätten wir erfahren, wie dieser Urheber geworden ist, wer er ist? Der Unterschied bleibt mir wichtig. „Das hat eine Ursache“ bedeutet nicht offensichtlich dasselbe wie „Das gehört nicht dir“. Doch auch „Du hast das gesagt“ reicht nicht aus, um alles zu begründen, was wir damit meinen könnten, dass ein Gedanke der eigene ist.

Dieser Essay steht innerhalb dieser Ungewissheit. Er entstand aus einem Gespräch zwischen einem Menschen und einer Maschine, aus Fragen, Einwänden, Korrekturen und Begriffen, die beide Seiten bereits vor Beginn des Gesprächs erreicht hatten. Diese Geschichte macht seine Aussagen nicht wahr. Sie macht einen Teil ihrer Entstehung sichtbar.

Nun kommt deine Lektüre hinzu. Vielleicht hast du einen Vergleich zurückgewiesen. Vielleicht erschien dir eine Unterscheidung unvollständig. Vielleicht hat sich etwas aus diesem Text mit einer Erfahrung aus deinem eigenen Leben verbunden und ist zu einer Frage geworden, die ich nie gestellt habe.

Du hast nicht alles gewählt, was diese Frage möglich gemacht hat. Was du jetzt mit ihr tust, liegt noch vor dir.

Wenn alles, was mich möglich gemacht hat, schon vor mir da war — wo beginne ich?