AEin heute veröffentlichter offener Brief fordert „alle KI-Labore auf, das Training von KI-Systemen, die leistungsstärker als GPT-4 sind, unverzüglich für mindestens 6 Monate zu unterbrechen“.
Dieses 6-monatige Moratorium wäre besser als gar kein Moratorium. Ich habe Respekt vor allen, die aufgestanden sind und es unterschrieben haben. Es ist eine Verbesserung am Rand.
Ich habe davon abgesehen, zu unterschreiben, weil ich denke, dass der Brief den Ernst der Situation unterschätzt und zu wenig verlangt, um sie zu lösen.
Weiterlesen: AI Labs in offenem Brief aufgefordert, die Bremsen zu betätigen
Das Schlüsselproblem ist nicht „menschlich-konkurrenzfähige“ Intelligenz (wie es in dem offenen Brief heißt); Das passiert, nachdem die KI zu intelligenter als menschlicher Intelligenz geworden ist. Wichtige Schwellenwerte sind dort möglicherweise nicht offensichtlich, wir können definitiv nicht im Voraus berechnen, was wann passiert, und es scheint derzeit vorstellbar, dass ein Forschungslabor kritische Grenzen überschreitet, ohne es zu merken.
Viele Forscher, die sich mit diesen Themen beschäftigen, einschließlich mir selbst, erwarten, dass das wahrscheinlichste Ergebnis des Baus einer übermenschlich intelligenten KI unter irgendetwas wie den gegenwärtigen Umständen darin besteht, dass buchstäblich jeder auf der Erde sterben wird. Nicht wie in „vielleicht irgendein entfernter Zufall“, sondern wie in „das ist das Offensichtliche, was passieren würde“. Es ist nicht so, dass Sie im Prinzip nicht überleben könnten, wenn Sie etwas viel Klügeres als Sie selbst erschaffen; es würde Präzision und Vorbereitung und neue wissenschaftliche Erkenntnisse erfordern und wahrscheinlich keine KI-Systeme haben, die aus riesigen, unergründlichen Ansammlungen von Bruchzahlen bestehen.
Mehr von ZEIT
Ohne diese Präzision und Vorbereitung ist das wahrscheinlichste Ergebnis eine KI, die nicht das tut, was wir wollen, und sich weder um uns noch um das empfindungsfähige Leben im Allgemeinen kümmert. Diese Art von Fürsorge ist etwas, das könnte grundsätzlich in eine KI durchdrungen sein, aber wir sind nicht bereit Und weiß derzeit nicht wie.
Ohne diese Fürsorge erhalten wir: „Die KI liebt dich nicht, noch hasst sie dich, und du bestehst aus Atomen, die sie für etwas anderes verwenden kann.“
Das wahrscheinliche Ergebnis, wenn die Menschheit einer entgegengesetzten übermenschlichen Intelligenz gegenübersteht, ist ein Totalverlust. Zu den gültigen Metaphern gehören „ein 10-Jähriger, der versucht, Schach gegen Stockfish 15 zu spielen“, „das 11. Jahrhundert, das versucht, gegen das 21. Jahrhundert zu kämpfen“ und „Australopithecus versucht zu kämpfen Ein weiser Mann“.
Um sich eine feindliche übermenschliche KI vorzustellen, stellen Sie sich nicht einen leblosen, buchstäblichen Denker vor, der im Internet lebt und böswillige E-Mails versendet. Stellen Sie sich eine ganze Alien-Zivilisation vor, die in Millionenfacher menschlicher Geschwindigkeit denkt und zunächst auf Computer beschränkt ist – in einer Welt von Kreaturen, die aus ihrer Perspektive sehr dumm und sehr langsam sind. Eine ausreichend intelligente KI wird nicht lange auf Computer beschränkt bleiben. In der heutigen Welt können Sie DNA-Strings per E-Mail an Labors senden, die Proteine nach Bedarf produzieren, sodass eine KI, die ursprünglich auf das Internet beschränkt war, künstliche Lebensformen bauen oder direkt zur postbiologischen molekularen Herstellung übergehen kann.
Wenn jemand eine zu mächtige KI baut, erwarte ich unter den gegenwärtigen Bedingungen, dass jedes einzelne Mitglied der menschlichen Spezies und alles biologische Leben auf der Erde kurz danach stirbt.
Da ist kein vorgeschlagener Plan dafür, wie wir so etwas tun und überleben könnten. Die offen erklärte Absicht von OpenAI ist es, einige zukünftige KI dazu zu bringen, unsere KI-Ausrichtungshausaufgaben zu erledigen. Das höre ich gerade Das ist der Plan sollte ausreichen, um jeden vernünftigen Menschen in Panik zu versetzen. Das andere führende KI-Labor, DeepMind, hat überhaupt keinen Plan.
Eine Randbemerkung: Nichts von dieser Gefahr hängt davon ab, ob KIs bewusst sind oder sein können; Es ist der Vorstellung von leistungsstarken kognitiven Systemen inhärent, die hart optimieren und Ergebnisse berechnen, die ausreichend komplizierte Ergebniskriterien erfüllen. Abgesehen davon würde ich meine moralischen Pflichten als Mensch nicht erfüllen, wenn ich nicht auch erwähnen würde, dass wir keine Ahnung haben, wie wir feststellen können, ob KI-Systeme sich ihrer selbst bewusst sind – da wir keine Ahnung haben, wie wir alles entschlüsseln können, was geht in den riesigen unergründlichen Arrays weiter – und deshalb können wir irgendwann unbeabsichtigt digitale Köpfe erschaffen, die wirklich bewusst sind und Rechte haben sollten und nicht besessen werden sollten.
Die Regel, die die meisten Menschen, die sich dieser Probleme bewusst sind, 50 Jahre früher unterstützt hätten, war, dass, wenn ein KI-System fließend sprechen kann und sagt, dass es sich seiner selbst bewusst ist und Menschenrechte fordert, dies ein harter Stopp für Menschen sein sollte, die diese KI nur beiläufig besitzen und es über diesen Punkt hinaus verwenden. Wir haben diese alte Linie im Sand bereits überwunden. Und das war wahrscheinlich richtig; ICH zustimmen dass aktuelle KIs wahrscheinlich nur das Gerede über Selbstbewusstsein aus ihren Trainingsdaten imitieren. Aber ich merke an, wie wenig Einblick wir in die Interna dieser Systeme haben, wir weiß eigentlich nicht.
Wenn das unser Zustand der Ignoranz für GPT-4 ist und GPT-5 die gleiche Größe eines riesigen Fähigkeitsschritts wie von GPT-3 zu GPT-4 ist, werden wir meiner Meinung nach nicht mehr berechtigterweise sagen können: „Wahrscheinlich nicht selbst- bewusst “, wenn wir die Leute GPT-5s machen lassen. Es wird nur „Ich weiß nicht; Niemand weiß.” Wenn Sie sich nicht sicher sein können, ob Sie eine selbstbewusste KI erschaffen, ist dies nicht nur wegen der moralischen Implikationen des „selbstbewussten“ Teils alarmierend, sondern weil Unsicherheit bedeutet, dass Sie keine Ahnung haben, was Sie tun und das ist gefährlich und Sie sollten aufhören.
Am 7. Februar freute sich Satya Nadella, CEO von Microsoft, öffentlich darüber, dass das neue Bing Google dazu bringen würde, „herauszukommen und zu zeigen, dass sie tanzen können“. „Ich möchte, dass die Leute wissen, dass wir sie zum Tanzen gebracht haben“, sagte er.
So spricht der CEO von Microsoft in einer gesunden Welt nicht. Es zeigt eine überwältigende Kluft zwischen dem, wie ernst wir das Problem nehmen, und dem, wie ernst wir das Problem nehmen mussten, als wir vor 30 Jahren begannen.
Wir werden diese Lücke nicht in sechs Monaten schließen.
Es hat mehr als 60 Jahre gedauert, seit der Begriff der künstlichen Intelligenz zum ersten Mal vorgeschlagen und untersucht wurde, bis wir die heutigen Fähigkeiten erreicht haben. Lösen Sicherheit übermenschlicher Intelligenz – nicht perfekte Sicherheit, Sicherheit im Sinne von „nicht buchstäblich jeden töten“ – könnte sehr vernünftigerweise mindestens halb so lange dauern. Und die Sache mit übermenschlicher Intelligenz ist, dass Sie, wenn Sie das beim ersten Versuch falsch machen, nicht aus Ihren Fehlern lernen können, weil Sie tot sind. Die Menschheit lernt nicht aus dem Fehler und staubt sich ab und versucht es erneut, wie bei anderen Herausforderungen, die wir in unserer Geschichte gemeistert haben, weil wir alle gegangen sind.
Versuchen zu bekommen irgendetwas Gleich der erste wirklich kritische Versuch ist eine außergewöhnliche Frage, in der Wissenschaft und in der Technik. Wir kommen nicht mit so etwas wie dem Ansatz, der erforderlich wäre, um dies erfolgreich zu tun. Wenn wir irgendetwas auf dem aufstrebenden Gebiet der künstlichen allgemeinen Intelligenz für die geringeren Standards der technischen Strenge halten würden, die für eine Brücke gelten, die ein paar tausend Autos tragen soll, würde das gesamte Gebiet morgen geschlossen werden.
Wir sind nicht vorbereitet. Wir sind nicht auf Kurs, um in einem angemessenen Zeitfenster vorbereitet zu sein. Es gibt keinen Plan. Der Fortschritt bei den KI-Fähigkeiten ist dem Fortschritt bei der KI-Anpassung oder sogar dem Verständnis dessen, was zum Teufel in diesen Systemen vor sich geht, weit voraus. Wenn wir das tatsächlich tun, werden wir alle sterben.
Weiterlesen: Das neue KI-betriebene Bing bedroht Benutzer. Das ist nicht zum Lachen
Viele Forscher, die an diesen Systemen arbeiten, glauben, dass wir auf eine Katastrophe zusteuern, und mehr von ihnen wagen es, dies privat als öffentlich zu sagen; aber sie denken, dass sie den Vorwärtsdrang nicht einseitig aufhalten können, dass andere weitermachen werden, selbst wenn sie persönlich ihren Job kündigen. Und so denken sie alle, dass sie genauso gut weitermachen könnten. Dies ist ein dummer Zustand und ein unwürdiger Tod für die Erde, und der Rest der Menschheit sollte an diesem Punkt eingreifen und der Industrie helfen, ihr Problem des kollektiven Handelns zu lösen.
Einige meiner Freunde haben mir kürzlich berichtet, dass ihre Reaktion, wenn Menschen außerhalb der KI-Branche zum ersten Mal vom Aussterberisiko durch künstliche allgemeine Intelligenz hören, „vielleicht sollten wir dann AGI nicht bauen“.
Das zu hören gab mir einen winzigen Hoffnungsschimmer, weil es eine einfachere, vernünftigere und ehrlich gesagt vernünftigere Reaktion ist, als ich sie in den letzten 20 Jahren gehört habe, als ich versuchte, irgendjemanden in der Branche dazu zu bringen, die Dinge ernst zu nehmen. Jeder, der so vernünftig redet, verdient es zu hören, wie schlimm die Situation tatsächlich ist, und nicht gesagt zu bekommen, dass ein sechsmonatiges Moratorium das Problem beheben wird.
Am 16. März schickte mir mein Partner diese E-Mail. (Sie gab mir später die Erlaubnis, es hier zu exzerpieren.)
„Nina hat einen Zahn verloren! Wie bei Kindern üblich, nicht aus Unachtsamkeit! Zu sehen, wie GPT4 diese standardisierten Tests am selben Tag wegfegte, an dem Nina einen Meilenstein in der Kindheit erreichte, brachte einen emotionalen Aufschwung, der mich für eine Minute von den Füßen fegte. Es geht alles zu schnell. Ich mache mir Sorgen, dass es Ihren eigenen Kummer verstärken wird, wenn Sie dies teilen, aber ich möchte lieber mit Ihnen bekannt sein, als dass jeder von uns alleine leiden muss.“
Wenn es in dem Insider-Gespräch um den Kummer geht, dass Ihre Tochter ihren ersten Zahn verliert, und zu denken, dass sie keine Chance bekommt, erwachsen zu werden, glaube ich, dass wir über den Punkt hinaus sind, politisches Schach über ein sechsmonatiges Moratorium zu spielen.
Wenn es einen Plan für das Überleben der Erde gäbe, wenn wir nur ein sechsmonatiges Moratorium verabschieden würden, würde ich diesen Plan unterstützen. Es gibt keinen solchen Plan.
Hier ist, was tatsächlich getan werden müsste:
Das Moratorium für neue große Trainingsläufe muss unbefristet und weltweit gelten. Es darf keine Ausnahmen geben, auch nicht für Regierungen oder Militärs. Wenn die Politik mit den USA beginnt, dann muss China sehen, dass die USA keinen Vorteil suchen, sondern versuchen, eine entsetzlich gefährliche Technologie zu verhindern, die keinen wahren Besitzer haben kann und die alle in den USA, in China und auf der Erde töten wird . Wenn ich unendliche Freiheit hätte, Gesetze zu schreiben, könnte ich eine einzige Ausnahme für KIs ausarbeiten, die ausschließlich darauf trainiert sind, Probleme in Biologie und Biotechnologie zu lösen, nicht auf Texten aus dem Internet und nicht auf dem Niveau, auf dem sie anfangen zu reden oder zu planen; aber wenn das die Angelegenheit auch nur im Entferntesten verkomplizieren würde, würde ich diesen Vorschlag sofort über Bord werfen und sagen, dass wir einfach alles schließen sollen.
Schließen Sie alle großen GPU-Cluster (die großen Computerfarmen, in denen die leistungsstärksten KIs verfeinert werden). Schließen Sie alle großen Trainingsläufe. Legen Sie eine Obergrenze dafür fest, wie viel Rechenleistung jeder für das Training eines KI-Systems verwenden darf, und verschieben Sie sie in den kommenden Jahren nach unten, um effizientere Trainingsalgorithmen auszugleichen. Keine Ausnahmen für Regierungen und Militärs. Treffen Sie unverzüglich multinationale Vereinbarungen, um zu verhindern, dass die verbotenen Aktivitäten woanders hingehen. Verfolgen Sie alle verkauften GPUs. Wenn der Geheimdienst sagt, dass ein Land außerhalb des Abkommens einen GPU-Cluster aufbaut, haben Sie weniger Angst vor einem heftigen Konflikt zwischen Nationen als vor einer Verletzung des Moratoriums. bereit sein, ein Rogue-Rechenzentrum durch Luftangriff zu zerstören.
Stellen Sie nichts als Konflikt zwischen nationalen Interessen dar, machen Sie deutlich, dass jeder, der von Wettrüsten spricht, ein Dummkopf ist. Dass wir alle als eins leben oder sterben, ist keine Politik, sondern eine Tatsache der Natur. Machen Sie in der internationalen Diplomatie deutlich, dass das Verhindern von KI-Aussterbeszenarien als Priorität gegenüber dem Verhindern eines vollständigen nuklearen Schlagabtauschs angesehen wird und dass verbündete Nuklearländer bereit sind, ein gewisses Risiko eines nuklearen Schlagabtauschs einzugehen, wenn dies erforderlich ist, um das Risiko großer KI-Trainingsläufe zu verringern .
Das ist die Art von Richtlinienänderung, die dazu führen würde, dass mein Partner und ich einander festhielten und uns sagten, dass ein Wunder geschehen ist und dass jetzt eine Chance besteht, dass Nina vielleicht überlebt. Die vernünftigen Menschen, die zum ersten Mal davon hören und vernünftig sagen: „Vielleicht sollten wir das nicht tun“, verdienen es, ehrlich zu hören, was nötig wäre, damit das passiert. Und wenn Ihre politische Forderung so groß ist, geht sie nur durch, wenn die politischen Entscheidungsträger erkennen, dass ihre eigenen Kinder auch sterben werden, wenn sie wie gewohnt weitermachen und das tun, was politisch einfach ist.
Schließe alles ab.
Wir sind nicht bereit. Wir sind nicht auf dem Weg, in absehbarer Zeit wesentlich besser vorbereitet zu sein. Wenn wir so weitermachen, werden alle sterben, einschließlich der Kinder, die sich das nicht ausgesucht und nichts falsch gemacht haben.
Schalten Sie ihn aus.
Weitere Must-Reads von TIME
