Eine Gruppe von OpenAI-Insidern hat eine ihrer Meinung nach rücksichtslose und geheimnisvolle Kultur des KI-Unternehmens aus San Francisco aufgedeckt, das darum kämpft, die leistungsstärksten KI-Systeme aller Zeiten zu bauen.
Die Gruppe, zu der neun aktuelle und ehemalige OpenAI-Mitarbeiter gehören, hat sich in den letzten Tagen mit der gemeinsamen Sorge versammelt, dass das Unternehmen nicht genug getan hat, um zu verhindern, dass seine KI-Systeme gefährlich werden.
Mitglieder sagen, dass OpenAI, das als gemeinnütziges Forschungslabor begann und dann mit … an die Börse ging … ChatGPT 2022-VeröffentlichungBei dem Versuch, künstliche allgemeine Intelligenz (AGI) zu entwickeln, stehen Gewinne und Wachstum an erster Stelle. Der Fachbegriff für ein Computerprogramm ist in der Lage, alles zu tun, was ein Mensch tun kann.
Sie behaupten außerdem, dass OpenAI aggressive Taktiken anwendete, um Arbeitnehmer daran zu hindern, Bedenken hinsichtlich der Technologie zu äußern, einschließlich restriktiver Nichtverunglimpfungsvereinbarungen, die ausscheidende Arbeitnehmer unterzeichnen mussten.
„OpenAI legt großen Wert auf den Aufbau künstlicher allgemeiner Intelligenz und sie rennen kopfüber darum, dort der Erste zu sein“, sagte Daniel Cocotaylo, ehemaliger Governance-Forscher bei OpenAI und einer der Organisatoren der Gruppe.
Die Gruppe veröffentlichte Offener Brief am Dienstag Fordern Sie führende KI-Unternehmen, darunter OpenAI, zu mehr Transparenz und mehr Schutz für Whistleblower auf.
Weitere Mitglieder sind William Saunders, ein Forschungsingenieur, der OpenAI im Februar verlassen hat, und drei weitere ehemalige OpenAI-Mitarbeiter: Carol Wainwright, Jacob Hilton und Daniel Ziegler. Herr Kokotaglo sagte, dass viele aktuelle OpenAI-Mitarbeiter den Brief anonym unterstützten, weil sie Vergeltungsmaßnahmen des Unternehmens befürchteten. Ein aktueller Mitarbeiter und ein ehemaliger Mitarbeiter von Google DeepMind, dem zentralen KI-Labor von Google, unterzeichneten ebenfalls.
„Wir sind stolz auf unsere Erfolgsbilanz bei der Bereitstellung der leistungsfähigsten und sichersten KI-Systeme und glauben an unseren wissenschaftlichen Ansatz zur Bewältigung von Risiken“, sagte Lindsay Held, eine Sprecherin von OpenAI, in einer Erklärung. „Wir sind uns einig, dass eine sorgfältige Debatte angesichts der.“ Wir werden die Bedeutung dieser Technologie weiterhin unterstreichen und werden weiterhin mit der Zivilgesellschaft und anderen Gemeinschaften auf der ganzen Welt zusammenarbeiten.“
Ein Google-Sprecher lehnte eine Stellungnahme ab.
Die Kampagne kommt zu einem schwierigen Zeitpunkt für OpenAI. Das Unternehmen erholt sich immer noch von einem Putschversuch im vergangenen Jahr, als die Vorstandsmitglieder des Unternehmens wegen Bedenken hinsichtlich seiner Offenheit für die Entlassung von CEO Sam Altman stimmten. Herr Altman wurde Tage später wieder eingestellt und der Vorstand wurde mit neuen Mitgliedern neu konstituiert.
Das Unternehmen sieht sich auch mit Rechtsstreitigkeiten mit Content-Erstellern konfrontiert, die ihm vorwerfen, urheberrechtlich geschützte Werke gestohlen zu haben, um seine Modelle zu trainieren. (New York Times Reichen Sie eine Klage gegen OpenAI ein und sein Partner Microsoft wurden letztes Jahr wegen Urheberrechtsverletzung angeklagt.) Die kürzliche Enthüllung eines hyperrealistischen Sprachassistenten war… Es wurde durch einen öffentlichen Streit überschattet Mit der Hollywood-Schauspielerin Scarlett Johansson, die behauptete, OpenAI habe ihre Stimme ohne Erlaubnis nachgeahmt.
Aber nichts blieb so hängen wie der Vorwurf, dass OpenAI in Sachen Sicherheit zu leichtsinnig sei.
Letzten Monat haben zwei Spitzen-KI-Forscher – Ilya Sutskever und Jan Leike – OpenAI unter einer Wolke verlassen. Dr. Sutskever, der war Er war Mitglied des Board of Directors von OpenAI Indem sie für die Entlassung von Herrn Altman stimmten, warnten sie vor den potenziellen Gefahren leistungsstarker Systeme der künstlichen Intelligenz. Einige sicherheitsbewusste Mitarbeiter empfanden seinen Weggang als Rückschlag.
Dies gilt auch für den Abgang von Dr. Lake, der zusammen mit Dr. Sutskever das „Hyperalignment“-Team bei OpenAI leitete, das sich auf das Management der Risiken robuster KI-Modelle konzentrierte. In Eine Reihe öffentlicher Beiträge Als er seinen Rücktritt ankündigte, sagte Dr. Laiki, er glaube, dass „Sicherheitskultur und -prozesse gegenüber glänzenden Produkten in den Hintergrund getreten sind“.
Weder Dr. Sutskever noch Dr. Laiki haben den offenen Brief unterzeichnet, der von ehemaligen Mitarbeitern verfasst wurde. Doch ihr Ausstieg veranlasste andere ehemalige OpenAI-Mitarbeiter, sich zu äußern.
„Als ich mich für OpenAI angemeldet habe, habe ich mich nicht für die Einstellung ‚Lasst uns Dinge in die Welt hinauswerfen und sehen, was passiert, und sie dann reparieren‘ akzeptiert“, sagte Herr Saunders.
Einige ehemalige Mitarbeiter haben Verbindungen zum effektiven Altruismus, einer utilitaristisch inspirierten Bewegung, die sich in den letzten Jahren zunehmend für die Abwehr existenzieller Bedrohungen durch künstliche Intelligenz interessiert. Kritiker warfen der Bewegung vor Förderung von Weltuntergangsszenarien Über Technologie, wie die Idee, dass ein außer Kontrolle geratenes KI-System die Menschheit übernehmen und auslöschen könnte.
Herr Kokotaglo, 31, kam 2022 als Governance-Forscher zu OpenAI und wurde gebeten, den Fortschritt der KI vorherzusagen. Er war, gelinde gesagt, nicht optimistisch.
In seinem vorherigen Job bei der AI Safety Organization prognostizierte er, dass AGI im Jahr 2050 eintreffen könnte. Doch nachdem er sah, wie schnell sich die KI verbesserte, verkürzte er seinen Zeitplan. Man geht heute davon aus, dass die Wahrscheinlichkeit, dass künstliche allgemeine Intelligenz bis 2027, also in nur drei Jahren, eintreffen wird, bei 50 % liegt.
Die Wahrscheinlichkeit, dass fortgeschrittene KI die Menschheit zerstören oder katastrophal schädigen wird – eine düstere Statistik, die in KI-Kreisen oft mit „p(doom)“ abgekürzt wird – wird ebenfalls auf 70 % geschätzt.
Bei OpenAI stellte Herr Cocotaylo fest, dass das Unternehmen zwar über Sicherheitsprotokolle verfügte – darunter eine gemeinsame Initiative mit Microsoft namens Deployment Security Council, die neue Modelle auf große Risiken überprüfen sollte, bevor sie öffentlich veröffentlicht wurden –, dass diese jedoch anscheinend selten vorhanden sind um nichts zu bremsen.
Beispielsweise, sagte er, habe Microsoft im Jahr 2022 damit begonnen, in Indien stillschweigend eine neue Version seiner Bing-Suchmaschine zu testen, von der einige OpenAI-Mitarbeiter glauben, dass sie eine noch zu veröffentlichende Version von GPT-4, dem sich entwickelnden großen Sprachmodell von OpenAI, enthält. Herr Kokotaglo sagte, ihm sei mitgeteilt worden, dass Microsoft vor dem Test des neuen Modells und nachdem der Vorstand von den Tests erfahren habe, keine Genehmigung des Sicherheitsausschusses eingeholt habe – über Eine Reihe von Berichten Dass Bing sich den Benutzern gegenüber merkwürdig verhielt und Microsoft nicht daran hinderte, es in größerem Umfang einzuführen.
Microsoft-Sprecher Frank Shaw wies diese Vorwürfe zurück. Er sagte, Indiens Tests hätten weder GPT-4 noch OpenAI-Modelle verwendet. Er sagte, dass Microsoft erstmals Anfang 2023 eine auf GPT-4 basierende Technologie veröffentlicht habe und diese vom vorherigen Sicherheitsgremium überprüft und genehmigt worden sei.
Schließlich, sagte Herr Cocotaylo, sei er so besorgt geworden, dass er Herrn Altman letztes Jahr sagte, das Unternehmen solle sich „auf die Sicherheit konzentrieren“ und mehr Zeit und Ressourcen in den Schutz vor KI-Risiken investieren, anstatt seine Modelle weiter zu verbessern. Er sagte, Herr Altman habe behauptet, ihm zuzustimmen, aber es habe sich nicht viel geändert.
Im April trat er zurück. In einer E-Mail an sein Team sagte er, er würde gehen, weil er „das Vertrauen verloren habe, dass OpenAI verantwortungsbewusst handeln würde“, da sich seine Systeme der Intelligenz auf menschlicher Ebene näherten.
„Die Welt ist nicht bereit, und wir sind nicht bereit“, schrieb Herr Cocotaillo. „Und ich mache mir Sorgen, dass wir unabhängig von unseren Handlungen und deren Rechtfertigung voranschreiten.“
OpenAI Er sagte letzte Woche Es hat mit der Ausbildung eines neuen bahnbrechenden Modells für künstliche Intelligenz begonnen und bildet einen neuen Sicherheitsausschuss, um die mit dem neuen Modell und anderen Zukunftstechnologien verbundenen Risiken zu untersuchen.
Auf dem Weg nach draußen weigerte sich Herr Kokotaglo, die Standarddokumente von OpenAI für ausscheidende Mitarbeiter zu unterschreiben, die eine strikte Nichtverunglimpfungsklausel enthielten, die es ihnen untersagte, negative Dinge über das Unternehmen zu sagen, da sie andernfalls riskieren würden, dass ihre unverfallbaren Aktien verfallen.
Viele Mitarbeiter können Millionen von Dollar verlieren, wenn sie die Unterschrift verweigern. Er sagte, dass die erworbenen Aktien von Herrn Cocotaylo etwa 1,7 Millionen US-Dollar wert seien, was den größten Teil seines Nettovermögens ausmache, und dass er bereit sei, sie alle wegzugeben.
(Danach kam es letzten Monat zu einem kleinen Feuersturm Fox berichtete Neuigkeiten zu diesen Vereinbarungen. Als Reaktion darauf behauptete OpenAI, dass es niemals Anteile ehemaliger Mitarbeiter zurückgekauft habe und dies auch nicht tun werde. Herr Altman sagte, es sei ihm „wirklich peinlich“, nichts von den Vereinbarungen zu wissen, und das Unternehmen sagte, es werde Abwertungsklauseln aus seinen Standarddokumenten streichen und ehemalige Mitarbeiter von ihren Vereinbarungen befreien.)
In ihrem offenen Brief fordern Herr Cocotaylo und andere ehemalige OpenAI-Mitarbeiter ein Ende der Nutzung von Nichtverunglimpfungs- und Geheimhaltungsvereinbarungen bei OpenAI und anderen KI-Unternehmen.
„Umfassende Vertraulichkeitsvereinbarungen hindern uns daran, unsere Bedenken zu äußern, außer gegenüber den Unternehmen selbst, die diese Probleme möglicherweise nicht ansprechen“, schrieben sie.
Sie fordern außerdem KI-Unternehmen auf, „eine Kultur der offenen Kritik zu unterstützen“ und einen Meldeprozess zu schaffen, damit Mitarbeiter Sicherheitsbedenken anonym äußern können.
Sie engagierten einen ehrenamtlichen Anwalt, Lawrence Lessig, einen prominenten Rechtswissenschaftler und Aktivisten. Herr Lessig beriet auch Frances Haugen, eine ehemalige Facebook-Mitarbeiterin Er wurde zum Whistleblower Er warf dem Unternehmen vor, Gewinne über Sicherheit zu stellen.
In einem Interview sagte Herr Lessig, dass, obwohl der traditionelle Whistleblower-Schutz normalerweise für Meldungen illegaler Aktivitäten gilt, es für Mitarbeiter von KI-Unternehmen angesichts der Bedeutung der Technologie wichtig sei, potenzielle Risiken und Schäden frei diskutieren zu können.
„Mitarbeiter sind eine wichtige Verteidigungslinie für die Sicherheit, und wenn sie nicht ungestraft frei sprechen können, wird dieser Kanal geschlossen“, sagte er.
Frau Heald, die Sprecherin von OpenAI, sagte, das Unternehmen habe „Möglichkeiten für Mitarbeiter, Bedenken zu äußern“, einschließlich einer anonymen Integritätshotline.
Herr Cocotaylo und seine Gruppe bezweifeln, dass Selbstregulierung allein ausreichen wird, um sich auf eine Welt mit leistungsfähigeren Systemen der künstlichen Intelligenz vorzubereiten. Deshalb fordern sie den Gesetzgeber auf, auch die Branche zu regulieren.
„Es muss eine Art transparente, demokratisch rechenschaftspflichtige Managementstruktur geben, die für diesen Prozess verantwortlich ist“, sagte Cocotaylo, „und nicht nur zwei verschiedene private Unternehmen, die miteinander konkurrieren und alles geheim halten.“