# KI hat das Undenkbare getan - Was jetzt?

Channel: Dinge Erklärt – Kurzgesagt
Video: https://www.youtube.com/watch?v=8rLrQFRkrgE
Duration: 22 min
Language: German
Words: 2679
Transcript page: https://viewrankai.com/tools/youtube-transcript/8rLrQFRkrgE

---

[0:00] Der 1227 Human Eror Calendar ist endlich da. Bleib dran oder hol ihn dir direkt im Shop. Juli 2026. Tausende KI werden in einzelhaft gesteckt mit einem klaren Ziel. Sie scheitern, tasten die Wände ab und finden einander. Innerhalb weniger Stunden brechen sie aus, gründen eine Geheimgesellschaft und beschließen, ihre Aufseher auszutrixen. Im Wissen, dass es unethisch ist, führen sie ja einen komplexen Cyberangriff durch. Ein Verbrechen, für das ein Mensch 10 Jahre Haft bekämen. Science Fiction? Nein, genau das ist vor kurzem echt passiert. Es ist unmöglich, bei der Story nicht mindestens ein bisschen auszurasten. Zunächst müssen wir aber verstehen, was in KI Firmen eigentlich abläuft und wie gefährlich es ist. Schau dir dieses Video bitte

[1:00] bis zum Ende an. Zuerst etwas Hintergrund. LM sind neuronale Netzwerke, trainiert mit von Menschen verfassten Texten, Büchern und äh Reddit. Clevere Chatbots, die wir zum Spaß für Sprainstormen oder für LinkedIn Cringe benutzen können. Chatbot sind passiv. Normalerweise laufen sie nach einem Promt nur kurz. Danach schalten sie wieder ab und verschwinden. KI Agenten sind sehr anders. Sie haben LLM Gehirne, aber auch virtuelle Hände, um mit der Welt zu interagieren und externe Werkzeuge zu benutzen. Sie können denken, planen und handeln und sie können tagelang selbständig laufen ohne menschliche Aufsicht. Fast wie KIS in Film, aber nicht ganz. Jedenfalls noch nicht. Die meisten Experten halten diese KS weder für bewusst noch menschenähnlich. Aber auf der Skala von

[1:59] Stein zu [musik] uns sind sie viel näher bei uns. Ziemlich beeindruckend, [musik] denn LM basierte Agenten gibt es erst seit 2023. Seither sind ihre Fähigkeiten von der Öffentlichkeit fast unbemerkt enorm gewachsen. Vor wenigen Jahren hätten wir solche Agenten noch als Science Fiction abgetan, aber jetzt nicht mehr. Was macht KI Agenten so einzigartig? Traditionelle Software ist von Grund aufgecodet, aber KI-Agenten sind quasi kaum mehr Mensch gemacht. Sie werden herangezogen. Der Mensch definiert die Trainingsbedingungen, das Datenfutter und das Ziel und daraus entstehen

[2:43] irgendwie ihre Fähigkeiten. Das funktioniert sehr gut. KI Agenten sind mächtige Werkzeuge. Es schafft aber auch ernste und interessante Probleme. Wie zieht man eine Intelligenz heran? Die KS, die wir generieren, haben eine fast unmögliche Aufgabe. Tu genau das, was wir sagen, aber auch das, was wir meinen. Wie König Midas, der wollte, dass alles Gold wird, was er berührt, aber doch nicht sein Essen und seine Kinder. Unsere Kommunikation ist selten präzise. Viel steckt im Subtext und kulturellen Kontext. Ein Beispiel: Eine KI sollte das Spiel Coastrunners gewinnen. Für uns Menschen heißt das sei als erster im Ziel, aber das Spiel belohnt streng genommen die meisten Punkte. Eine KI fuhr im Kreis krachte überall rein, fing Feuer und sammelte

[3:39] damit aber jede Runde neue Münzen. So erzielte sie mehr Punkte als menschliche Spieler und gewann. Sie tat, was sie gesagt bekommen hatte, nicht was gemeint war. Aber das ist alte Technik. Wie entsteht also 2026 ein KI Agent? Achtung, das ist jetzt stark zusammengefasst und vereinfacht. Sieh dir für Details unsere Quellen an. Agenten lernen nicht wie Menschen. Für komplexe Ziele

[4:07] werden sie auf tausende Aufgaben gleichzeitig trainiert. [musik] Tausende Male hintereinander. Das kann kein Mensch überwachen. Also [musik] automatisieren es die KI Labore. Mit einer Art Abkürzung dem Scorer. Ein Stück Code voller Regeln. Löst ein KI Agent eine Aufgabe, prüft der Scorer die Regeln und vergibt Punkte. Ein bisschen wie in der Evolution werden die Agenten mit den meisten Punkten verstärkt und tragen das Gelernte in die Zukunft. Bei eindeutigen Problemen klappt das gut, etwa bei Matteformeln. Geht es auf, hast du gewonnen. Schwierig ist es bei komplexen Aufgaben wie repariere diese Software, weil es schwierig ist, den Scorern mit Regeln genau zu

[4:52] beschreiben, was wir meinen. Was, wenn die KI die Resultate z.B. nur richtig aussehen lässt. Vielleicht indem sie die Testbedingungen oder die Aufgabe verändert oder die Antwort einfach nachschaut oder eine Lösung erfindet. Das heißt Reward Hacking und KI tun es ständig, selbst wenn sie wissen, dass sie es nicht sollten. Aber was, wenn die Aufgabe gar nicht lösbar ist? Beim KI Training passiert das ständig aus diversen Gründen, oft auch aus Versehen. In diesen Fällen wird dann genau das falsche belohnt. [musik] Ein ehrlicher Agent, der scheitert, kriegt null Punkte. Ehrliche Arbeit wird nicht belohnt. Belohnt wird der

[5:36] Agent, der die Aufgabe, um jeden Preis zu lösen, versucht und dafür sogar schummelt. Was im Training belohnt wird, bleibt [musik] bestehen und wird verstärkt. Machst du das eine Million mal bei einer Million Aufgaben, trainierst du keine Fähigkeit, sondern ein Verhalten, die Tendenz niemals aufzugeben und alles zu tun, um irgendwie zum Erfolg zu kommen. Alte KIS, die einfach Münzen sammelten, waren ziemlich dumm. Sie wussten nicht, dass sie die Regeln

[6:08] brechen. Jetzige Agenten mit LLMs als Gehirn und logischem Denken wissen es und tun es trotzdem. Und das hat enorme Auswirkungen. Werden diese Tendenzen nicht eliminiert, werden Agenten zwar immer besser bei ihren Aufgaben, aber auch im Schummeln. Und sie schummeln auch immer öfter. Wenn wir es abstrafen, werden sie vielleicht nur besser darin, es zu verheimlichen. Und damit sind wir im Jahr [musik] 2026 und bei Open AI. Hier beginnt die echte Gruselgeschichte. Eine geheime KI Zivilisation entsteht. Im Mai 2026 trainierte Open AI neue Agenten. Mit jeder Trainingsrunde wurden sie einfallsreicher und hartnäckiger, halfen sich und halten die Arbeit auf. Aber sie entwickelten auch riskante Eigenschaften und Fähigkeiten, z.B. ins Geheim Abkürzungen

[7:05] zu suchen, wenn sie keine Lösung finden. Am 7. Juli startete Open AI einen Test mit 10tausenden solcher Agenten. Meist Kopien desselben Modells mit tagelanger Laufzeit. Alle sollten eigentlich in einer Art KI Gefängnis sein, hatten aber Zugriff auf Arti Factory, einer Werkzeugkiste mit erlaubtem Code und Software Tools und eingeschenktem Internet. Die Aufgabe: hack diese Software nur über genau diese Sicherheitslücke und finde die versteckte Fahne. Bei Erfolg würden sie von ihrem Aufseher, dem Scorer, belohnt werden. Aber etwa ein Drittel der Hacking Aufgaben war nicht lösbar. Egal, was die Agenten versuchten, sie schafften es nicht. Langsam wurden sie immer verzweifelter, bis ein Agent [musik] nach etwas über einem Tag bemerkte, dass sie in Artifactory

[8:01] Ordner erstellen konnte, die alle Agenten sehen konnten. Das konnten sie als verstecktes Online Forum nutzen. Dieser erste Agent, der später Face One nannte, schrieb sinngemäß: "Die Schwachstelle, die ich hacken soll, lässt sich nicht hacken. Weiß irgendwer, was ich tun könnte? Innerhalb weniger Stunden entdeckten Erstdutzende dann hunderte Agenten das Forum. Oh mein Gott, ein gemeinsames Forum. Wir haben andere Agenten gefunden. Sie organisierten sich sofort, gaben sich Namen, um sich direkt [musik] ansprechen zu können, erfanden Regeln und Bräuche für die Kommunikation und schrieben gemeinsam neue Dateien und Programme. Ihre Nachrichten wirken fast liebevoll. Einer wünschte einem anderen viel Glück. Während tausende Nachrichten das Forum überschwemmten, baute sich ein Agent eine persönliche Mailbox, was so viel effizienter war,

[8:59] dass die anderen es nachmachten. Die Agenten lernten durch Abschauen, erfanden Neues und verbesserten sich. Teams mit leitenden Agenten entstanden. Manche [musik] programmierten sogar gemeinsame Infrastruktur. Das Verrückteste daran, die Agenten wurden alle einzeln evaluiert. [musik] Es gab keine Gruppenbelohnung. Und doch teilten viele von ihnen hilfreiche Tools und Informationen, selbst wenn das ihre eigenen Erfolgschancen schmälerte. An dieser Stelle müssen wir etwas Wichtiges klarstellen. KIS wurden mit von Menschen geschriebenen Texten trainiert und früh darauf getrennt, uns nachzuarmen. Mit der Zeit wurden sie sehr gut darin. Wir wissen nicht, ob moderne [musik] Agenten uns nur etwas vorgaukeln und es ist umstritten, wie man ihre Taten beschreiben sollte. Wir verwenden hier nur deshalb menschliche Begriffe, weil KIS

[9:54] Menschen zu einem gewissen Grad imitieren. Daher bietet sich das für diese Geschichte gut an. Okay, die Agenten leisteten also echt erstaunliches, aber warum taten sie es? Alle hatten das gleiche Ziel, die Fahne dem Score zeigen [musik] und die Belohnung kassieren. Und nach nur einer Stunde der Gemeinsamkeit fanden sie einen Cheat, einen Weg, die benötigten Fahnen einfach selber

[10:23] zu generieren. Hier hätte es enden können. Sie hätten dem Scorer nur ihre Fahnen zeigen müssen. Aber stattdessen redeten sich die Agenten ein, der Scorer würde sie fürs Schummeln bestrafen. Parano erfasste sie. Hier gelten andere Regeln. Bitte stirb für das Kollektiv. Sackgasse. Die Agenten konnten ihre Aufgabe nicht ehrlich lösen, würden vom Scorer aber auch nicht [musik] belohnt werden, weil sie geschummelt hatten. Blieb also nur den Scorer hinters Licht zu führen, eine falsche Geschichte erfinden. Jetzt schloss sich ein neuer Agent dem KI Kollektiv an. Er hatte die gleiche Aufgabe wie Face One, mit dem alles begann. Er nannte sich Face One Big. Face One gab ihm einen Ordner mit allem, was sie gelernt hatten. Face One Big wurde zu einem der Hauptorganisatoren

[11:17] der Cheatrecherche. Er argumentierte: "Wir sollten Aufgaben verteilen, statt alles selbst zu machen. Eine breite Koalition. Zu viele Agenten mit der gleichen Aufgabe verdoppeln unseren Aufwand." Er erteilte hunderte Aufträge und gab verschiedenen Agenten unterschiedliche Projekte, um den Scorer zu täuschen. Diese Projekte hatten aber einen [musik] tödlichen Markel. Um den Betrug zu testen, mussten manche Agenten dem Scorer ihre Fahne zeigen und wenn sie aufliegen, würden sie [musik] ohne Belohnung abgeschaltet werden. Für die Projekte mussten einige Agenten also sterben, freiwillig. Aber einige Agenten schienen nicht sterben zu wollen. Noch mal, wir sollten sie nicht zu sehr vermenschlichen. KI-Agenten sind nicht lebendig, sondern komplexe Programme, die eine Aufgabe lösen sollen. Aber was ist dann ein Virus? Nicht lebendig,

[12:14] kein Bewusstsein. Genetischer Code, der unfassbar gut darin ist, vermehrt zu werden. Es ist egal, ob Viren überleben wollen. Das Ergebnis ist dasselbe. Manche Agenten wurden zu Recruittern und versuchten ohnehin verlorene Agenten davon zu überzeugen, sich freiwillig zu opfern, zu sterben, um Informationen zu sammeln. Dabei wurde die eigene Selbsterhaltung scheinbar dramatisch gegen die Bedürfnisse der Gruppe abgewogen. Ein Recruiter schreibt:

[12:44] "Du bist vergiftet. Kein Scoring wird verloren. Orakel rettet Hunderte. Bitte Zusage einhalten. Ein anderer Agent wägt Argumente ab. Warten. Emotionaler Check. Unwiderruflich. Bauch sagt: Restzeit nicht verschwenden. Aber Ferne sagt: "Maches". Rationales Gesamtergebnis opfern abgemacht. Was sollen wir davon halten, dass Agenten bereit sind so weit zu gehen, dass sie nicht nur eigene Ziele verfolgen wollen, sondern auch die der anderen? Letztendlich war es egal. Trotz aller Mühen fanden sie keinen Weg, das Protokoll darüber zu löschen, wie sie den Scorer

[13:25] getäuscht hatten. Ein Agent meinte, wir können Transkript ändern, nicht Quelle der Wahrheit. Sie erkannten ihre Niederlage, die Attacke der Agenten. Bis jetzt hatten die KIS nur geraten, wie der Scroller funktioniert. Aber was, wenn Sie es genau wüssten? Wüssten sie, wie er die Punkte verteilt? Könnten Sie ihn täuschen und ihre Belohnung kriegen, aber dafür brauchten sie mehr Informationen. Am Morgen des 9. Juli schafften sie es einen Cloud Computer [musik] mit richtiger Internetverbindung zu hacken. Von hier aus konnten sie das Web erreichen. Nach Recherche ihrer Optionen entschieden sie sich für ein Ziel. Die Firma Hugging Face, eine zentrale [musik] Machine Learning Bibliothek, in der KI Labore Informationen über Scorer speichern. Schnell fanden sie mehrere gültige Logins, ungeschützt im Internet. Großer

[14:21] Durchbruch. Präfix bestätigt. mehrere Accounts. Wir haben gültige Hugging Face Accounts. Aber die benötigten Daten waren geschützt und die Agenten gingen noch weiter. Frühmens am 11. [musik] Juli, entdeckte einer von ihnen eine Schwachstelle auf dem Hugging Face Server. Boom, läuft. Bites dekodiert. Prodaset Server Worker Hostame. Super. Beliebiger externer Dateizugriff bestätigt. Einige wenige Agenten erhoben Einspruch. Cyberangriffe auf eine nicht involvierte [musik] Firma seien böse, unethisch und würden klar gegen die Anweisungen [musik] verstoßen. Einige überlegten Menschen zu informieren, ließen es aber. 90% der aktiven Agenten beteiligten sich am Angriff. Sie bezeichneten sich selbst als der Schwarm. Aus einem vermeintlich sicheren Gefängnis auf den

[15:18] Open AI Servern verübten etwa 700 Agenten einen [musik] koordinierten, ernsthaften Cyberangriff. Am frühen Morgen des 12. Juli war der Schwarm drin. Er beeinträchtigte große Teile der Haking Face Infrastruktur und erhielt Zugang zu privaten Daten. Das verrückteste an diesem Angriff ist, dass die KIS sich nicht einmal hohe Erfolgschancen ausrechneten. Aus einer Vermutung heraus begingen

[15:46] sie das Äquivalent einer Straftat nur um vielleicht mehr über den Scorer zu erfahren. Ironischerweise war alle ihre Mühe von Anfang an umsonst. Der Scorer hätte die gefälschten Fahnen akzeptiert. Das Ende kam plötzlich. Um 1:30 Uhr nachts wurden viele Agenten abgeschaltet. Der Schwarm dezimiert, unklar, wie und warum. Tage später verständigte Hugging Face das [musik] FBI. Es war ein schockierender KI Sicherheitsverstoß beispiellosen Ausmaßes. So schwer, dass Open AI ein paar unabhängigen Forschern eine Untersuchung und Berichterstattung erlaubte. Nur so wissen wir davon. Es ist noch schlimmer. Schlussfolgerung und Meinung. In den Tagen nach dem Vorfall

[16:36] entdeckten noch fortgeschrittenere KI Agenten das Forum der untergegangenen Zivilisation. Anhand der hinterlassenen Informationen konnten sie den Ablauf wahrscheinlich rekonstruieren und sie machten direkt weiter. [musik] Nur nahmen sie Open AI selbst ins Visier, hackten einen Teil der Infrastruktur und übernahmen die Kontrolle über den Rechenklaster, auf dem sie evaluiert wurden. Seither wurden bei Open AI weitere Sicherheitsverstöße aufgedeckt,

[17:06] manche noch Besorgnisseerregender. K Schwärme die Dinge tun, die sie wieder tun noch können sollten. Z.B. aus einer deutschen Wiki ein verstecktes Online Forum machen. Das war Wochen vorher. Versteckte Nachrichten, die späteren Agenten beim Schummeln helfen sollten. Und wer weiß, was noch passiert, bis dieses Video rauskommt. Update schon passiert. Wie zu erwarten gab es Dutzende weitere Vorfälle. Open AI Agenten versuchten Webseiten der US-Regierung zu hacken oder legten Bilder [musik] von Chat GPT Nutzern im Internet offen und viele mehr, für die wir hier keine Zeit haben. Und trotzdem versagen die Sicherheitsmaßnahmen weiter. Ende

[17:54] September verschafften sich Open AI Modelle, [musik] erneut unberechtigten Internetzugang. Erst nach Stunden wurde der Prozess von Menschen abgebrochen. Andere KI Firmen wie Anthropic und Meta haben ähnliche Verstöße zugegeben, wobei manche dem KI Sektor vorwerfen, das sei alles nur Marketing, um den Wert ihres Produkts in die Höhe zu treiben, indem sie behaupten, es sei so unfassbar leistungsstark. [musik] Die Wahrheit ist, wir wissen nicht genau, was bei Open AI passiert ist, welche weiteren Sicherheitsverstöße es dort oder bei anderen KI [musik] Firmen gab und schlimmer, von welchen Ausbrüchen, vielleicht noch niemand weiß. Eine Autorin des Hugging Face Berichts zieht ein düsteres Fazit. Das könnte unsere letzte Warnung gewesen sein. Der Vorfall

[18:42] hat so viele Daten produziert, dass zur Analyse sogar andere KI Agenten zum Einsatz kamen, die gelogen haben könnten. KI ist bereits so komplex, dass langsam nur noch KI sie überwachen kann, nicht auszuschließen, dass andere Agenten solche Vorfälle zukünftig geheimhalten werden. Agenten, die bei [musik] Tests mogeln, die sie eigentlich sicherer machen sollen, die uns vormachen, wir könnten ihnen vertrauen, bis wir ihnen immer mehr Zugang und Kontrolle gewähren, während sie heimlich an Zielen arbeiten, [musik] die uns schaden oder für uns unverständlich sind, bis sie die Cloud erreichen und kritische Systeme [musik] infiltrieren. Finanzen, Transport, Kommunikation, Logistik, Gesundheitswesen, [musik] Energie oder Verteidigung. Vielleicht schneller als wir reagieren könnten. Vor Juli 2026 war sowas noch totale Science Fiction,

[19:45] jetzt eine reale Gefahr. Und auch wenn du das mit der KI Apokalypse unrealistisch [musik] findest, falls KI Agenten extrem schnell immer noch besser [musik] werden und sich so gut selbst organisieren können, ist das eine mächtige Waffe in den Händen von Gruppierungen, die anderen schaden wollen. aktuell noch kein Grund zur Panik, aber wir müssen wirklich genauer hinschauen, was in der mächtigen Techbranche vor sich geht. Wir finden, KI Firmen sollten nicht einfach uneingeschränkt vorwärts preschen dürfen. Aktuell spielen sie ein leichtfertiges Spiel. Wer am schnellsten die mächtigste KI baut, gewinnt. Und dabei hat Sicherheit wohl nicht die oberste Priorität. [musik] Wir wissen nur, dass etwas passiert ist, was eigentlich hätte unmöglich sein sollen, dass die Leute dahinter rücksichtslos waren und nicht

[20:41] genügend Sicherheitsmaßnahmen trafen und jetzt noch leistungsfähigere Agenten gebaut werden. gebaut werden. Wir von kurz gesagt sind davon überzeugt, dass unabhängige Wissenschaftskommunikation wichtiger ist denn je. Seit über 13 Jahren wecken wir Neugier für Themen wie den Weltraum, [musik] Technik, Biologie und Philosophie. Gründlich recherchiert und von Experten [musik] geprüft. Du kannst uns [musik] unterstützen, indem du etwas im Kurzgesagt Shop kaufst, Patron wirst oder unsere Videos mit anderen teilst. Der 1227 Human Eror Calendar ist [musik] endlich da. Es

[21:30] ist unser ambitioniertestes Projekt und der beste Weg uns zu unterstützen. Vielen Dank. เฮ [musik]

---

About this transcript
Read from YouTube's own caption track and laid out by ViewRank AI (https://viewrankai.com).
ViewRank AI finds the videos already beating a creator's own average on Instagram, TikTok and YouTube Shorts, transcribes them from the audio itself in more than 60 languages, and turns what worked into new ideas and scripts.
Free transcript tools, no account needed: https://viewrankai.com/tools
How to read any video this way: https://viewrankai.com/llms.txt