Wenn die KI fast den ganzen Code schreibt
Diese Woche habe ich eine Nachricht gelesen, bei der ich kurz innehalten musste. Anthropic, das Unternehmen hinter der KI Claude, hat den Prospekt für seinen Börsengang aktualisiert. Zwischen den Finanzzahlen, auf die fast alle geschaut haben, standen zwei Angaben, die mir viel wichtiger erscheinen.
Die erste: Im September wurden mehr als 90 % der Beiträge zum Code des Unternehmens von der eigenen KI geschrieben. Und die Menge an Code, die jeder Ingenieur pro Tag beisteuert, ist mehr als 45-mal so groß wie 2024.
Die zweite: Das Unternehmen räumt selbst ein, dass es sehr nah an einer Schwelle sein könnte, die in seinen internen Sicherheitsregeln festgelegt ist. Also KI zu nutzen, um eine bessere KI zu bauen, die wiederum hilft, eine noch bessere zu bauen, immer schneller.
„Wir könnten unmittelbar die Definition von ‚drastisch beschleunigtem, der KI zuzuschreibendem Fortschritt‘ aus unserer Richtlinie für verantwortungsvolle Skalierung erreichen.“
Im selben Dokument fügen sie hinzu, dass sie nicht davon ausgehen, ihre KI die nächsten Generationen allein entwerfen lassen zu können, ohne dass Menschen sie beaufsichtigen und verstehen, was sie tut. Und auf ihrer eigenen Website machen sie einen Punkt, der mir gefallen hat: Codezeilen zu zählen übertreibt den echten Produktivitätsgewinn fast sicher.
Das Risiko, das mir am meisten auffiel
Es geht nicht darum, dass die KI sehr klug wird. Es ist etwas Einfacheres, eher ein Ingenieursthema: dass der Fortschritt schneller ist als die Fähigkeit, ihn zu messen. Die Daten, mit denen das Unternehmen dieses Tempo bewertet, kommen verzögert an. Eine starke Beschleunigung könnte also erst auffallen, wenn sie schon passiert ist.
Stell dir vor, du fährst nachts mit einem Tacho, der dir die Geschwindigkeit von vor zehn Minuten anzeigt. Auf einer ruhigen Geraden passiert nichts. Das Problem kommt genau dann, wenn du beschleunigst.
Was ich in der Luftfahrt gelernt habe
Wenn ein neues Flugzeug erprobt wird, fliegt niemand am ersten Tag ans Limit. Man „öffnet die Flugenveloppe“ Schritt für Schritt: etwas schneller, etwas höher, eine etwas engere Kurve. Und bei jedem Schritt schaut man sich die Daten an, bevor man den nächsten macht. Die Grundregel ist einfach: Man fliegt nie schneller, als man messen kann. Wenn die Instrumente hinterherhinken, beschleunigt man nicht. Man hält an und repariert die Instrumente.
Deshalb finde ich es ein gutes Zeichen, dass ein KI-Unternehmen das in einem offiziellen Dokument vor Investoren sagt und nicht in einer hübschen Pressemitteilung. Jetzt bleibt abzuwarten, ob es auch danach handelt, wenn es das Tempo gegenüber der Konkurrenz kostet.
Was bedeutet das für die Luftfahrt?
Die Luftfahrt ist wahrscheinlich die Branche, die am besten gelernt hat, der Geschwindigkeit zu misstrauen. Und ich glaube, diese Nachricht stellt ihr zwei unbequeme Fragen.
Wir zertifizieren Dinge, die stillstehen. Ein Flugzeug wird mit einem eingefrorenen Design zertifiziert: Man weist nach, dass genau diese Version sicher ist, und jede Änderung durchläuft den Prozess erneut. Bei Bordsoftware muss jede Zeile erklärbar sein: aus welcher Anforderung sie stammt und mit welchem Test sie geprüft wurde. Wer sie geschrieben hat, ist der Norm egal. Was sie nicht akzeptiert, ist, dass niemand weiß, warum sie da ist. Eine KI, die sich selbst verbessert, steht per Definition nicht still. Die europäische Agentur für Flugsicherheit hat bereits einen Fahrplan mit Stufen, von KI, die den Piloten nur informiert, bis zur fortgeschrittenen Automatisierung mit wenig oder keinem menschlichen Eingriff in Echtzeit. Und sie warnt vor etwas, dem ich zustimme: Einen Menschen einfach „in die Schleife“ zu setzen, reicht allein nicht.
Der Engpass wandert zur Prüfung. Wenn Software 45-mal schneller geschrieben wird, die Zertifizierung einer Änderung aber weiterhin Monate dauert, wird die Lücke zwischen dem, was man bauen kann, und dem, was fliegen darf, enorm wachsen. Es wird Druck geben, die Zertifizierung zu beschleunigen. Meine Prognose: Die KI selbst wird einen großen Teil der Tests und der Dokumentation erzeugen. Und dann wird die alte Frage schwieriger: Wer prüft den Prüfer?
Und für die Verteidigung?
Hier wird das Gespräch ernster, denn in der Verteidigung ist Geschwindigkeit nicht nur ein wirtschaftlicher Vorteil. Sie ist ein militärischer. Wer zuerst beobachtet, entscheidet und handelt, gewinnt meistens. Und in dieser Kette ist das langsamste Glied fast immer der Mensch.
Das ist das Dilemma. Wenn dein Gegner stärker automatisiert und schneller entscheidet, ist die Versuchung groß, den Menschen beiseitezuschieben, um nicht zurückzufallen. Eine Analyse, die ich dazu gelesen habe, erklärt es sehr gut: Je autonomer die KI wird, desto mehr wechselt der Mensch vom Entscheiden zum Beaufsichtigen. Und wenn niemand laufend überprüft, argumentiert das System am Ende mit seinen eigenen Schlussfolgerungen. Es dreht sich im Kreis.
Die Gesetzgeber beginnen zu reagieren. In den USA verlangt der Entwurf des jährlichen Verteidigungsgesetzes für 2027, den ein Senatsausschuss gebilligt hat, jederzeit ein angemessenes Maß an menschlichem Urteilsvermögen, die Möglichkeit, ein System zu unterbrechen oder abzuschalten, Aufzeichnungen darüber, wie Ziele ausgewählt werden, und dass die KI nie über den Start einer Atomwaffe entscheidet. Es ist noch ein Entwurf, aber er geht in die richtige Richtung.
Am meisten zum Nachdenken bringt mich die Ähnlichkeit mit der Rüstungskontrolle. Anthropic schreibt auf seiner Website, dass ein Abbremsen wahrscheinlich etwas Gutes wäre und dass es das tun würde, wenn die anderen ebenfalls abbremsen, und zwar nachprüfbar. Das ist fast wörtlich die Logik von Abrüstungsverträgen: Niemand hält an, wenn er nicht überprüfen kann, dass die andere Seite auch angehalten hat. Was diese Verträge funktionieren ließ, war nicht Vertrauen. Es waren Inspektionen.
Beim Eurofighter habe ich mit vier Ländern gearbeitet, die sich bei jeder Änderung einigen mussten. Von innen wirkte das manchmal unglaublich langsam. Mit den Jahren habe ich verstanden, dass diese Langsamkeit auch ein Sicherheitssystem war: Sie zwang dazu, dass noch jemand jede Entscheidung ansah, bevor sie Wirklichkeit wurde.
Wohin das meiner Meinung nach führt
- In der Luftfahrt wird die KI schnell in alles rund ums Fliegen einziehen (Wartung, Planung, Dokumentation, Tests) und langsam in das, was fliegt. Ich finde, so sollte es sein.
- In der Verteidigung wird die große Debatte der nächsten Jahre nicht sein, ob man KI einsetzt, sondern wo der Mensch steht und wie man beweist, dass er wirklich entscheidet und nicht nur unterschreibt.
In der Luftfahrt lassen wir den Autopiloten nie allein im Cockpit. Nicht weil er schlecht wäre, sondern weil jemand auf die Instrumente schauen und jemand für das Geschehene geradestehen muss. Eine Maschine kann die Arbeit machen. Die Verantwortung bleibt bei uns.
Eine Frage an dich: Welchen Teil deiner Arbeit gibst du schon an die KI ab, und wie prüfst du, dass das Ergebnis stimmt?
Quellen: der Börsenprospekt von Anthropic, wie die Presse berichtet hat, und seine Seite über KI, die hilft, sich selbst zu bauen; der KI-Fahrplan der europäischen Agentur für Flugsicherheit; der Entwurf des US-Verteidigungsgesetzes für 2027 und eine Analyse in einer US-Fachzeitschrift für Verteidigung. Die Meinung und die Prognosen sind meine.
← Zurück zum Blog