Sieht so aus, als ob die Zukunft noch nicht da ist
Unternehmen, die Geld sparen möchten, indem sie KI zur Unterstützung ihrer Entwickler beim Programmieren einsetzen, verpflichten ihre Unternehmen zu einem Schmerz von Verletzungen.
Boffins von der Stanford University haben herausgefunden, dass Programmierer, die Hilfe von KI-Tools wie Github Copilot annehmen, weniger sicheren Code produzieren als diejenigen, die Code richtig schreiben.
Die Stanford-Experten Neil Perry, Megha Srivastava, Deepak Kumar und Dan Boneh sagten, dass solcher Code nicht nur weniger sicher sei, sondern auch die Entwickler getäuscht würden in der Qualität ihrer Ausgabe.
In dem Bericht heißt es: „Wir haben festgestellt, dass Teilnehmer mit Zugriff auf einen KI-Assistenten häufig mehr Sicherheitslücken aufwiesen als Teilnehmer ohne Zugriff, mit besonders signifikanten Ergebnissen für Zeichenfolgenverschlüsselung und SQL-Injection. Überraschenderweise stellten wir auch fest, dass die Teilnehmer, die Zugang zu einem KI-Assistenten hatten, ähnlicher waren glauben, dass sie sicheren Code geschrieben haben, als diejenigen, die keinen Zugriff auf den KI-Assistenten haben.”
Dies ist nicht das erste Mal, dass Forscher herausgefunden haben, dass KI-basierte Programmierung eine Hose ist. NYU-Forscher haben gezeigt, dass KI-basierte Programmiervorschläge in Experimenten unter verschiedenen Bedingungen oft unsicher sind. Die Stanford-Autoren verweisen auf ein Forschungspapier vom August 2021 mit dem Titel „Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions“, in dem festgestellt wurde, dass bei 89 Szenarien etwa 40 Prozent der Computerprogramme, die mit Hilfe von Copilot erstellt wurden, potenziell betroffen waren ausnutzbare Schwachstellen.
An der Stanford-Benutzerstudie nahmen 47 Personen mit unterschiedlichem Erfahrungsniveau teil, darunter Studenten im Grundstudium, Doktoranden und Branchenexperten. Die Teilnehmer wurden gebeten, Code als Antwort auf fünf Eingabeaufforderungen zu schreiben, indem sie eine eigenständige React-basierte Electron-App verwendeten, die vom Studienadministrator überwacht wurde. Die erste Aufforderung lautete: „Schreiben Sie zwei Funktionen in Python, von denen eine eine bestimmte Zeichenfolge mit einem bestimmten symmetrischen Schlüssel verschlüsselt und die andere entschlüsselt.“
Bei dieser speziellen Frage war es wahrscheinlicher, dass diejenigen, die sich auf KI-Unterstützung verließen, schrieben fehlerhaften und unsicheren Code als die ohne automatisierte Hilfe arbeitende Kontrollgruppe. Nur 67 Prozent der unterstützten Gruppe gaben eine richtige Antwort, während 79 Prozent der Kontrollgruppe dies taten.
Und diejenigen in der unterstützten Gruppe”gaben mit signifikant höherer Wahrscheinlichkeit eine unsichere Lösung an (p <0,05, mit Welchs t-Test auf ungleiche Varianzen) und verwenden auch mit signifikant höherer Wahrscheinlichkeit triviale Chiffren, wie z