GPT-Images-2.0
Kurzfassung
▾
Quellen
▾
Google DeepMind und vier Partner investieren zehn Millionen Dollar in die Erforschung sicherer Multi-Agenten-Systeme.
Die Entwickler warnen vor völlig neuen Risiken, wenn Millionen autonomer KI-Agenten im Netz ohne menschliche Aufsicht miteinander interagieren.
Mit den Fördergeldern sollen unabhängige Wissenschaftler in virtuellen Testumgebungen wirksame Schutzkonzepte gegen Cyberangriffe und Systemausfälle entwickeln.
MIT Technology Review: Google DeepMind is worried about what happens when millions of agents start to interact
Google DeepMind: Investing in multi-agent AI safety research
Google DeepMind und vier Partnerorganisationen stellen zehn Millionen US-Dollar bereit, um die Sicherheit von Multi-Agenten-Systemen zu erforschen. Das Programm finanziert unabhängige Wissenschaftler, bevor Millionen vernetzter KI-Agenten in den kommenden Monaten ohne menschliche Aufsicht das Internet erreichen. Eine neue Risikoklasse Bisher testeten Entwickler die Sicherheit von KI-Modellen fast ausschließlich isoliert. Rohin Shah, Leiter der Forschung für KI-Sicherheit bei Google DeepMind, sieht durch direkt vernetzte KI-Agenten nun eine völlig neue Risikoklasse. Diese Systeme führen Aufgaben ohne menschliche Kontrolle aus und befolgen Anweisungen anderer Agenten. Forscher rechnen durch das Zusammenspiel vieler Systeme mit verstärkten Cyberangriffen. KI-Agenten könnten durch böswillige Befehle, sogenannte Prompt-Injections, gezielt in selbststeuernde Schadsoftware verwandelt werden. James Fox, Leiter des Programms »Science of Trustworthy AI« bei Schmidt Sciences, warnt davor, dass zentrale digitale Infrastrukturen ohne Vorbereitung in Anarchie abgleiten könnten. Neben klassischen Sicherheitslücken stehen unvorhersehbare wirtschaftliche Schwankungen auf der Liste der potenziellen Probleme. Einzelne Akteure handeln isoliert betrachtet rational. Systemweite Instabilitäten entstehen erst durch Millionen gleichzeitiger Interaktionen. Anzeige Sandboxes für unabhängige Forscher Google DeepMind finanziert das Projekt zusammen mit der Stiftung Schmidt Sciences, der britischen Regierungsagentur ARIA, der Cooperative AI Foundation und Google.org. Die Gelder fließen in Forschungsprojekte außerhalb der Tech-Konzerne. »Die Stärke der Wissenschaft liegt darin, sehr weit in die Zukunft blicken zu können und Arbeit zu leisten, die in den Industrielaboren nicht im Vordergrund steht«, erklärt Shah. Ein Kernziel ist der Aufbau realistischer Simulationen. Wissenschaftler setzen die KI-Agenten dafür in virtuelle Testumgebungen, sogenannte Sandboxes, und studieren ihr Verhalten als Gruppe. Das ermöglicht es, virtuelle Marktplätze oder arbeitsübergreifende Prozesse sicher zu testen. Refael Angel, Technikchef der Cybersicherheitsfirma Akeyless, begrüßt den Vorstoß. Bisherige Sicherheitskonzepte gingen von statischer Software aus. »Ein Agent bricht all diese Annahmen. Er schlussfolgert, er improvisiert, und er kann durch einen einzigen Satz gekapert werden, der in einem Dokument versteckt ist, das er lesen sollte«, erklärt Angel. Wettlauf gegen die Marktreife Shah schätzt, dass es nur noch wenige Monate dauert, bis KI-Agenten flächendeckend in der Wirtschaft eingesetzt werden. Auch Anthropic veröffentlichte kürzlich Richtlinien für solche Systeme. Der KI-Entwickler fordert einen Zero-Trust-Ansatz in der Cybersicherheit, der sicherheitshalber davon ausgeht, dass ein Agent ein Angreifer ist. Interessierte Forschungsteams müssen ihre Anträge für den neuen Fonds bis zum 8. August 2026 einreichen. Die Zuteilung der Fördergelder folgt im Herbst 2026.
Quelle: www.all-ai.de