Anthropic, Hersteller der großen Claude-Familie von Sprachmodellen, hat diese Woche seine Richtlinien für Sicherheitskontrollen seiner Software aktualisiert, um dem Potenzial böswilliger Akteure Rechnung zu tragen, KI-Modelle zur Automatisierung von Cyberangriffen auszunutzen.
PDF-Dokumentbeschreibt detailliert die „verantwortungsvolle Skalierungspolitik“ des Unternehmens und beschreibt mehrere Verfahrensänderungen, die erforderlich sind, um das anhaltende Risiko des Missbrauchs von KI-Modellen zu überwachen. Dazu gehören mehrere Stufen erhöhten Risikos, sogenannte AI Security Level (ASL)-Standards, die als „technische und betriebliche Schutzmaßnahmen“ definiert sind.
Außerdem: Gmail-Nutzer sollten sich vor einem neuen KI-Betrug in Acht nehmen, der sehr authentisch aussieht
Im Rahmen der „Routinetests“ des Unternehmens seiner KI-Modelle auf Sicherheit – bekannt als „Fähigkeitsbewertung“ – berichtete Anthropic, dass es Fähigkeiten entdeckt habe, die „erhebliche Untersuchungen erfordern und möglicherweise strengere Schutzmaßnahmen erfordern“.
Die Fähigkeit wird als Bedrohung im Cyber-Betrieb beschrieben: „Die Fähigkeit, hochentwickelte zerstörerische Cyberangriffe erheblich zu nutzen oder zu automatisieren, einschließlich, aber nicht beschränkt auf die Entdeckung neuer Zero-Day-Exploit-Ketten, die Entwicklung komplexer Malware oder die Orchestrierung großer Netzwerke, die schwer zu erkennen sind.“ Störung.”
In diesem Bericht werden die Schritte beschrieben, die unternommen werden, um dieses Problem fortlaufend zu untersuchen:
„Dazu gehört die Einbeziehung von Experten für Cyber-Operationen, um das Potenzial des Frontier-Modells bei der Eskalation und Eindämmung von Cyber-Bedrohungen zu bewerten, und die Einführung abgestufter Zugriffskontrollen oder der schrittweisen Bereitstellung von Modellen mit erweiterten Cyber-Fähigkeiten.“ Tests nach der Bereitstellung, einschließlich spezieller Bewertungen. Wir werden alle herausragenden Ergebnisse zusammen mit unserem Capability Report dokumentieren.“
Derzeit müssen alle Anthropic AI-Modelle die ASL-Anforderungen „Level 2“ erfüllen, sagte er. Diese Stufe „erfordert ein Sicherheitssystem, das wahrscheinlich die meisten opportunistischen Angreifer vereitelt und eine Überprüfung der Sicherheit von Anbietern und Lieferanten, physischer Sicherheitsmaßnahmen und der Verwendung sicherer Designprinzipien umfasst“, heißt es in dem Bericht.
Diese aktualisierte Richtlinie kann als Teil der Bemühungen von Anthropic und OpenAI gesehen werden, angesichts der anhaltenden Debatte darüber, was zur Regulierung der KI-Technologie getan werden sollte und was nicht, freiwillig Einschränkungen für künstliche Intelligenz zu versprechen. Im August einigten sich das Unternehmen und OpenAI mit dem U.S. Artificial Intelligence Security Institute am National Institute of Standards and Technology (NIST) des US-Handelsministeriums auf eine Zusammenarbeit bei der KI-Forschung, -Testung und -Bewertung.
Außerdem: Kann KI alle Ihre Geschäftsprobleme lösen? Apples neue Studie legt etwas anderes nahe
Die Idee, dass KI Cyberangriffe automatisiert, gibt es schon seit einiger Zeit. Der Firewall-Anbieter Check Point Software Technologies warnte letztes Jahr, dass staatliche Akteure aus Russland versuchten, ChatGPT von OpenAI zu kompromittieren, um Phishing-Angriffe zu automatisieren.
CrowdStrike, Anbieter von Endpoint-Sicherheitssoftware, berichtete diesen Sommer, dass generative KI anfällig für eine Vielzahl speziell gestalteter Befehle sei, die Programmgrenzen durchbrechen könnten.
