Microsoft Windows betreibt mehr als eine Milliarde PCs und Millionen von Servern weltweit, von denen viele eine entscheidende Rolle in Einrichtungen spielen, die Kunden direkt bedienen. Was passiert also, wenn ein vertrauenswürdiger Softwareanbieter ein Update bereitstellt, das dazu führt, dass der PC sofort nicht mehr funktioniert?
Bis zum 19. Juli 2024 kennen wir die Antwort auf diese Frage: Es entsteht Chaos.
In diesem Fall handelte es sich bei dem vertrauenswürdigen Softwareentwickler um ein Unternehmen namens CrowdStrike Holdings, das zuvor vor allem als Sicherheitsunternehmen bekannt war, das den Hack von Servern des Democratic National Committee im Jahr 2016 analysierte. Das ist nur eine ferne Erinnerung, denn das Unternehmen wird es für immer sein bekannt als das Unternehmen, das die größte IT-Störung in der Geschichte verursacht hat. Das Unternehmen stellte Flugflüge ein, unterbrach den Zugang zu einigen Bankensystemen, störte große Gesundheitsnetzwerke und schaltete mindestens einen Nachrichtensender ab.
Außerdem: Bester VPN-Dienst: Von Experten getestet und bewertet
Schätzungen von Microsoft dass das CrowdStrike-Update 8,5 Millionen Windows-Geräte betraf. Das ist ein kleiner Prozentsatz der weltweiten Installationsbasis, aber wie David Weston, Microsoft-Vizepräsident für Unternehmens- und Betriebssystemsicherheit, feststellte, „spiegeln die weitreichenden wirtschaftlichen und sozialen Auswirkungen die Nutzung von CrowdStrike durch Unternehmen wider, die viele wichtige Dienste betreiben.“ Entsprechend Reuters berichtet„Mehr als die Hälfte der Fortune-500-Unternehmen und viele Regierungsbehörden wie die führende Cybersicherheitsbehörde der USA, die Cybersecurity and Infrastructure Security Agency, nutzen die Software des Unternehmens.“
Was ist passiert?
CrowdStrike, das Sicherheitssoftware verkauft, die Systeme vor externen Angriffen schützen soll, hat den Fehler verbreitet „Update der Sensorkonfiguration“ auf Millionen von PCs weltweit, auf denen die Falcon Sensor-Software läuft. Laut CrowdStrike handelt es sich bei dem Update um eine „Channel-Datei“, deren Funktion darin besteht, neu beobachtete bösartige Aktivitäten von Cyber-Angreifern zu identifizieren.
Obwohl die Update-Datei die Erweiterung .sys hat, handelt es sich bei der Datei selbst nicht um einen Kernel-Treiber. Diese Dateien kommunizieren jedoch mit anderen Komponenten im Falcon-Sensor, die im selben Bereich wie der Windows-Kernel laufen, der privilegiertesten Ebene eines Windows-PCs, wo sie direkt mit Speicher und Hardware interagieren. CrowdStrike sagte, ein „Logikfehler“ im Code habe dazu geführt, dass Windows-PCs und -Server innerhalb von Sekunden nach dem Start abstürzten und einen STOP-Fehler anzeigten, besser bekannt als Blue Screen of Death.
Außerdem: Microsoft ändert die Art und Weise, wie Windows-Updates bereitgestellt werden: 4 Dinge, die Sie wissen müssen
Die Reparatur von Schäden aufgrund solcher Fehler ist ein sehr langwieriger Prozess, der einen manuellen Neustart jedes betroffenen PCs in der Windows-Wiederherstellungsumgebung und das anschließende Löschen der beschädigten Dateien vom PC über die alte Befehlszeilenschnittstelle erfordert. Und wenn der betreffende PC über ein Systemlaufwerk verfügt, das durch die BitLocker-Verschlüsselungssoftware von Microsoft geschützt ist, was bei fast allen Business-PCs der Fall ist, erfordert die Reparatur einen zusätzlichen Schritt: die Eingabe eines eindeutigen 48-stelligen BitLocker-Wiederherstellungsschlüssels, um Zugriff auf das Laufwerk zu erhalten und die Entfernung des Laufwerks zu ermöglichen CrowdStrike-Fahrer, der beschädigt wurde.
Wenn Sie jemanden kennen, dessen Aufgabe darin besteht, Windows-PCs in einem Unternehmensnetzwerk zu verwalten, das CrowdStrike-Code verwendet, können Sie sicher sein, dass er derzeit sehr beschäftigt ist und in den nächsten Tagen auch weiterhin beschäftigt sein wird.
Wir haben diesen Film schon einmal gesehen
Als ich zum ersten Mal von dieser Katastrophe hörte (und ich verspreche, ich missbrauche dieses Wort nicht), kam es mir bekannt vor. Im Sysadmin-Subreddit von Reddit Benutzer u/externedguy erinnert mich daran, warumVielleicht erinnern Sie sich an diese Geschichte von vor 14 Jahren:
„Fehlerhaftes McAfee-Update verursacht weltweit Abstürze von XP-PCs.“
Ups, sie haben es wieder getan.
Heute um 6 Uhr morgens hat McAfee ein Update seiner Antivirendefinitionen für Unternehmenskunden veröffentlicht, bei denen einige Probleme aufgetreten sind. Und mit „kleineren Problemen“ meine ich Probleme, die den PC unbrauchbar machen, bis der technische Support eintrifft, um das Problem manuell zu beheben. Wie ich heute auf Twitter kommentiert habe, bin ich mir nicht sicher, ob irgendein Virenautor jemals Malware entwickelt hat, die so viele Computer so schnell herunterfährt wie McAfee heute.
In diesem Fall hatte McAfee eine falsche Virendefinitionsdatei (DAT) an einen PC mit Windows XP gesendet. Die Datei erkennt fälschlicherweise eine wichtige Windows-Systemdatei, Svchost.exe, als Virus und löscht sie. Die Ergebnisse laut zeitgenössischer Berichtist, dass „betroffene Systeme in eine Neustartschleife geraten und jeglichen Netzwerkzugriff (verlieren)“.
Die Parallelen zwischen diesem Vorfall von 2010 und der diesjährigen CrowdStrike-Störung sind unheimlich. Der Kern des Problems war ein fehlerhaftes Update, das an Millionen von PCs gesendet wurde, auf denen ein hochentwickelter Software-Agent ausgeführt wurde, was dazu führte, dass die betroffenen Geräte nicht mehr funktionierten. Die Wiederherstellung erfordert einen manuellen Eingriff auf jedem Gerät. Und dieser fehlerhafte Code wurde von einem börsennotierten Unternehmen geliefert, das sich bemühte, in einem hart umkämpften Markt zu wachsen.
Der Zeitpunkt könnte für McAfee nicht günstiger sein. Intel hat kündigte seine Absicht an, McAfee, Inc. zu übernehmen. im Wert von 7,68 Milliarden US-Dollar am 19. April 2010. Die beschädigte DAT-Datei wurde zwei Tage später, am 21. April, veröffentlicht.
Dieser McAfee-Fehler im Jahr 2010 war eine große Sache, die Fortune-500-Unternehmen (einschließlich Intel!) sowie Universitäten und Regierungs-/Militäreinsätze auf der ganzen Welt lahmlegte. Dadurch waren 10 % der Kassierer der größten Lebensmittelkette Australiens geschlossen, was die Schließung von 14 bis 18 Geschäften erzwang.
Außerdem: 5 Möglichkeiten, Ihren Windows 10-PC im Jahr 2025 zu retten – und die meisten davon sind kostenlos
Und in der Abteilung „Das können Sie sich nicht ausdenken“ … CrowdStrike-Gründer und CEO George Kurtz war während des Vorfalls im Jahr 2010 Chief Technology Officer von McAfee.
Was die Fortsetzung von 2024 noch viel schlimmer macht, ist, dass sie auch Windows-basierte Server betrifft, die in der Cloud, auf Microsofts Azure und auf Amazons AWS laufen. Und wie viele Laptops und Desktop-PCs, die durch diese fehlerhaften Updates beschädigt wurden, erfordern Cloud-basierte Server zur Wiederherstellung zeitaufwändige manuelle Eingriffe.
QA CrowdStrike ist da
Überraschenderweise ist dies nicht das erste fehlerhafte Falcon Sensor-Update von CrowdStrike in diesem Jahr.
Weniger als einen Monat zuvor, laut einem Bericht von The StackCrowdStrike hat ein Erkennungslogik-Update für den Falcon-Sensor veröffentlicht, das einen Fehler in der Speicherscanfunktion des Sensors aufdeckte. „Das Ergebnis des Fehlers“, schrieb CrowdStrike in einer Kundenmitteilung, „ist ein Logikfehler in CsFalconService, der dazu führen könnte, dass der Falcon-Sensor für Windows 100 % eines einzelnen CPU-Kerns verbraucht.“ Das Unternehmen hat das Update zurückgesetzt und Kunden können durch einen Neustart den normalen Betrieb wieder aufnehmen.
Außerdem: Wenn die Unterstützung für Windows 10 ausläuft, haben Sie fünf Optionen, aber nur zwei sind eine Überlegung wert
Damals Computersicherheitsexperte Will Thomas aufgezeichnet auf X/Twitter„(T)“Das zeigt, wie wichtig es ist, ein neues Update auf eine Maschine herunterzuladen, um es zunächst zu testen, bevor es auf die gesamte Flotte ausgeweitet wird!“
Bei diesem Vorfall im Jahr 2010 stellte sich heraus, dass die Hauptursache ein völliger Fehler im Qualitätssicherungsprozess war. Es scheint klar, dass hier ein ähnlicher Fehler bei der Qualitätssicherung aufgetreten ist. Wurden diese beiden CrowdStrike-Updates nicht getestet, bevor sie auf Millionen von Geräten bereitgestellt wurden?
Ein Teil des Problems könnte darin liegen, dass in der Unternehmenskultur zu viele harte Worte vorherrschen. Im jüngsten Ergebnisbericht von CrowdStrike prahlte CEO George Kurtz mit der Fähigkeit des Unternehmens, „bahnbrechende Produkte schnell zu liefern“, wobei Microsoft insbesondere Folgendes ins Visier nahm:
Und kürzlich erhielten wir nach einem weiteren großen Verstoß von Microsoft gegen die Ergebnisse des CIS Cybersecurity Review Board zahlreiche Hilfeanfragen vom Markt. Wir kamen zu dem Schluss, dass es genug war. Es gab eine weit verbreitete Vertrauenskrise unter den Sicherheits- und IT-Teams innerhalb des Sicherheitskundenstamms von Microsoft.
(…)
Das Feedback war sehr positiv. CISA hat nun die Möglichkeit, das Risiko einer Monokultur zu reduzieren, indem es ausschließlich Microsoft-Produkte und Cloud-Dienste verwendet. Unsere Innovation schreitet rasant voran und ist ein weiterer Grund für die Marktkonsolidierung auf Falcon. Tausende von Organisationen konsolidieren sich auf der Falcon-Plattform.
Angesichts der jüngsten Ereignisse fragen sich einige Kunden möglicherweise, ob „extrem hohe Geschwindigkeiten“ Teil des Problems sind.
Wie viel Schuld sollte Microsoft tragen?
Es ist unmöglich, Microsoft vollständig von der Verantwortung zu entbinden. Allerdings tritt das Problem mit dem Falcon-Sensor nur auf Windows-PCs auf, wie uns Administratoren von Linux- und Mac-orientierten Geschäften schnell daran erinnerten.
Zum Teil ist es ein architektonisches Problem. Entwickler von Anwendungen auf Systemebene für Windows, einschließlich Sicherheitssoftware, haben ihre Funktionen in der Vergangenheit mithilfe von Kernel-Erweiterungen und Treibern implementiert. Wie dieses Beispiel zeigt, kann fehlerhafter Code, der im Kernel-Space ausgeführt wird, irreversiblen Schaden verursachen, Code, der im User-Space ausgeführt wird, hingegen nicht.
Außerdem: 7 Möglichkeiten, Windows 11 weniger nervig zu machen
Das Gleiche geschah mit MacOS, aber im Jahr 2020 änderte Apple mit MacOS 11 die Architektur seines Flaggschiff-Betriebssystems Wir raten dringend von der Verwendung von Kernel-Erweiterungen ab. Stattdessen werden Entwickler aufgefordert, Systemerweiterungen zu schreiben, die im Benutzerbereich und nicht auf Kernel-Ebene ausgeführt werden. Unter MacOS CrowdStrike verwendet das Apple Endpoint Security Framework und sagte durch die Verwendung dieses Designs: „Falcon erreicht das gleiche Maß an Sichtbarkeit, Erkennung und Schutz ausschließlich durch Benutzerraumsensoren.“
Könnte Microsoft die gleichen Änderungen für Windows vornehmen? Vielleicht, aber ein solcher Schritt würde sicherlich den Zorn der Kartellbehörden, insbesondere in Europa, auf sich ziehen. Dieses Problem ist besonders schwerwiegend, da Microsoft über ein profitables Unternehmenssicherheitsgeschäft verfügt und alle Architekturänderungen, die Konkurrenten wie CrowdStrike die Arbeit erschweren, als wettbewerbswidrig gelten würden. Tatsächlich sagte ein Microsoft-Sprecher dem Wall Street Journal, dass man dem Beispiel von Apple aufgrund kartellrechtlicher Bedenken nicht folgen könne. Laut WSJ-Bericht„Im Jahr 2009 stimmte Microsoft zu, Herstellern von Sicherheitssoftware den gleichen Zugriff auf Windows zu gewähren, den Microsoft erhält.“ Über diese Bedenken lässt sich vielleicht streiten, aber angesichts der Geschichte von Microsoft mit den Regulierungsbehörden der Europäischen Union ist es verständlich, warum sie sich nicht auf diesen Streit einlassen wollen.
Microsoft heute bietet eine API für Microsoft Defender für Endpointaber Konkurrenten werden es wahrscheinlich nicht nutzen. Sie würden lieber argumentieren, dass ihre Software überlegen sei und die Verwendung eines „minderwertigen“ Angebots von Microsoft den Kunden nur schwer zu erklären wäre.
Dieser Vorfall, der Schäden in Milliardenhöhe verursachte, sollte jedoch als Weckruf für die gesamte IT-Community dienen. Zumindest muss CrowdStrike seine Tests verbessern. Und Kunden müssen vorsichtiger sein, wenn sie zulassen, dass diese Art von Code in ihren Netzwerken bereitgestellt wird, ohne ihn selbst zu testen.
