CrowdStrike Incident – wie weiter?

Der 19. Juli 2024 dürfte als ein schwarzer Tag in die Geschichtsbücher eingehen. Sofern man nicht gerade in einer Hütte im Wald haust, dürften die meisten mitbekommen haben, dass CrowdStrike für einen gravierenden GAU globalen Ausmasses verantwortlich war. Aufgrund eines fehlerhaften Updates in der Falcon EDR Lösung standen weltweit bei vielen Unternehmen eine Grosszahl der Windows Systeme still.

Das Update führte zu einen BSOD (Blue Screen of Death) und zu Boot Loops. Damit zu kämpfen hatten nicht nur die System Admins, die Auswirkungen waren auch für alle anderen spürbar: Flugzeuge blieben am Boden, Banken konnten ihre Kunden nicht bedienen, Arztpraxen waren lahmgelegt und es wird sogar von Auswirkungen auf den IT-Betrieb der Olympischen Spiele in Paris berichtet (die im Übrigen am 26. Juli 2024 eröffnet werden).

Es stellt sich jetzt natürlich die Frage: Wie konnte es so weit kommen? Und ist CrowdStrike noch die richtige Lösung? Nicht nur die Kunden, sondern auch AVANTEC als CrowdStrike Partner stellen sich diese Frage. Betreffend dem «wie» ist man auf Informationen vom Verursacher selbst angewiesen. CrowdStrike hat dazu in einem öffentlich zugänglichen Artikel entsprechende Details veröffentlicht. Nachzulesen hier.

Anders als es in den breiten Medien berichtet wurde, handelte es sich nicht um ein normales Softwareupdate des Falcon Sensors, sondern um ein sogenanntes «Rapid Response Content» Update. «Rapid Response Content» wird für verhaltensbasiertes Erkennung von Angriffsmustern verwendet, es handelt sich also sozusagen um Templates, die ungewöhnliches und bösartiges Verhalten von Prozessen erkennen. Man spricht hierbei auch von «Indicators of Attack» oder kurz IOA’s.

CrowdStrike nutzte selbstredend auch schon vor diesem Incident ein Prüfungsverfahren, um die Updates zu testen, bevor sie verteilt werden. Nur gab es anscheinend einen Bug im Prüfungssystem, wodurch das fehlerhafte Update die Prüfung bestanden hat. Genauere Details sind im Link zu finden. Als Reaktion werden diese Prüfverfahren nun erweitert, zudem soll es für Endkunden zukünftig weitere Möglichkeiten geben, das Einspielen solcher «Rapid Response Content Updates» zu kontrollieren und dadurch auch eigene Testzyklen und Rollout Phasen zu realisieren.

Natürlich wirft das kein gutes Licht auf den Hersteller, das Problem war gravierend und viele Kunden mühen sich nach wie vor mit der Wiederherstellung ab. Trotzdem wäre es falsch einzig auf dieser Grundlage CrowdStrike als EDR Lösung zu ersetzen oder aus einem Evaluationsprozess auszuschliessen. CrowdStrike ist immer noch führend im Bereich der Threat Detection und Response, darauf hat dieser Incident keinerlei Einfluss. Und dass nun andere Hersteller die Gunst der Stunde nutzen, um verunsicherte CrowdStrike Kunden zu einem Wechsel zu bewegen, dürfte auch niemanden überraschen. Zudem macht es meiner bescheidenen Meinung nach absolut keinen Sinn, deswegen eine bestehende EDR Lösung durch eine andere EDR Lösung zu ersetzen. Damit ein EDR System seinen Zweck erfüllen kann, braucht es nun mal sehr weitreichende Rechte auf einem Betriebssystem, das hat nichts mit der Wahl des Herstellers zu tun. Es hätte also gerade so gut auch einen anderen Hersteller treffen können.

Was wir uns gewünscht hätten, wäre eine noch etwas schnellere Reaktion gewesen. Die ersten Probleme wurden um knapp 06:09 Uhr Schweizer Zeit festgestellt, einen ersten Tech Alert von CrowdStrike gab es erst um 07:30 Uhr. Infos zu einem möglichen Workaround folgten um 08:30 Uhr.  Nachfolgend gab es in regelmässigen Abständen qualitativ gute, hilfreiche Informationen und gute Anleitungen für Wiederherstellung der Systeme. Eine abschliessende Root Cause Analyse ist zum Zeitpunkt der Erstellung dieses Artikels noch ausstehend.

Mein persönliches Fazit aus diesem Incident ist, dass ich nach wie vor von CrowdStrike überzeugt bin und auch davon, dass sie ihre Lessons Learned ernst nehmen so ein «weltweites Chaos» sicherlich niemals mehr – aufgrund von CrowdStrike – vorkommen wird. Und nein, sie bezahlen mich nicht, um das hier zu sagen .