Globalna awaria CrowdStrike

Poważna awaria Microsoftu na całym świecie dotknęła lotniska, organizacje informacyjne, przedsiębiorstwa kolejowe i inne duże firmy. W USA, Niemczech i w Wielkiej Brytanii masowo odwoływane loty, stoi kolej, problemy nawet w szpitalach.

https://www.thetimes.com/uk/technology-uk/article/it-outage-latest-news-microsoft-crowdstrike-b3n2h5gmc

Workaround z HN:

CyberStrike offers a temporary solution for crashed systems Cyberstike has given users a potential way to fix their systems.
Boot Windows into Safe Mode or the Windows Recovery Environment (you can do that by holding down the F8 key before the Windows logo flashes on screen) Navigate to the C:WindowsSystem32driversCrowdstrike directory Locate the file matching “C-00000291.sys” file, right click and rename it to “C-00000291.renamed” Boot the host normally.

To nie MS zawinił, tylko "software od monitoringu" CyberStrike (od CrowdStrike).

Testowanie na produkcji 3.0.

Ciekawe kiedy uruchomią „artykuł 5” w umowach b2b o odpowiedzialności finansowej kontraktorów za usterki, ale przecież to ukryty etat a nie czekaj pozwy składają …

Ale jak to? A to całe scalability, accessibility? Brak single point of failure? o.O

Mój roboczy windows niestety działa

AI to naprawi?

jaka awaria microsoftu jezeli to crowd strike? :P

na ilu % maszyn z windowsami jest to cyberstrike zainstalowane?

To ładne mi bezpieczeństwo, jeżeli pół świata jest zależne od błędu jednej firmy, a pewnie tylko jednego człowieka.

https://www.glassdoor.co.uk/Reviews/CrowdStrike-Reviews-E795976.htm?sort.sortType=OR&sort.ascending=true&filter.iso3Language=eng

Mysle, ze wiele mozna z tego wywnioskowac. 'Stack Ranking Teams' :)

Produkcji już nie ma. Miała piękny pogrzeb.

Podobno nie mieli nawet canary releases.

Ciekawe, czy tym razem post mortem będzie blameless

Dlaczego nie używali Linuxa? Może teraz przesiądą się na Linuxa?

U mnie w starbucksie przez awarię microsoftu nie można było dziś zamówić kawy normalnie w kasie tylko dało się przez aplikację (fuck logic)

flinst-one napisał(a):

Ale jak to? A to całe scalability, accessibility? Brak single point of failure? o.O

No ładnie się zeskalowało, bo trefny kod z tego co pisali trafił jednocześnie na 150 000 komputerów, to było 150 000 points of failure na raz.

99xmarcin napisał(a):

Testowanie na produkcji 3.0.

Pisali coś że to miało chronić przed jakimś zero dayem więc takie łatki są wyjątkowo wyłączone z fazy testów aktualizacji, ale teraz się to pewnie zmieni.

MiL napisał(a):

To ładne mi bezpieczeństwo, jeżeli pół świata jest zależne od błędu jednej firmy, a pewnie tylko jednego człowieka.

Nie tak jednej, ale jakby padły serwera amazona, googla i microsoftu jednocześnie to pewnie byśmy zginęli.

Chciałbym zobaczyć poker face osoby która za to odpowiadałała.

Wychodzi, że "The Billion Dollar Mistake" znowu w akcji:
https://x.com/Perpetualmaniac/status/1814376668095754753?s=19.

still.still napisał(a):

Dlaczego nie używali Linuxa? Może teraz przesiądą się na Linuxa?

CrowdStrike Falcon jest też na Linuksa, tylko tej wersji akurat nie popsuli.

Wibowit napisał(a):

na ilu % maszyn z windowsami jest to cyberstrike zainstalowane?

Nie wiem, ale wychodzi że jest dość popularne w firmach, a jak firma coś takiego wdroży to zazwyczaj co do zasady na wszystkich swoich maszynach.

Nawet miałem CyberStrike'a na poprzednim laptopie, ale firma się wycofała na rzecz innego spowalniacza.

Escanor16 napisał(a):

Poważna awaria Microsoftu na całym świecie dotknęła lotniska, organizacje informacyjne, przedsiębiorstwa kolejowe i inne duże firmy. W USA, Niemczech i w Wielkiej Brytanii masowo odwoływane loty, stoi kolej, problemy nawet w szpitalach.

Duplikuję ale bardzo dobry komentarz do sytuacji (jak ktoś oglądał to wie) ;)

Przepisać wszystko na Rusta i nie będzie wycieków pamięci.
https://www.trustradius.com/compare-products/crowdstrike-falcon-vs-solarwinds-msp-threat-monitor

Nie wiem czy ktoś już to pisał ale warto się zagłębić w temat bo jednak ciekawszy niż się zdaje. Linie Delta w 5 dni odwołały ponad 5500 lotów, więcej niż przez ostatnie dwa lata łącznie.

1. Po pierwsze crowdstrike nie miał za bardzo dobrej fazy testów ani rolling releases, dopiero teraz planują to zmienić. Update poszedł w jednej chwili na 8.5 miliona urządzeń które teraz trzeba pojedynczo ręcznie naprawiać. Mieli automatyczny analizer który stwierdził że plik zawierający same zera jest ok. Nikt tego ręcznie nie zweryfikował.
2. Po drugie żeby mieć wyższy poziom kontroli niż standardowy antywirus - ich antywirus jest driverem(!); driverem który jest dodatkowo oznaczony jako boot-start; normalnie windows wyłącza sterowniki które powodują problemy i się restartuje bez nich, ale nie takich z tą flagą.
3. Po trzecie ominęli certyfikację driverów microsoftu WHQL - normalnie każdy sterownik żeby mógł być zaktualizowany przez windows update przechodzi przy każdej aktualizacji rygorystyczną fazę testów i weryfikacji przez microsoft która trochę trwa. Dlatego że to trochę trwa a nie można antywirusa aktualizować raz na parę miesięcy to postanowili zrobić to tylko raz i wywoływać z niego zewnętrzny kod który nie będzie musiał przechodzić każdorazowo weryfikacji. To właśnie ten z samymi zerami. Plik jest prawdopodobnie niepodpisany i jest możliwym wektorem ataku. Crowdstrike twierdzi że plik nie zawiera kodu tylko listę reguł, ale skoro spowodował skok do niewłaściwego adresu to można sądzić że możliwy jest też skok do dowolnego kodu z maksymalnymi uprawnieniami drivera.
4. Po czwarte nie przeprosili, w ich oświadczeniu napisali tylko jak skomplikowany i zajebisty mają system i że wprowadzą kilka poprawek w procesie; postanowili zrekompensować to ludziom dając gift card $10 (!) na uber eats (który zazwyczaj dodaje $15 do kosztu jedzenia różnymi opłatami), ale uber eats zablokował te gift carty bo były masowo używane i pomyśleli że to oszustwo

ale skoro spowodował skok do niewłaściwego adresu

Nie spowodował.
Spowodował odczyt danych spod nieprawidłowego adresu, ale nie skok.
Nieprawidłowy odczyt nastąpił w wyniku umieszczenia nullptr w tablicy, gdzie nullptr nie powinno być.
Klasyczny NPE.

Krolik napisał(a):

Nieprawidłowy odczyt nastąpił w wyniku umieszczenia nullptr w tablicy, gdzie nullptr nie powinno być.
Klasyczny NPE.

Wychodzi na to że w CS moduł kernela pod Windowsa pisali programiści PHPa po przebranżowieniu na C.