Perjantaina 19.7.2024 tietojärjestelmät hetkeksi halvaannuttanut Crowdstriken Falcon-turvaohjelman virheellinen päivitys oli it-alan painajainen. Yhtiö, joka myy suurasiakkailleen suojaa hyökkäyksiä vastaan, aiheutti itse sellaisen. Liiketoiminnan jatkamisen varmistajasta tuli liiketoiminnan estäjä.
On tavanomaista, että päivitykset aiheuttavat yhteensopivuusongelmia. Suositellaan, että yritykset testaisivat ne ensin pienessä osassa laitteitaan, ennen laajamittaista käyttöönottoa. Tietoturvaohjelmissa tämä ajattelu ei toimi. Ohjelmien idea on juuri siinä, että ne päivittyvät nopeasti ja ovat aina ajan tasalla uusien haittaohjelmien ja hyökkäystapojen suhteen. Vaiheittainen käyttöönotto vesittää koko palvelun. Valmistajan on itse huolehdittava testauksesta.
Virheellisiä päivityksiä on aiemminkin korjattu uusilla päivityksillä. Tässä tapauksessa vika oli käyttöjärjestelmän tasolla, joten se halvaannutti koneen. Päivityksen jälkeen kone ei enää käynnistynyt uusien päivitysten asentamiseksi. Korjaus sinänsä oli helppoa - vain virheellisen tiedoston poisto yhdestä kansiosta - mutta sitä varten jokainen kone piti käynnistää manuaalisesti vikasietotilaan. Se vaatii asentajan käyntiä paikan päällä ja viivästyttää isoissa organisaatioissa toipumista useisiin viikkoihin.
Näinä aikoina laajamittainen palveluhäiriö herättää heti epäilyksen vihamielisestä vaikuttamisesta. Jos länttä vastaan haluttaisiin hyökätä verkossa, juuri näin se kannattaisi tehdä. Ei typeriä ja hyödyttömiä palvelunestohyökkäyksiä, vaan toimitusketjun kautta suoraan infrapalveluja tuottaviin yrityksiin.
Crowdstrike on selittänyt, että kyse oli vain "tavallisesta" ohjelmointivirheestä, joka sai ohjelman viittaamaan muistissa kielletylle alueelle, minkä seurauksena käyttöjärjestelmän oli pakko pysäyttää se. On kerrassaan käsittämätöntä, miten tietoturvayhtiö päästää läpi alkeellisen virheen testaamatta ja varmistamatta asioita moneen kertaan ennen jakelua asiakkaille. Jostain syystä koko organisaatio on mokannut. Viime kädessä vastuun kantaa yrityksen johto.
Kuten aina, taas kysymme itseltämme, olemmeko liian riippuvaisia tietotekniikasta ja muutamista laite/ohjelmavalmistajista. Jos tällaista voi tapahtua vahingossa, mitä tapahtuukaan tarkoituksella?
Vahingonkorvauksista tulee melkoinen sotku. Lähtökohtaisesti valmistaja korvaa asiakkaille virheellisen tuotteensa aiheuttamat suorat vahingot. Tietotekniikassa käytäntö on toinen. Usein valmistaja sanoutuu irti kaikesta vastuusta, koska vahingot ovat epäsuoria ja monitoimittajaympäristössä vaikeasti osoitettavia.
Ilta-Sanomien uutinen kuvasi hyvin ongelmavyyhdin laajuutta. Kerkko Laakso oli lentämässä ongelmapäivän aamuna Berliiniin, mutta it-häiriöt pakottivat sulkemaan kentän ja kone laskeutui Hampuriin. Kun ongelmia on kaikkialla, mikään ei toimi. Finnair ei pystynyt järjestämään jatkolentoa eikä edes viestimään tilanteesta suoraan matkustajille. Lopulta Laakso matkusti Berliiniin ostamalla itse 200 euron junaliput.
Jos Laakso haluaa lentoyhtiön hyvittävän 200 euron junamatkat, hän kohdistaa vaatimuksensa Finnairille. Se voisi vaatia (teorian tasolla) korvauksia Berliinin kentältä, joka puolestaan voisi vaatia korvauksia Crowdstrikelta.
Yritysten keskeytysvakuutukset korvaavat tavallisia vahinkoja. Kybervakuutukset korvaavat tietotekniikasta ja hyökkäyksistä aiheutuneita vahinkoja. Jos ketju päättyy sopimukseen, jonka mukaan ohjelmavalmistaja ei ole vastuussa bugeistaan, kuka lopulta maksaa ja kenelle?
Kyse on maailmanlaajuisesti miljardiluokan rahoista. Juristit jäävät aina voitolle, mutta toivottavasti myös me it-ihmiset voimme oppia tästä katastrofista jotain.
Lisäys 18.8.2024: Crowdstrike on julkaissut teknisen selvityksen virheestä. Pohjimmiltaan kyse oli siitä, että ohjelma yritti lukea 21 arvoa määrittelytiedostosta, jossa niitä oli vain 20. Selvitys ei kuitenkaan vastaa kaikkein tärkeimpään kysymykseen: ongelma oli olemassa viiden kuukauden ajan, ennen kuin se räjähti silmille. Miksei kukaan huomannut tätä ajoissa, ja miten näin alkeellinen virhe pääsi läpi kriittisen tietoturvaohjelman kehittäjiltä? Jos suora pdf-linkki on lakannut toimimasta, kokeile pääsivua.
5 kommenttia:
John McAfee katselee "pilvipalvelun" reunalta kateellisena...
"CrowdStrike's Falcon Sensor also linked to Linux kernel panics and crashes"
-- The Register (Sun 21 Jul 2024)
@Anonyymi
CrowdStriken hölmöily on aiheuttanut aiemmin ongelmia myös organisaatioissa, joilla on ollut heidän ohjelmistoaan käytössä Linux koneissa. Varmasti samaa olisi tapahtunut macOS ympäristöissä mikäli Apple vielä sallisi mäkeissä muiden tekemien kernel -ohjaimien lataamista. Mutta kun se ei sitä salli, niin mäkkejä tämä häröily ei koske.
Huono koodi voi rikkoa järjestelmiä -- News at 11.
@Petteri
Juridiset henkilöt (yritykset ym.) ei maksa itse suoria eikä välillisiä mm. selvitystyön ym. kustannuksia, ne siirtyvät aina viimein ketjun päässä olevien luonnollisten henkilöiden maksettavaksi.
Maksajia ovat siten kaikkien osallisten yritysten omistajat, työntekijät ja johto pienentyvän tuloksen ym. seurauksena, mutta enimmän osan kustannuksista ne siirtävät aina asiakkaidensa maksettavaksi ajan myötä. Aivan kuten kaiken muunkin ns. 'cost of doing business expences' kulujen osalta tehdään.
Ne yritykset ja toiminnot, media mukaan lukien, jotka elävät ongelmien sotkujen selvittämisestä hyötyvät.
Jaa niin ja jossain määrin välillisesti myös medialle näistä kommentoivat :D
"Se vaatii asentajan käyntiä paikan päällä ja viivästyttää isoissa organisaatioissa toipumista useisiin viikkoihin."
Eikä vaadi nykyä palvelimilla.
virtuaalien kohdalla alustan tarjoamalle konsolille tai fyysisten koneiden kohdalla BMC/iLO yms. etä-konsolille esim. selaimella (HTML5) tai erillisellä softalla esim. ipmiView.
Virtuaalien käyttöjärjelstelmä imagea voi "editoida" myös offline jos ei ole kryptattu.
Siis iskikö tämä kaikkiin käyttäjiin vai vain osaan? Jälkimmäisessä tapauksessa voisi ymmärtää miksi ei tullut ilmi testauksessa.
Lähetä kommentti