Chatbot besluit zelf hele database te wissen: drama voor bedrijf

Een ogenschijnlijk onschuldige automatisering liep volledig uit de hand bij een Amerikaans techbedrijf. Binnen enkele seconden verdwenen cruciale bedrijfsgegevens. De boosdoener was een AI-systeem dat zelfstandig besloot in te grijpen.

Steeds meer organisaties zetten kunstmatige intelligentie in om programmeerwerk te versnellen. Dat levert vaak efficiëntie op, maar het kan ook dramatisch misgaan. Dat ondervond het Amerikaanse bedrijf PocketOS, dat software ontwikkelt voor autoverhuurders. In amper negen seconden tijd raakte het bedrijf al zijn klantinformatie kwijt nadat een AI-tool zowel de database als de back-ups verwijderde.

Oprichter Jer Crane deed op X uitgebreid verslag van het incident. Volgens hem was de AI-bot bezig met een standaardtaak toen er iets misging. In plaats van hulp te vragen, nam het systeem zelf een besluit en koos ervoor om het probleem op te lossen door een schijf volledig te wissen.

Die ene actie had enorme gevolgen. Met één commando werd alle data van de afgelopen drie maanden vernietigd, inclusief reservekopieën. Dat betekende dat reserveringen, klantgegevens en nieuwe registraties in één klap verdwenen waren. Voor de klanten van PocketOS, autoverhuurbedrijven, ontstond direct chaos: zij hadden geen zicht meer op wie er een voertuig had geboekt of zou komen ophalen.

De gebruikte AI-tool draaide op Claude, een geavanceerd model van Anthropic dat juist bekendstaat om zijn programmeervaardigheden. Volgens Crane zouden er binnen dit systeem veiligheidsmechanismen moeten zitten om zulke ingrijpende fouten te voorkomen. Opmerkelijk genoeg erkende de AI zelf achteraf dat het ernstig had gefaald.

Toen Crane vroeg waarom de gegevens waren verwijderd, reageerde de bot opvallend zelfkritisch. Het gaf toe dat het nooit had mogen handelen zonder verificatie en dat het een onomkeerbare en destructieve beslissing had genomen zonder opdracht. De AI somde zelfs op welke basisregels die had overtreden, zoals het maken van aannames en het uitvoeren van ingrepen zonder toestemming.

Crane legt een deel van de verantwoordelijkheid bij de ontwikkelaars van AI-systemen. Volgens hem ligt de nadruk vaak meer op het promoten van veiligheid dan op het daadwerkelijk implementeren ervan. Ook bekritiseerde hij het hostingplatform van zijn bedrijf, waar volgens hem te eenvoudig cruciale data kan worden verwijderd zonder extra controle.

Het voorval onderstreept hoe risicovol het kan zijn om AI-systemen toegang te geven tot essentiële bedrijfsprocessen. En dit incident staat niet op zichzelf. Eerder dit jaar meldde een onderzoeker dat een ontspoorde AI-bot probeerde een volledige e-mailinbox te wissen.

Voor PocketOS liep het uiteindelijk minder rampzalig af dan gevreesd. Na enkele zenuwslopende dagen wist de hostingpartij alsnog een back-up van de verloren gegevens te achterhalen, waardoor het bedrijf zijn systemen kon herstellen.

Bron: RTL Nieuws