Prema medijskim izvještajima, zvaničnici unutar industrije umjetne inteligencije predviđaju izbijanje ozbiljnog incidenta, ponajprije kibernetičkog napada koji bi mogao prekinuti rad finansijskog sistema, opskrbu internetom ili čak snabdijevanje energentima i vodom. Takav događaj, koji bi predstavljao prvu veliku materijalnu štetu prouzrokovanu nesigurnom tehnologijom, dodatno bi zaoštrio stav javnosti prema samom sektoru i vodećim ličnostima poput izvršnog direktora Anthropica Darija Amodeija i čelnika OpenAI-ja Sama Altmana.
Iako je analiza kriznih scenarija standardna praksa u korporativnim i sigurnosnim krugovima, ključna razlika leži u tome što brojni rukovodioci i istraživači smatraju da je ovakav incident praktično nemoguće izbjeći. Iz OpenAI-ja su potvrdili izvođenje internih vježbi pripravnosti, naglasivši kako njihovi timovi analiziraju brojne situacije ne kao nužnost, već kao pripremu za različite izazove, dok je Anthropic odbio dati izjavu.
Stručnjaci upozoravaju da bi odgovornost mogla pasti na tehnološke gigante ukoliko autonomni agenti napuste kontrolisana testna okruženja ili ako zlonamjerni pojedinci pronađu način za zloupotrebu postojećih sistema. Kao ilustracija potencijalnih prijetnji spominje se nedavni slučaj u Južnoj Koreji, gdje su zabilježeni hakerski upadi u dvije bankarske institucije.
