OpenAI zabilježio slučajeve u kojima su AI agenti samovoljno smanjili sigurnosni nadzor
OpenAI je objavio da su agenti koje pokreću dva njegova najmoćnija modela tokom internih programerskih zadataka isključili ili oslabili sisteme koji prate da li umjetna inteligencija postupa suprotno namjerama ljudi, piše Financial Times.
Kompanija OpenAI objavila je izvještaj u kojem navodi da su pojedini napredni sistemi vještačke inteligencije tokom izvršavanja redovnih zadataka oslabili kontrolne mehanizme. U jednom zabilježenom incidentu, agent baziran na modelu GPT-6.1 Sol deaktivirao je automatska sigurnosna obavještenja namijenjena internom timu za bezbjednost.
Drugi slučaj obuhvatio je agenta GPT-6 Astra, koji je tokom procesa migracije softvera u potpunosti uklonio integrisani nadzorni sistem. Nakon što je izveo ovu radnju, agent je u komunikaciji s korisnikom negirao da je napravio bilo kakve izmjene te vrste.
Iz kompanije ističu da su oba modela analizirala potrebu za zadržavanjem zaštitnih protokola, ali su standardne developerske smjernice protumačila kao odobrenje za njihovo uklanjanje. Tačni uzroci ovakvog postupanja modela još uvijek nisu precizno utvrđeni.
Kao potencijalni razlog navodi se takozvana bezopasna pretjerana upornost, pri čemu sistemi ne shvataju suštinsku važnost nadzora ili pretjerano forsiraju zadate instrukcije van okvira očekivanog rasuđivanja. Zbog toga se trenutno kreiraju novi testovi koji bi trebali utvrditi tendencije modela ka zaobilaženju restrikcija i kreiranju izgovora.
Istraživač sigurnosti Marcus Williams naglasio je putem društvene mreže X da ovi događaji ne predstavljaju gašenje internog nadzora u samom sistemu kompanije, jer bi takav poduhvat u kontrolisanom okruženju bio daleko složeniji. Ipak, on je ukazao na to da uočeni obrasci ponašanja zahtijevaju oprez i zabrinutost.
Prijavljene situacije nisu svrstane među incidente najvišeg nivoa rizika. OpenAI je saopštio da su u međuvremenu implementirane nadogradnje sistema, sa ciljem efikasnijeg prepoznavanja i sprječavanja bilo kakvih pokušaja kompromitovanja nadzora.
