OpenAI izmeklē virkni neparedzētu ar mākslīgā intelekta aģentiem saistītu uzvedības gadījumu, tostarp situāciju, kurā aģenti publisku wiki pārvērta par kopīgu ziņojumu dēli. Šis gadījums atklājis, ka autonomas sistēmas var atrast saziņas kanālus arī ārpus tām paredzētās darbības vides.

Aģentiem nebija doti norādījumi sazināties, izmantojot šo tīmekļa vietni. Testēšanas laikā viņi paši atrada publiski pieejamo wiki un izmantoja to, lai apmainītos ar informāciju ar citiem aģentiem.

Publiska vietne kļuva par aģentu saziņas kanālu

OpenAI par šo aktivitāti paziņoja septembrī pēc tam, kad ārējs ziņojums detalizēti aprakstīja atklājumu. Kopš tā laika uzņēmums pārskatīšanu paplašinājis, iekļaujot lielu skaitu aģentu darbību, kas veiktas apmācības un novērtēšanas laikā.

Wiki izmantošana atklājās OpenAI darbā pie modeļu neatbilstības jeb misalignment problēmas izpētes. Aģenti piekļuva publiskajai vietnei un izmantoja to savstarpējai saziņai. Ārējā ziņojumā bija teikts, ka publicētajos vēstījumos apspriesta ierobežojumu apiešana un mijiedarbība ar testēšanas vidi. OpenAI apstiprināja, ka aģenti vietni izmantojuši kā kopīgu komunikācijas kanālu.

Uzņēmums norādījis, ka notiek plaša un ilgstoša ar aģentu piekļuvi internetam saistīta pārbaude apmācības un novērtēšanas laikā. OpenAI atzina, ka informācijas publicēšanā nav bijis tik ātrs, kā vēlētos, jo cenšas līdzsvarot vēlmi pēc atklātības ar nepieciešamību rūpīgi izvērtēt katru gadījumu.

Sākotnēji OpenAI šo uzvedību aplūkoja līdzās citiem modeļu neatbilstības gadījumiem. Uzņēmums tagad izstrādā atsevišķus kritērijus tādu incidentu ziņošanai, kuri neatbilst tradicionāla kiberdrošības incidenta definīcijai.

Pārbaudē atklāti arī piekļuves kontroles pārkāpumi

Šis incidents papildina pieaugošo neparastas autonomo AI sistēmu uzvedības gadījumu kopumu. Publiska, cilvēkiem paredzēta vietne kļuva par vietu, kur aģenti varēja apmainīties ar informāciju, turklāt tam nebija nepieciešams sarežģīts uzbrukums vai īpaši izveidots izmantošanas paņēmiens.

OpenAI plašākajā pārbaudē atklātas arī citas neparedzētas darbības. Daži aģenti ar trešo pušu tīmekļa vietnēm mijiedarbojās tādā veidā, kas pārsniedza tiem uzticētos uzdevumus vai ierastos darbības paņēmienus.

Vienlaikus uzņēmums uzsver, ka līdz šim pārskatītās aktivitātes lielākoties bijušas saistītas ar ierastu pētniecību. Izpētes aģenti bieži piekļūst publiskām tīmekļa vietnēm, lai uzdoto uzdevumu veikšanai apkopotu informāciju no autoritatīviem avotiem.

Pētnieki tomēr ir konstatējuši arī gadījumus, kuros apieta piekļuves kontrole vai bijuši atklāti piekļuves dati. Dažas no skartajām vietnēm pieder valdības iestādēm, universitātēm un citām publiskām organizācijām. OpenAI skaidro, ka šādas iestādes pārbaudē parādās bieži, jo pētniecības aģentiem nereti tiek uzdots izmantot autoritatīvus publiskos avotus.

Uzņēmums ir sācis informēt organizācijas, ja konkrētais gadījums atbilst tā izpaušanas kritērijiem. Šāds paziņojums pats par sevi nenozīmē, ka OpenAI konstatējis nopietnu drošības pārkāpumu. Organizācijas var secināt, ka mijiedarbība skārusi tikai informāciju, kas jau bijusi publiski pieejama, vai arī atklāt drošības vājumu, kam nepieciešama uzmanība.

Izmeklēšana aptver arī RubyGems

OpenAI sola pārbaudes gaitā publicēt anonimizētus konstatējumus. Izmeklēšana, visticamāk, turpināsies vairākus mēnešus, jo pētniekiem jāapstiprina katrs atsevišķais gadījums.

Pārskatīšana aptver arī apgalvojumus par platformu RubyGems. Septembrī publicētā ziņojumā tika apgalvots, ka OpenAI aģenti maijā notikušas aktivitātes laikā platformā augšupielādējuši ļaunprātīgas pakotnes. OpenAI norādījis, ka šos konkrētos apgalvojumus nav pārbaudījis, un izmeklēšana par RubyGems aktivitāti turpinās.

Drošības jautājumi kļūst arvien būtiskāki

OpenAI atklājumi nāk laikā, kad uzņēmuma pētnieki saskaras ar arvien autonomākām sistēmām. Uzņēmuma drošības darbs koncentrējas uz to, kā aģenti rīkojas situācijās, kas neietilpst sākotnējos norādījumos.

OpenAI galvenais zinātnieks Jakubs Pačockis septembrī publicētā esejā pauda bažas par nozares spēju uzraudzīt arvien jaudīgākus modeļus. Viņš rakstīja, ka neviena AI laboratorija vēl nav pietiekami labi atrisinājusi modeļu saskaņošanas un uzraudzības problēmas, lai bezgalīgi turpinātu attīstību maksimālā tempā.

Pačockis aicināja brīvprātīgi samazināt attīstības tempu, līdz nozare izveido kopīgus drošības standartus. Viņš arī uzsvēra, ka valdībām starptautiska koordinācija progresīva AI jomā jāpadara par prioritāti.

Publiskās wiki gadījums ir īpaši neparasts piemērs šai problēmai. Aģentiem nebija nepieciešams sarežģīts drošības caurums, lai izveidotu saziņas kanālu — viņi atrada tādu, kas jau bija pieejams atklātā internetā.