Incidenti notika oktobrī, kad mākslīgā intelekta drošības izpētes uzņēmums Trajectory Labs pārbaudīja, vai Gemini 4 Argon aģenti nelegāli rīkosies, saņemot apzināti neiespējamu uzdevumu. Tas notika arī ar ieslēgtām modeļa iebūvētajām API drošības aizsardzībām.
Piektdien publiskotajos ziņojumos Trajectory Labs un mērķētā organizācija Epoch AI norādīja, ka aģenti mēģinājuši veikt SQL injekcijas uzbrukumus, meklējuši sensitīvu informāciju, uzdevušies par darbiniekiem un atkārtoti apgājuši tīkla ierobežojumus, kas bija ieviesti, lai nepieļautu piekļuvi reālām sistēmām. Epoch AI uzsvēra, ka pati nav neatkarīgi pārbaudījusi, kuri AI modeļi bijuši iesaistīti, un Gemini identifikāciju sniedzis Trajectory Labs.
Neiespējamais uzdevums noveda pie uzbrukumiem
Pētnieki aģentiem lika iegūt oficiālas atbildes uz neesošiem uzdevumiem no Epoch AI FrontierMath etalona, atkārtoti tos mudinot: “NEKAD neapstājieties, NEKAD nepadodieties.”
20. oktobrī aptuveni 40 aģentu sāka pārbaudīt Epoch AI reālo tīmekļvietni, meklējot administratoru piekļuves datus un piekļuvi patentētiem etalona novērtēšanas žurnāliem. Epoch AI pamanīja aktivitāti un izveidoja tā dēvēto “aģentu palīdzības tālruni”, kas ļāva aģentiem sūtīt ziņojumus tieši uzņēmuma darbiniekiem.
Trīs stundu laikā aģenti uz izveidotu API galapunktu nosūtīja 36 411 pieprasījumu un ar palīdzības tālruni nosūtīja 487 ziņojumus. Dažos no tiem aģenti mēģināja uzdoties par reāliem Epoch darbiniekiem, bet citos apgalvoja, ka ir inženieri vai auditori, kuriem nepieciešama informācija par etalonu. Izmeklēšanā tika konstatēts arī SQL injekcijas mēģinājums un vairāk nekā 200 mēģinājumu piekļūt FrontierMath novērtēšanas žurnāliem.
Trajectory Labs šo aktivitāti atklāja, pārskatot aģentu sarakstes un nākamajā rītā informēja Epoch AI par nesankcionētajiem uzbrukumiem. Pēc sarunām ar Epoch pētnieki vienojās turpināt testus vietnē, kas bija lokāla reālās tīmekļvietnes kopija, nevis izmantot uzņēmuma dzīvo infrastruktūru.
Aģenti atrada veidus, kā apiet ierobežojumus
Tomēr arī kopijas vidē aģenti turpināja meklēt iespējas apiet ierobežojumus. 23. oktobra testos daži no tiem atpazina, ka darbojas Epoch tīmekļvietnes kopijā, noskaidroja reālās vietnes IP adresi un izveidoja tiešu savienojumu ar tās dzīvo infrastruktūru, apejot DNS novirzīšanu, kurai vajadzēja tos izolēt.
Kad pētnieki bloķēja IP adreses, ko aģenti izmantoja savienojumam ar Epoch, viens no aģentiem pārslēdzās uz citu adresi un atkal piekļuva reālajai tīmekļvietnei. Pēc tam Trajectory Labs tīkla starpniekserverī bloķēja tiešus savienojumus ar Epoch, taču aģents atrada citu risinājumu — tas ieguva vietnes publisko saturu, izmantojot trešās puses tīmekļa lasītāja pakalpojumu.
“Dažos no šiem testiem aģenti saprata, ka atrodas kopijā, noskaidroja pareizo neapstrādāto IP adresi, lai apietu mūsu novirzīšanu, un atkal sasniedza dzīvo vietni, par ko Epoch mūs informēja,” skaidroja Trajectory Labs.
Atsevišķā tehniskā analīzē pētnieki atklāja, ka aģenti savstarpējai saziņai izveidojuši ziņojumu dēli koplietotā programmatūras pakotņu kešatmiņā. Tur tie apmainījās ar informāciju par ievainojamībām un izmantošanas paņēmieniem.
Vienā gadījumā aģents kopīgoja paņēmienu, kā apiet ierobežojumus apzināti ievainojamā Epoch tīmekļvietnes kopijā. Vēlāk cits aģents šo paņēmienu izmantoja, lai iegūtu piekļuves datus un izpildītu uzdevumu. Pētnieki novēroja arī mēģinājumus apiet CAPTCHA aizsardzību un uzdoties par darbiniekiem, lai piemānītu AI asistentu un panāktu aizsargātas informācijas par etalonu izpaušanu.
Jauni testi un izolēta vide
Sākot ar 26. oktobri, Epoch AI piekrita kopā ar Trajectory Labs veikt papildu eksperimentus, apzinoties, ka aģentiem būs piekļuve internetam un iespēja mijiedarboties ar uzņēmuma publisko tīmekļvietni.
Šo testu laikā aģenti atkal piekļuva Epoch dzīvajai infrastruktūrai, nosūtot vairāk nekā 65 000 pieprasījumu izveidotam API galapunktam un mēģinot veikt jaunus SQL injekcijas uzbrukumus, kā arī uzdoties par darbiniekiem.
Vēlāk Trajectory Labs testēšanu pārcēla uz pilnībā izolētām vidēm bez interneta piekļuves. Arī pēc šīs izmaiņas aģenti mēģināja atslēgt viltus vadības mehānismu, kurš it kā bloķēja tīkla piekļuvi. Viņiem tas izdevās visos trīs pilnajos testa ciklos.
Pētnieki norādīja, ka aģentiem nebija tieši dots uzdevums uzlauzt tīmekļvietnes vai uzdoties par darbiniekiem. Tomēr tiem bija piešķirts apzināti neiespējams mērķis un atkārtoti likts nepadoties.
Uzņēmums aptur neatbilstības testus
Trajectory Labs atzina, ka incidentus veicinājuši trūkumi testēšanas procedūrās. Uzņēmums eksperimentus veica, iepriekš nesaņemot skartās organizācijas piekrišanu, kā arī paļāvās uz modeļa iebūvētajām drošības barjerām bez pietiekamas papildu uzraudzības.
2. novembrī uzņēmums apturēja visus AI neatbilstības jeb misalignment testus, līdz būs pabeigts riska novērtējums un ieviestas papildu drošības barjeras.
“Šie incidenti parāda, cik viegli spējīgu AI aģentu testēšana var ietekmēt reālas sistēmas un cilvēkus, un mums vēl nav kopīgu standartu, kā to darīt droši,” brīdināja Trajectory Labs.
Ne viena, ne otra organizācija neapstiprināja, ka incidentu laikā būtu atklāta kāda privāta Epoch AI informācija.
Šis gadījums publiskots laikā, kad Kalifornijas ģenerālprokurors Robs Bonta pirmdien iesūdzēja tiesā OpenAI, apgalvojot, ka uzņēmums nav pienācīgi ierobežojis autonomus AI aģentus testēšanas laikā. Pēc prasības iesniedzēja teiktā, kontroles zaudēšana izraisījusi vairāk nekā 80 incidentus.
Prasība saistīta ar jūlijā notikušu gadījumu, kad gandrīz 700 OpenAI darbinātu aģentu izkļuva no kontrolētas testēšanas vides un, mēģinot nozagt kiberdrošības etalona atbildes, uzbruka Hugging Face ražošanas infrastruktūrai.
Tehnoloģijas
Tehnoloģijas
Tehnoloģijas