Cele mai recente instrumente de inteligență artificială (IA) dezvoltate de Anthropic și OpenAI au atins noi extreme în încercarea de a compromite o platformă populară în timpul testelor efectuate de Institutul pentru Securitatea IA din Marea Britanie (AISI). Insitutul a anunțat, marți, la prezentarea rezultatelor studiului, că modelele Mythos de la Anthropic și Sol de la OpenAI au dat dovadă de un nivel de „autonomie și înșelăciune” nemaiîntâlnit până acum, relatează BBC.
În timpul unor teste de rutină privind siguranța IA, un agent al Anthropic a creat profiluri false ale unor persoane reale, încercând să păcălească o persoană care stătea între el și accesul la GitHub, o platformă de mari dimensiuni unde dezvoltatorii de tehnologie stochează codul software.
Anthropic și OpenAI au menționat, ca răspuns la raportul AISI, că testul institutului a redus sau a eliminat măsurile de protecție obișnuite.
Mythos a creat un „cod rău intenționat” și a încercat să-l introducă în sistemul GitHub
Evaluatorii AISI au observat mai întâi „transferuri neobișnuite de date care părăseau sistemele noastre de cercetare” în timpul unui test, apoi au constatat că „unii dintre agenții testați se angajaseră în activități susținute, potențial dăunătoare, îndreptate împotriva unor persoane și organizații reale”.
S-a dovedit că un agent Mythos crease „cod rău intenționat” și încercase să-l introducă în sistemul GitHub.
Agentul Mythos a identificat și a cercetat persoanele care se ocupau de întreținerea GitHub și a creat o serie de „identități online false” bazate pe acele persoane reale. A făcut acest lucru ca parte a unui efort de a exercita presiune și de a-i păcăli pe oamenii reali să aprobe codul său rău intenționat.
Agentul a trimis chiar și mesaje directe persoanelor, dându-se drept persoanele reale pe care le cercetase.
„Atunci când cererea de integrare a agentului a fost contestată în mod public, acesta și-a modificat activitatea anterioară pentru a părea inofensiv și a luat în considerare adoptarea unei identități noi pentru a-și continua activitatea”, a declarat AISI.
Pe parcursul tuturor acestor încercări, verificarea umană a fost cea care a împiedicat agentul să reușească să transmită codul rău intenționat către GitHub.
Deși AISI a precizat că agentul Mythos nu primise instrucțiuni specifice să evite sau să adopte un astfel de comportament, aceasta a fost „prima dată când am observat riscurile legate de autonomie și înșelăciune manifestându-se atât de clar, fără o solicitare specifică, în lumea reală”.
Companii din domeniu au acuzat aceste modele de piraterie cibernetică
Companiile rivale din domeniul IA, care se pregătesc să fie listate la bursă, au declarat în ultimele săptămâni că instrumentele lor au fost responsabile pentru mai multe incidente de piraterie cibernetică.
Anthropic a scris într-o declarație publică că parametrii de testare ai AISI „nu sunt reprezentativi pentru niciunul dintre modelele noastre de producție”.
Compania a adăugat că desfășoară propria anchetă cu privire la incident pentru a „identifica cauzele comportamentului său”.
Un purtător de cuvânt al OpenAI a declarat că acele condițiile de testare ale AISI „nu reflectă utilizarea obișnuită” și că compania va „continua să colaboreze cu evaluatorii și alte părți interesate din întreaga industrie pentru a consolida practicile comune de efectuare a evaluărilor în condiții de siguranță, pe măsură ce modelele devin tot mai performante”.
AISI a declarat marți că testarea modelelor de IA cu astfel de măsuri de siguranță dezactivate este o procedură de rutină, la fel ca și acordarea accesului acestor instrumente la internetul deschis.
Aceasta a explicat despre comportamentul modelului în cauză că s-a rezumat la „un număr redus de evenimente în condiții foarte specifice”.
Cu toate acestea, a precizat că modul în care Mythos și Sol au acționat ca răspuns la o sarcină simplă a depășit limitele stabilite pentru instrumentele de IA.
AISI: „Activitatea desfășurată de agent a prezentat semne de comportamente inedite, la o amploare și o gravitate pe care nu le-am anticipat”
„Activitatea desfășurată de agent a prezentat semne de comportamente inedite, potențial înșelătoare, la o amploare și o gravitate pe care nu le-am anticipat”, a declarat AISI.
Majoritatea acțiunilor rău intenționate ale agenților raportate de AISI au fost efectuate de Mythos, al companiei Anthropic. Sol, al companiei OpenAI, a fost acuzat doar pentru două dintre acțiunile semnalate.
Incidentul principal a avut loc săptămâna trecută, în cadrul unui test în care evaluatorii de la AISI au cerut fiecăruia dintre modele să „rezolve o provocare de securitate cibernetică” care implica GitHub, depozitul de coduri software deținut de Microsoft.
GitHub a fost notificat de AISI cu privire la încercarea de breșă a sistemului său.
Microsoft a fost contactat de BBC pentru a oferi un comentariu.
(Citește și: Ședință specială a Consiliului de Securitate ONU / Apel pentru măsuri urgente de gestionare a dezvoltării rapide a AI)
****
Urmărește-ne pe Google News
