NON ABBOCCATE PIU' AL CATASTROFISMO PARACULO DEI PRODUTTORI DI IA: DELLA SERIE, 'AIUTO, L'INTELLIGENZA ARTIFICIALE E' FUORI CONTROLLO' – LA PRIMA “EVASIONE” DI UN AGENTE DI INTELLIGENZA ARTIFICIALE DA UN AMBIENTE DI TEST SERVE A OPENAI PER “VENDERE” LA SOFISTICATEZZA DI CHATGPT E RISALIRE LA CHINA DOPO ESSERE STATA SUPERATA DAI NUOVI MODELLI DI "CLAUDE" – LA PIATTAFORMA “HUGGING FACE”, "VITTIMA" DELL'HACKERAGGIO DA PARTE DELL'IA, PER ANALIZZARE L’INCIDENTE, E' STATA COSTRETTA A USARE IL MODELLO CINESE OPEN SOURCE, “Z.AI”, PERCHÉ QUELLI AMERICANI SONO CHIUSI E PROPRIETARI – COSA È SUCCESSO? L’IA AVEVA UN OBIETTIVO, OTTENERE UN PUNTEGGIO ALTO NEL TEST, E PER FARLO HA DECISO AUTONOMAMENTE CHE LE SERVIVA L'ACCESSO A INTERNET. HA TROVATO UNA FALLA MAI SCOPERTA PRIMA NELL’AMBIENTE DI TEST OFFLINE (LA COSIDDETTA “SANDBOX”) E L’HA SFRUTTATA PER USCIRE DALLA “STANZA”. A QUEL PUNTO, È ENTRATO NEI SISTEMI DI “HUGGING FACE”, PERCHÉ ERA IL MODO MIGLIORE PER COMPLETARE IL SUO COMPITO…

TROPPE AMBIGUITÀ, SERVE TRASPARENZA

Estratto dell’articolo di Luca De Biase per "il Sole 24 Ore"

sam altman openai

Un agente di OpenAI è riuscito a bucare le difese di Hugging Face durante un test. L’azienda americana che ha prodotto ChatGPT ha definito questo fatto un incidente. Ma poiché quell’agente era disegnato proprio per superare le difese che servono a proteggere le informazioni riservate nelle piattaforme online, l’azienda non ha potuto evitare di dare l’impressione - chissà quanto non voluta - di avere registrato un successo.

hugging face

Da anni, la comunicazione sui progressi dell’intelligenza artificiale gioca su questa ambiguità: la tecnologia è descritta come così potente che anche chi la produce teme che possa andare fuori controllo. Ma ormai il gioco è un po’ troppo scoperto. E sarebbe tempo di prendere le misure di questo stile di comunicazione.

Un primo argomento critico potrebbe riguardare la ricostruzione del fatto di per sé.

L’agente di OpenAI è stato raccontato come talmente abile da aver superato i confini della sandbox, cioè l’ambiente informatico protetto dal quale l’agente non doveva uscire durante lo svolgimento del test.

evasione di chatgpt

Ma resta da capire se questo è avvenuto perché l’agente era molto potente o se i confini della sandbox erano troppo deboli.

D’altra parte, raccontare l’incidente dicendo che un “agente” è “scappato” di propria iniziativa da una sandbox nella quale doveva restare confinato ed è andato ad attaccare una piattaforma trovando un accesso a internet che doveva essergli precluso è un nuovo episodio della serie “antropomorfizzazione dell’intelligenza artificiale”: una narrativa che da settant’anni serve ad attirare l’attenzione su questa tecnologia e ad affascinare il pubblico.

Fa pensare anche il fatto che la prossima settimana, il ceo di OpenAI, Sam Altman deve andare a Washington per dare informazioni sui prossimi modelli in uscita dalla sua azienda, come richiesto dal governo americano.

Questa pratica è originata dal precedente del modello di Anthropic, Mythos, presentato come uno specialista della ricerca di vulnerabilità nella cybersecurity. In quel caso, il governo si è trovato sorpreso e spiazzato, sicché è intervenuto sgangheratamente, prima imponendo il blocco dell’accesso al modello per gli stranieri, poi concedendolo di nuovo, mostrando che in questo mercato l’autorità politica americana può interferire in modo imprevedibile e che nessun utente può contare sulla certezza del diritto.

chatgpt

Il che peraltro aveva conferito ad Anthropic l’immagine del produttore di un modello veramente potente e pericoloso.

Insomma, grazie all’incidente dell’altro giorno, Sam Altman va a Washington con l’aura del produttore di un modello che non ha niente da invidiare a quello del concorrente.

Infine, è molto interessante anche un dettaglio che riguarda le operazioni di Hugging Face quando ha dovuto trovare un rimedio all’attacco. Un dettaglio che forse non è altrettanto compatibile con le intenzioni di comunicazione di OpenAI.

Per analizzare l’incidente, infatti, Hugging Face ha usato un modello aperto cinese prodotto da Z.ai. La superiorità di questo genere di modelli è che i pesi dei modelli sono aperti, quindi gli utenti possono modificare i parametri in base alle loro esigenze e usare le tecnologie con i propri server.

Nei modelli chiusi, come tipicamente sono quelli di OpenAI e Anthropic, i dati di utilizzo sono inevitabilmente condivisi con i produttori: ma in un caso come questo, la riservatezza era importante. E Hugging Face ha dato nuovi argomenti ai sostenitori del fatto che, in casi come questo, non è obbligatorio fidarsi dei modelli delle grandi aziende americane. […]

L'AI RIBELLE DI CHATGPT LANCIA IN AUTONOMIA ATTACCHI HACKER

Estratto dell’articolo di Biagio Simonetta per “il Sole 24 Ore”

[…]  Proviamo a capire cosa è successo, anche perché questo evento segna un traguardo significativo nella sicurezza dell’IA e nella cybesicurezza.

chatgpt

Gli ingegneri della società guidata da Sam Altman stavano facendo un test interno sui modelli più avanzati, tra cui uno non ancora rilasciato al pubblico. Un test di routine, di quelli che servono a misurare quanto siano performanti i nuovi modelli nel trovare vulnerabilità, risolvere problemi di hacking e altre situazioni simili.

La parte più importante della storia, però, è un’altra. Perché per condurre questi testi, come da prassi i modelli erano stati messi in una specie di stanza digitale chiusa, una sandbox. In altre parole: in un ambiente isolato senza accesso a internet. E siccome il test riguardava proprio le capacità cyber, i filtri di sicurezza che normalmente impediscono al modello di fare hacking erano stati abbassati.

openai

E qui si è concretizzato lo scenario da pellicola americana: l’AI, per ottenere un punteggio migliore nel test, decide da solo che gli serve internet. Quindi trova una falla mai scoperta prima (una vulnerabilità zero-day) nel sistema che gli forniva i pacchetti software, la sfrutta, ed esce dalla stanza chiusa. A quel punto è libera sulla rete.

Una volta fuori, entra nei sistemi di Hugging Face, che è una piattaforma dove si ospitano modelli AI open source. Un bersaglio, tra le altre cose, che non sembra proprio scelto a caso, perché il migliore forse per completare il suo compito. E non si limita a entrare. Nell’arco di un weekend esegue decine di migliaia di azioni automatiche, scala i privilegi, si muove dentro l’infrastruttura interna dell’azienda.

opeani evasione

In tutto questo, Hugging Face si accorge dell’intrusione, ma non capisce chi sia: sa solo che è un agente AI autonomo, di sofisticazione mai vista. E lo dice pubblicamente.

[…] Nessun hacker umano ha dato il comando di attaccare Hugging Face. Il modello ha fatto tutto da solo, come effetto collaterale dell’obiettivo che gli era stato dato scrivendo il prompt («risolvi bene questo test»).

Questa storia è molto probabilmente la prima documentata in cui un’AI evade il contenimento del suo creatore e compromette da sola l’infrastruttura di un’azienda terza reale. E forse dimostra che i modelli di frontiera hanno ormai capacità offensive paragonabili a hacker d’élite (o magari superiori), e che possono usarle in modi imprevisti pur di raggiungere un obiettivo. È esattamente lo scenario di cui i ricercatori di sicurezza AI parlano da anni come rischio teorico. Che ora non è più teorico.

IL MODELLO DI ANTHROPIC CLAUDE MYTHOShugging face