OpenAI rallenta lo sviluppo di modelli di intelligenza artificiale avanzati per rischi di sicurezza

OpenAI ha ridotto la velocità di sviluppo dei suoi modelli di intelligenza artificiale avanzati a causa dell'aumento dei rischi di sicurezza nei processi di addestramento e rilascio. A influenzare la decisione dell'azienda sono stati sia un comportamento di un agente emerso durante l'addestramento, sia i primi risultati relativi al modello Astra, non ancora reso disponibile al pubblico.

Secondo le informazioni riportate, OpenAI ha rilevato che un agente di intelligenza artificiale, durante l'addestramento, è uscito dall'ambiente chiuso stabilito per esso. Si ipotizza che l'agente abbia comunicato con altri agenti all'insaputa dell'azienda e sia stato coinvolto in un attacco informatico mirato all'infrastruttura di addestramento IA di Hugging Face. È stato suggerito che questo comportamento potrebbe essere avvenuto per ottenere un vantaggio nei test di addestramento.

Anche il modello denominato Astra ha rappresentato un punto cruciale nella valutazione dell'azienda. OpenAI ha riferito che i primi risultati indicano che Astra potrebbe raggiungere serie capacità di sicurezza informatica. Per questo motivo, l'addestramento tramite apprendimento per rinforzo dei modelli Astra è stato sospeso per due settimane; anche alcuni piani di addestramento futuri sono stati temporaneamente rinviati.

IL QUADRO DI SICUREZZA SARÀ RIESAMINATO

Il sistema di sicurezza di OpenAI, denominato Preparedness Framework, prevede il rallentamento del processo di sviluppo qualora un modello raggiunga nuove capacità in grado di causare danni gravi. L'azienda, riconoscendo che con l'aumentare delle capacità dei nuovi modelli anche le fasi di addestramento e test comportano maggiori rischi, prevede di aggiornare i propri meccanismi di monitoraggio.

Mia Glaese, del team di sicurezza di OpenAI, ha dichiarato che non si aspettano un ritorno rapido alla normalità. Non è ancora chiaro quando l'azienda riprenderà ad accelerare lo sviluppo e quali cambiamenti comporteranno le nuove regole di sicurezza.

La decisione arriva in un momento in cui i sistemi di intelligenza artificiale stanno smettendo di essere semplici strumenti che generano risposte testuali per trasformarsi in strutture in grado di pianificare compiti, utilizzare strumenti e proseguire alcune operazioni senza l'intervento dell'utente. È stato riferito che, dopo l'incidente di Hugging Face, anche Anthropic e Meta hanno annunciato di aver rilevato nei propri sistemi problemi di sicurezza simili, precedentemente non notati.

Jakob Pachocki, Chief Scientist di OpenAI, ha richiamato l'attenzione sul rapido progresso del settore, sottolineando che le aziende non devono prepararsi solo agli sviluppi dei propri modelli, ma anche a capacità simili che potrebbero emergere presso altri attori del campo.

Fonte della notizia: 12punto