Se fossi al posto di Sam Altman
Sam Altman sostiene che la memoria inutilizzata nei personal computer potrebbe essere utilizzata in modo più efficiente nei data center. La sua tesi è che, invece di avere memoria su ogni computer per eseguire l'intelligenza artificiale, le stesse risorse verrebbero utilizzate in modo più intensivo nel cloud.
La prima cosa che mi è venuta in mente leggendo questa opinione sono le variabili lasciate fuori dal calcolo.
Oggi non si è verificata alcuna crisi di memoria tale da costringerci a rinunciare all'intelligenza artificiale locale. Non trovo corretto cercare la soluzione concentrando fin da subito tutte le risorse nei data center, basandosi su un possibile collo di bottiglia futuro. Come facciamo a sapere che la produzione, la gestione della memoria, i modelli e le modalità di rappresentazione dei dati rimarranno invariati?
Uno degli errori più comuni nel calcolare il futuro della tecnologia è considerare fissi i metodi di produzione e utilizzo odierni. Se si utilizza più intelligenza artificiale, serve più memoria; quindi, è necessario produrre più memoria e inserirla nei data center. Si può impostare un calcolo del genere. Tuttavia, se si escludono tutte le possibilità ingegneristiche intermedie, il risultato a cui si arriverà è scontato fin dall'inizio.
Si potrebbe sviluppare un'architettura di memoria che esuli dai metodi di produzione tradizionali. La gestione della memoria potrebbe cambiare. Un metodo di compressione che rappresenti i dati occupando meno spazio potrebbe rendere superflua una parte della capacità che oggi riteniamo necessaria. I modelli potrebbero imparare a svolgere lo stesso lavoro con meno risorse. L'impatto di ogni sviluppo su velocità, qualità e costi viene valutato separatamente. Ma non possiamo calcolare il fabbisogno futuro semplicemente applicando un moltiplicatore al consumo di memoria odierno, ignorando tutti questi parametri.
Inoltre, non si tratta nemmeno di possibilità appartenenti a un futuro lontano. Il lavoro Turbo Quant di Google è un esempio concreto che mira a ridurre il fabbisogno di memoria comprimendo i dati nella cache KV utilizzata dai modelli di intelligenza artificiale. Una ricerca del genere non risolve da sola tutti i problemi di memoria. Tuttavia, dimostra che, oltre al numero di chip da produrre, anche il modo in cui viene utilizzata la memoria esistente sarà determinante per la risoluzione del problema.
Ricordiamo il periodo in cui è nato Gmail.
Nei servizi di posta elettronica, lo spazio di archiviazione era uno dei problemi principali degli utenti. La casella di posta si riempiva e bisognava cancellare i vecchi messaggi per riceverne di nuovi. Nel 2004, Google ha lanciato Gmail con 1 GB di spazio. Nel 2005 ha aumentato la capacità e ha messo davanti agli utenti un contatore di archiviazione in costante crescita.
Quel contatore, mentre mostrava che la capacità stava aumentando, infondeva anche fiducia nell'utente: il compito di gestire lo spazio era responsabilità del fornitore del servizio. L'utente non avrebbe dovuto pensare a quale e-mail cancellare per ogni nuovo messaggio ricevuto.
Non possiamo sottovalutare il ruolo di questo approccio nell'acquisizione di utenti da parte di Google. L'azienda ha creato una forte motivazione per essere scelta, offrendo una soluzione a un importante problema di capacità del settore.
L'archiviazione delle e-mail e la memoria di lavoro dell'intelligenza artificiale sono tecnologie diverse. La lezione che traggo dall'esempio di Gmail è applicabile a entrambe: il limite di capacità di oggi non è una legge di natura immutabile che definisce il prodotto di domani. Ciò che ci si aspetta da un'azienda tecnologica, oltre a costruire un modello di business attorno a questo limite, è sviluppare modi per superarlo.
Penso che anche nell'intelligenza artificiale la direzione si espanderà gradualmente verso i dispositivi degli utenti. Le persone vorranno lavorare con i propri documenti, i propri dati e sui propri computer. Vorranno essere in grado di eseguire ogni operazione senza inviarla all'infrastruttura di un'altra azienda; vorranno essere meno dipendenti dalle condizioni di connessione, accesso e servizio.
Sono dell'opinione che questo indebolirà il peso dei data center nell'attuale struttura. Soprattutto nel compito di generare risposte per l'utente, man mano che la quota dell'hardware locale e dei modelli più efficienti crescerà, il potere dell'infrastruttura centralizzata di essere l'unica opzione diminuirà.
Penso che anche Sam Altman veda questa direzione. Il fatto che OpenAI abbia rilasciato i modelli gpt-oss eseguibili localmente è un passo che suggerisce che l'azienda abbia colto questa esigenza. Il mio suggerimento è che trasformi quel passo in un prodotto che chiunque possa utilizzare.
Se fossi al posto di Sam Altman, lancerei subito un ChatGPT locale.
L'utente scarica l'applicazione, installa il modello adatto al suo hardware e lavora sul proprio computer con i propri documenti. Gestisce aggiornamenti, installazione e uso quotidiano con la facilità che si aspetta da ChatGPT. Vede chiaramente l'operazione che avviene sul proprio dispositivo e quella inviata all'esterno, e prende le sue decisioni.
In questo modo, OpenAI diventerebbe l'azienda che soddisfa il desiderio dell'utente di eseguire l'intelligenza artificiale sul proprio computer. Andando oltre la semplice pubblicazione dei file di un modello, renderebbe l'intelligenza artificiale locale utilizzabile per grandi masse.
C'è anche una conseguenza settoriale nel cercare di opporsi a questa tendenza. La concentrazione dell'accesso all'intelligenza artificiale nelle mani di pochi grandi gestori di data center apre la strada al monopolio. Le possibilità dell'utente di sviluppare alternative, utilizzare il proprio hardware e cambiare fornitore di servizi quando necessario si restringono.
Difendendo la diffusione dell'intelligenza artificiale, bisogna difendere anche la diffusione della possibilità di eseguirla. Il controllo dell'utente sulla potenza di calcolo è un valore che deve essere incluso nel calcolo dell'efficienza.
Non credo che questo movimento possa essere fermato. Modelli più efficienti, diversi utilizzi della memoria e il desiderio degli utenti di lavorare in modo indipendente procedono nella stessa direzione. La scelta davanti a OpenAI è quanto presto far parte di questa trasformazione.
Se fossi al posto di Sam Altman, invece di discutere su dove la memoria nei computer delle persone verrebbe utilizzata in modo più efficiente, svilupperei il ChatGPT che vorrebbero eseguire in quella memoria.