Un nuovo strumento open source per la serie NVIDIA GeForce RTX 30 è entrato nell'agenda degli utenti che seguono da vicino le prestazioni delle schede video nelle applicazioni di intelligenza artificiale. Si afferma che il modulo del kernel Linux chiamato Zagitta, condiviso su GitHub, aumenti significativamente le prestazioni di calcolo FP16 e BF16 su alcune schede basate su Ampere.
Secondo le informazioni riportate, lo strumento funziona senza richiedere il flashing del vBIOS o alcun intervento fisico sulla scheda. Si afferma che il modulo, che interviene sui selettori di velocità a livello hardware prima dell'attivazione del driver NVIDIA, aumenti la velocità di elaborazione delle istruzioni FMA FP/BF16 nei chip grafici GA102, GA103, GA104 e GA106.
I test condivisi sui social media e negli ambienti degli sviluppatori puntano in particolare alla serie RTX 30. Di conseguenza, è stato sostenuto che nel modello RTX 3090 Ti la potenza di elaborazione BF16 sia passata da 87,5 TFLOPS a 157,4 TFLOPS, mentre le prestazioni TF32 siano salite da 42,5 TFLOPS a 82,6 TFLOPS. È stato inoltre riportato che per la RTX 3080 da 10 GB, con il limite di potenza stock di 320W, le prestazioni FP16/BF16 sono aumentate da circa 65 TFLOPS a un intervallo di 110-113 TFLOPS.
RIDOTTA LA LATENZA NEI TEST LLM
Nei risultati condivisi non spicca solo la potenza di elaborazione grezza, ma anche gli scenari dei modelli linguistici di grandi dimensioni (LLM). È stato segnalato che nelle query con contesto lungo il tempo di pre-caricamento è accelerato di circa il 33-36%, mentre la latenza per ottenere la prima risposta si è ridotta di circa il 25%. D'altra parte, si afferma che non vi sia alcun cambiamento significativo nella fase di "decode", in cui continua la generazione del testo.
Si precisa che Zagitta è attualmente utilizzato su Linux e principalmente sui chip Ampere della serie RTX 30. Sebbene in alcuni post venga inclusa nel dibattito anche la serie RTX 40, le note tecniche riportate indicano che non vi è alcun supporto per la serie 40 e che è necessario disabilitare il Secure Boot. Per questo motivo, lo strumento non dovrebbe essere considerato una soluzione standard e priva di rischi per gli utenti comuni.
Questo sviluppo si è riflesso anche sul mercato delle schede video usate. Si afferma che gli utenti che eseguono modelli di intelligenza artificiale o ne effettuano il fine-tuning si stiano orientando in particolare verso i modelli RTX 3090 e RTX 3090 Ti con 24 GB di VRAM. Si riporta che gli annunci per la RTX 3090, precedentemente visti intorno ai 1.000 dollari sulle piattaforme dell'usato all'estero, hanno superato la soglia dei 2.000 dollari, mentre per la RTX 3090 Ti si parla di livelli compresi tra 2.650 e 3.000 dollari.
Questo quadro, pur creando un'opzione di calcolo a basso costo per gli sviluppatori di intelligenza artificiale, si traduce in una rinnovata pressione sui prezzi per i videogiocatori. La persistenza o meno della domanda dipenderà dall'affidabilità tecnica dello strumento, dalla sua situazione di fronte agli aggiornamenti dei driver e dalla propensione al rischio degli utenti.
Fonte della notizia: 12punto
