- Nvidia sta spingendo i produttori di SSD verso 100 milioni di IOPs di archiviazione Target
- Ma il CEO di Silicon Motion afferma che l'industria manca di memoria per soddisfare le richieste di intelligenza artificiale
- Potrebbe essere necessaria una nuova memoria per sbloccare l'archiviazione di intelligenza artificiale ultra-veloce
Man mano che le GPU crescono più velocemente e la larghezza di banda della memoria si ridimensiona nei terabyte al secondo, l'archiviazione è diventata il prossimo collo di bottiglia nell'informatica AI.
Nvidia sta cercando di spingere l'archiviazione per soddisfare le esigenze dei modelli di AI colpendo un obiettivo ambizioso per letture casuali a blocchi piccoli.
“In questo momento, mirano a 100 milioni di IOP – il che è enorme”, ha detto Wallace C. Kuo, CEO di Silicon Motion, L'hardware di Tom.
Ti potrebbe piacere
Gli SSD PCIE 5.0 più veloci di oggi sono completati a circa 14,5 GB/se da 2 a 3 milioni di IOP in carichi di lavoro che coinvolgono letture 4K e 512 byte.
Mentre i blocchi più grandi favoriscono la larghezza di banda, l'inferenza di intelligenza artificiale tira in genere piccoli e sparsi. Ciò rende 512B casuali recita più rilevanti e molto più difficili da accelerare.
Kioxia sta già preparando un “SSD AI” basato su XL-Flash, che dovrebbe superare i 10 milioni di IOP. Potrebbe lanciarsi insieme alla prossima piattaforma Vera Rubin di Nvidia il prossimo anno. Ma ridimensionare oltre ciò potrebbe richiedere molto più di un semplice controllore o modifiche NAND.
“Credo che stiano cercando un cambiamento mediatico”, ha detto Kuo. “Optane avrebbe dovuto essere la soluzione ideale, ma ora è sparita. Kioxia sta cercando di portare XL-Nand e migliorare le sue prestazioni. SanDisk sta cercando di introdurre un flash ad alta larghezza di banda, ma onestamente, non ci credo davvero.”
Potenza, costo e latenza pongono tutte sfide. “L'industria ha davvero bisogno di qualcosa di fondamentalmente nuovo”, ha aggiunto Kuo. “Altrimenti, sarà molto difficile ottenere 100 milioni di IOP ed essere comunque conveniente.”
Micron, SanDisk e altri stanno correndo per inventare nuove forme di memoria non volatile.
Se qualcuno di loro arriverà in tempo per la prossima ondata di hardware di Nvidia è il grande sconosciuto.