Ultimo aggiornamento il 28 marzo 2023
Sappiamo tutti che il costo di sviluppo di GPT-3 è stato di oltre $ 4 milioni. Ma qual è il costo di sviluppo del suo predecessore, il GPT-2? Sei curioso di conoscere il costo di sviluppo di questo modello linguistico?
In questo articolo parleremo del costo di sviluppo di GPT-2. Quindi, iniziamo la discussione.
Qual è il costo di sviluppo di GPT-2?
Potresti sorprenderti che OpenAI abbia finanziato il GPT-2, un istituto di ricerca co-fondato da magnati della tecnologia come Elon Musk e Sam Altman.
Secondo i rapporti, il costo di sviluppo di GPT-2 era di soli $ 50.000. Questo è quasi nulla in confronto al costo di sviluppo di GPT-3. Ed è proprio per questo che c’è un’enorme differenza tra GPT-2 e GPT-3.
Costo dell’hardware
Poiché il modello era nuovo e il primo grande sforzo è stato, OpenAI aveva bisogno di molta potenza di calcolo per addestrare GPT-2. L’istituto ha utilizzato una combinazione di cluster CPU e GPU per eseguire i massicci calcoli per il processo di formazione.
Stipendi dei ricercatori
I ricercatori che hanno lavorato al progetto GPT-2 erano alcune delle migliori menti dell’intelligenza artificiale. Di conseguenza, avevano alti stipendi. A quel tempo, assumere i migliori talenti era essenziale per sviluppare una tecnologia IA all’avanguardia come GPT-2.
Conclusione
Sviluppare il modello linguistico GPT-2 non era così costoso. Ma gli sforzi e gli input sono stati enormi. Questo perché era il primo modello nel suo genere e non c’erano molte risorse disponibili.
OpenAI ha investito nel progetto, che includeva le spese relative all’hardware, gli stipendi dei ricercatori e altri costi di sviluppo. Tuttavia, il risultato è stato un modello linguistico che aveva il potenziale per rivoluzionare il campo dell’elaborazione del linguaggio naturale.
GPT-2 è già stato utilizzato in varie applicazioni, dalla traduzione linguistica alla generazione di contenuti. È sicuro affermare che l’investimento in GPT-2 ne è valsa la pena.