Gli elevati costi di formazione dell’IA hanno rappresentato un ostacolo significativo all’adozione dell’IA, impedendo a molte aziende di implementare la tecnologia dell’IA. Secondo un Rapporto Forrester Consulting del 2017, Il 48% delle aziende ha indicato gli elevati costi tecnologici come uno dei motivi principali per non implementare soluzioni basate sull’IA.
Tuttavia, i recenti sviluppi hanno dimostrato che i costi di formazione sull’IA stanno rapidamente diminuendo e questa tendenza dovrebbe continuare in futuro. Secondo il rapporto ARK Invest Big Ideas 2023, i costi di formazione di un modello linguistico di grandi dimensioni simile alle prestazioni di livello GPT-3 sono crollati da $ 4,6 milioni nel 2020 a $ 450.000 nel 2022, con un calo del 70% all’anno.
Esploriamo questa tendenza al calo dei costi di formazione dell’IA ulteriormente e discutere i fattori che contribuiscono a questo declino.
Come sono cambiati nel tempo i costi di formazione sull’IA?
Secondo il recente ARK Invest 2020 research, il costo dell’addestramento dei modelli di deep learning sta migliorando 50 volte più velocemente rispetto alla Legge di Moore. In effetti, la spesa associata all’esecuzione di un sistema di inferenza AI si è drasticamente ridotta a livelli quasi trascurabili per numerosi casi d’uso.
Inoltre, i costi di formazione sono diminuiti di dieci volte l’anno negli ultimi anni. Ad esempio, nel 2017, l’addestramento di un classificatore di immagini come ResNet-50 su un cloud pubblico costava circa $ 1.000, ma nel 2019 il costo era diminuito in modo significativo a circa $ 10.
Questi risultati sono in linea con un rapporto 2020 di OpenAI, che ha rilevato che la quantità di potenza di calcolo necessaria per addestrare un modello di intelligenza artificiale per eseguire la stessa attività è diminuita di un fattore due ogni 16 mesi dal 2012.
Inoltre, il rapporto ARK evidenzia il calo dei costi di formazione dell’IA. Il rapporto prevede che entro il 2030 il costo di formazione di un modello di livello GPT-3 scenderà a $ 30, rispetto ai $ 450.000 del 2022.
Costo per addestrare le prestazioni di livello GPT-3 – ARK Invest Big Ideas 2023
Fattori che contribuiscono a Diminuzione dei costi di formazione dell’IA
I modelli di intelligenza artificiale della formazione diventano più economici e più facili man mano che le tecnologie di intelligenza artificiale continuano a migliorare, rendendole più accessibili a una gamma più ampia di aziende. Diversi fattori, tra cui i costi hardware e software e l’intelligenza artificiale basata su cloud, hanno contribuito a ridurre i costi di formazione dell’IA.
Esploriamo questi fattori di seguito.
1. Hardware
L’intelligenza artificiale richiede hardware costoso specializzato di fascia alta per elaborare grandi volumi di dati e calcoli. Organizzazioni come NVIDIA, IBM e Google forniscono GPU e TPU per eseguire carichi di lavoro di calcolo ad alte prestazioni (HPC). Gli elevati costi dell’hardware rendono difficile democratizzare l’IA su larga scala.
Tuttavia, con l’avanzare della tecnologia, i costi dell’hardware stanno diminuendo. Secondo il rapporto ARK Invest 2023, la legge di Wright prevede che i costi di produzione delle unità di calcolo relative all’IA (RCU), ovvero i costi dell’hardware di addestramento dell’IA, dovrebbero diminuire del 57% all’anno, portando a una riduzione del 70% dei costi di addestramento dell’IA entro il 2030, come mostrato nel grafico sottostante.
Costo dell’hardware per la formazione AI – ARK Invest Grandi idee 2023
2. Software
I costi di formazione del software AI possono essere ridotti 47% all’anno grazie a una maggiore efficienza e scalabilità. Framework software come TensorFlow e PyTorch consente agli sviluppatori di addestrare complessi modelli di deep learning su sistemi distribuiti con prestazioni elevate, risparmiando tempo e risorse.
Inoltre, grandi modelli pre-addestrati come Inceptionv3 o ResNet e le tecniche di trasferimento dell’apprendimento aiutano anche ridurre i costi consentendo agli sviluppatori di perfezionare i modelli esistenti anziché addestrarli da zero.
Costo formazione software AI – ARK Investi grandi idee 2023
3. Intelligenza artificiale basata su cloud
La formazione sull’IA basata su cloud riduce i costi fornendo risorse di calcolo scalabili su richiesta. Con il modello pay-as-you-go, le aziende pagano solo per le proprie risorse informatiche. Inoltre, i fornitori di servizi cloud offrono servizi di intelligenza artificiale predefiniti che accelerano l’addestramento dell’IA.
Ad esempio, Azure Machine Learning è un servizio basato su cloud per l’analisi predittiva che consente un rapido sviluppo e implementazione di modelli. Offre risorse di calcolo flessibili e memoria. Gli utenti possono scalare rapidamente fino a migliaia di GPU per aumentare le loro prestazioni di elaborazione. Consente agli utenti di lavorare tramite i propri browser Web su ambienti IA preconfigurati, eliminando le spese generali di configurazione e installazione.
L’impatto del calo dei costi di formazione dell’IA
La diminuzione dei costi della formazione dell’IA ha implicazioni significative per vari settori e settori, con conseguente miglioramento dell’innovazione e della competitività.
Discutiamone alcune di seguito.
1. Adozione di massa di chatbot IA sofisticati
I chatbot IA sono in aumento a causa del calo dei costi dell’IA. Soprattutto dopo lo sviluppo di ChatGPT e di OpenAI GPT-4 (Generative Pre-trained Transformer), c’è stato un notevole aumento del numero di aziende che cercano di sviluppare chatbot di intelligenza artificiale con capacità simili o migliori.
Ad esempio, cinque giorni dopo al suo rilascio nel novembre 2022, ChatGPT ha accumulato 1 milione di utenti. Sebbene oggi il costo per eseguire il modello su larga scala sia di circa $ 0,01 per query, la legge di Wright prevede che entro il 2030, le applicazioni chatbot simili a ChatGPT saranno distribuibili su vasta scala molto più economiche (stimato $ 650 per eseguire un miliardo di query), con il potenziale per elaborare 8,5 miliardi di ricerche al giorno, equivalenti a Ricerca Google.
Costo per eseguire inferenze AI per miliardo di query – ARK Investi grandi idee 2023
2. Maggiore utilizzo dell’IA generativa
Il calo dei costi della formazione sull’IA ha portato a un’impennata nello sviluppo e nell’implementazione di tecnologie di intelligenza artificiale generativa. Nel 2022, c’è stato un aumento significativo nell’uso dell’IA generativa, guidato dall’introduzione di strumenti innovativi di AI generativa, come DALL-E 2, Meta Make-A-Video e Stable Diffusion. Nel 2023, abbiamo già assistito a un modello rivoluzionario sotto forma di GPT-4.
Oltre alla generazione di immagini e testo, l’IA generativa sta aiutando gli sviluppatori a scrivere codice. Programmi come GitHub Copilot possono aiutare a completare un’attività di codifica in metà tempo.
È ora di completare le attività di codifica – ARK Invest Big Ideas 2023
3. Migliore utilizzo dei dati di addestramento
Si prevede che la riduzione dei costi di addestramento dell’IA consentirà un migliore utilizzo dei dati di addestramento dell’apprendimento automatico. Ad esempio, il rapporto ARK Invest 2023 suggerisce che entro Nel 2030, il costo di addestramento di un modello con 57 volte più parametri e 720 volte più token rispetto a GPT-3 (175 miliardi di parametri) dovrebbe diminuire da $ 17 miliardi a $ 600.000.
La disponibilità e la qualità dei dati saranno le priorità principale fattore limitante per lo sviluppo di modelli avanzati di apprendimento automatico in questo mondo informatico a basso costo. Tuttavia, i modelli di addestramento svilupperebbero la capacità di elaborare circa 162 trilioni di parole o 216 trilioni di token.