Dernière mise à jour le 28 mars 2023
Nous savons tous que le coût de développement de GPT-3 s’est élevé à plus de 4 millions de dollars. Mais quel est le coût de développement de son prédécesseur, le GPT-2 ? Êtes-vous curieux de connaître le coût de développement de ce modèle de langage ?
Dans cet article, nous parlerons du coût de développement de GPT-2. Alors, commençons la discussion.
Quel est le coût de développement de GPT-2 ?
Vous pourriez être surpris que OpenAI ait financé le GPT-2 project, un institut de recherche cofondé par des magnats de la technologie comme Elon Musk et Sam Altman.
Selon les rapports, le coût de développement de GPT-2 n’était que de 50 000 $. Ce n’est presque rien par rapport au coût de développement de GPT-3. Et c’est précisément pourquoi il existe une énorme différence entre GPT-2 et GPT-3.
Coût du matériel
Comme le modèle était nouveau et que le premier effort majeur était en cours, OpenAI avait besoin de beaucoup de puissance de calcul pour former GPT-2. L’institut a utilisé une combinaison de clusters CPU et GPU pour exécuter les calculs massifs pour le processus de formation.
Salaires des chercheurs
Les chercheurs qui ont travaillé sur le projet GPT-2 étaient parmi les meilleurs cerveaux de l’intelligence artificielle. En conséquence, ils commandaient des salaires élevés. À cette époque, embaucher les meilleurs talents était essentiel pour développer une technologie d’IA de pointe comme GPT-2.
Développer le modèle de langage GPT-2 n’était pas si coûteux. Mais les efforts et les apports ont été énormes. C’est parce qu’il s’agissait du premier modèle du genre et qu’il n’y avait pas beaucoup de ressources disponibles.
OpenAI a investi dans le projet, qui comprenait des dépenses liées au matériel, aux salaires des chercheurs et à d’autres coûts de développement. Cependant, le résultat était un modèle de langage qui avait le potentiel de révolutionner le domaine du traitement du langage naturel.
GPT-2 a déjà été utilisé dans diverses applications, de la traduction linguistique à la génération de contenu. On peut dire sans risque de se tromper que l’investissement dans GPT-2 en valait la peine.