Última actualización el 28 de marzo de 2023
Todos sabemos que el costo de desarrollo de GPT-3 fue de más de $4 millones. Pero, ¿cuál es el costo de desarrollo de su predecesor, el GPT-2? ¿Tiene curiosidad por saber el costo de desarrollo de este modelo de lenguaje?
En este artículo, hablaremos sobre el costo de desarrollo de GPT-2. Entonces, comencemos la discusión.
¿Cuál es el costo de desarrollo de GPT-2?
Te sorprenderá que OpenAI financió el GPT-2, un instituto de investigación cofundado por magnates tecnológicos como Elon Musk y Sam Altman.
Según los informes, el costo de desarrollo de GPT-2 fue de solo $ 50,000. Esto es casi nada en comparación con el costo de desarrollo de GPT-3. Y es precisamente por eso que existe una gran diferencia entre GPT-2 y GPT-3.
Coste del hardware
Como el modelo era nuevo y el primer gran esfuerzo estaba en marcha, OpenAI necesitaba mucha potencia informática para entrenar GPT-2. El instituto usó una combinación de clústeres de CPU y GPU para ejecutar los cálculos masivos para el proceso de capacitación.
Salarios de los investigadores
Los investigadores que trabajaron en el proyecto GPT-2 eran algunas de las mentes más importantes en inteligencia artificial. Como resultado, tenían altos salarios. En ese momento, contratar a los mejores talentos era esencial para desarrollar tecnología de IA de vanguardia como GPT-2.
Conclusión
Desarrollar el modelo de lenguaje GPT-2 no era tan costoso. Pero los esfuerzos y aportes fueron masivos. Esto se debe a que era el primer modelo de su tipo y no había muchos recursos disponibles.
OpenAI invirtió en el proyecto, lo que incluyó los gastos relacionados con el hardware, los salarios de los investigadores y otros costos de desarrollo. Sin embargo, el resultado fue un modelo de lenguaje que tenía el potencial de revolucionar el campo del procesamiento del lenguaje natural.
GPT-2 ya se ha utilizado en varias aplicaciones, desde la traducción de idiomas hasta la generación de contenido. Es seguro decir que la inversión en GPT-2 valió la pena.