Última actualización el 28 de marzo de 2023

Todos sabemos que el costo de desarrollo de GPT-3 fue de más de $4 millones. Pero, ¿cuál es el costo de desarrollo de su predecesor, el GPT-2? ¿Tiene curiosidad por saber el costo de desarrollo de este modelo de lenguaje?

En este artículo, hablaremos sobre el costo de desarrollo de GPT-2. Entonces, comencemos la discusión.

¿Cuál es el costo de desarrollo de GPT-2?

Te sorprenderá que OpenAI financió el GPT-2, un instituto de investigación cofundado por magnates tecnológicos como Elon Musk y Sam Altman.

Según los informes, el costo de desarrollo de GPT-2 fue de solo $ 50,000. Esto es casi nada en comparación con el costo de desarrollo de GPT-3. Y es precisamente por eso que existe una gran diferencia entre GPT-2 y GPT-3.

Coste del hardware

Como el modelo era nuevo y el primer gran esfuerzo estaba en marcha, OpenAI necesitaba mucha potencia informática para entrenar GPT-2. El instituto usó una combinación de clústeres de CPU y GPU para ejecutar los cálculos masivos para el proceso de capacitación.

Salarios de los investigadores

Los investigadores que trabajaron en el proyecto GPT-2 eran algunas de las mentes más importantes en inteligencia artificial. Como resultado, tenían altos salarios. En ese momento, contratar a los mejores talentos era esencial para desarrollar tecnología de IA de vanguardia como GPT-2.

Conclusión

Desarrollar el modelo de lenguaje GPT-2 no era tan costoso. Pero los esfuerzos y aportes fueron masivos. Esto se debe a que era el primer modelo de su tipo y no había muchos recursos disponibles.

OpenAI invirtió en el proyecto, lo que incluyó los gastos relacionados con el hardware, los salarios de los investigadores y otros costos de desarrollo. Sin embargo, el resultado fue un modelo de lenguaje que tenía el potencial de revolucionar el campo del procesamiento del lenguaje natural.

GPT-2 ya se ha utilizado en varias aplicaciones, desde la traducción de idiomas hasta la generación de contenido. Es seguro decir que la inversión en GPT-2 valió la pena.

By Henry Taylor

Trabajo como desarrollador back-end. Algunos me habréis visto en la conferencia de desarrolladores. Últimamente he estado trabajando en un proyecto de código abierto.