Última atualização em 28 de março de 2023
Todos sabemos que o custo de desenvolvimento do GPT-3 foi superior a US$ 4 milhões. Mas qual é o custo de desenvolvimento de seu antecessor, o GPT-2? Você está curioso para saber o custo de desenvolvimento deste modelo de linguagem?
Neste artigo, falaremos sobre o custo de desenvolvimento do GPT-2. Então, vamos começar a discussão.
Qual é o custo de desenvolvimento do GPT-2?
Você pode se surpreender ao saber que OpenAI financiou o GPT-2, um instituto de pesquisa co-fundado por magnatas da tecnologia como Elon Musk e Sam Altman.
De acordo com relatos, o custo de desenvolvimento do GPT-2 foi de apenas US$ 50.000. Isso é quase nada em comparação com o custo de desenvolvimento do GPT-3. E é precisamente por isso que existe uma enorme diferença entre GPT-2 e GPT-3.
Custo de hardware
Como o modelo era novo e o primeiro grande esforço estava em andamento, o OpenAI precisava de muito poder de computação para treinar o GPT-2. O instituto usou uma combinação de clusters de CPU e GPU para executar os cálculos massivos do processo de treinamento.
Salários dos pesquisadores
Os pesquisadores que trabalharam no projeto GPT-2 eram algumas das mentes mais importantes da inteligência artificial. Como resultado, eles comandavam altos salários. Naquela época, contratar os melhores talentos era essencial para desenvolver tecnologia de IA de ponta, como GPT-2.
Conclusão
Desenvolver o modelo de linguagem GPT-2 não era tão caro. Mas os esforços e contribuições foram enormes. Isso porque era o primeiro modelo do gênero e não havia muitos recursos disponíveis.
OpenAI investiu no projeto, que incluiu despesas relacionadas a hardware, salários de pesquisadores e outros custos de desenvolvimento. No entanto, o resultado foi um modelo de linguagem com potencial para revolucionar o campo do processamento de linguagem natural.
O GPT-2 já foi utilizado em diversas aplicações, desde a tradução de idiomas até a geração de conteúdo. É seguro dizer que o investimento no GPT-2 valeu a pena.