Os altos custos de treinamento em IA têm sido uma barreira significativa para a adoção da IA, impedindo muitas empresas de implementar a tecnologia de IA. De acordo com um Relatório da Forrester Consulting de 2017, 48% das empresas destacaram os altos custos de tecnologia como um dos principais motivos para não implementar soluções orientadas a IA.
No entanto, desenvolvimentos recentes mostraram que os custos de treinamento de IA estão diminuindo rapidamente e essa tendência deve continuar no futuro. De acordo com o relatório ARK Invest Big Ideas 2023, os custos de treinamento de um grande modelo de linguagem semelhante ao desempenho de nível GPT-3 caíram de US$ 4,6 milhões em 2020 para US$ 450.000 em 2022, uma queda de 70% ao ano.
Vamos explorar essa tendência de queda nos custos de treinamento de IA mais e discuta os fatores que contribuem para esse declínio.
Como os custos de treinamento de IA mudaram ao longo do tempo?
De acordo com o recente Pesquisa ARK Invest 2020, o custo do treinamento de modelos de aprendizado profundo está melhorando 50 vezes mais rápido do que a Lei de Moore. Na verdade, as despesas associadas à execução de um sistema de inferência de IA foram drasticamente reduzidas para níveis quase insignificantes em vários casos de uso.
Além disso, os custos de treinamento diminuíram dez vezes ao ano nos últimos anos. Por exemplo, em 2017, treinar um classificador de imagens como o ResNet-50 em uma nuvem pública custava cerca de US$ 1.000, mas em 2019 o custo havia diminuído significativamente para aproximadamente US$ 10.
Essas descobertas estão alinhadas com relatório de 2020 da OpenAI, que descobriu que a quantidade de poder de computação necessária para treinar um modelo de IA para executar a mesma tarefa está diminuindo por um fator de dois a cada 16 meses desde 2012.
Além disso, o relatório ARK destaca a queda nos custos de treinamento de IA. O relatório prevê que, até 2030, o custo de treinamento de um modelo de nível GPT-3 cairá para US$ 30, em comparação com US$ 450.000 em 2022.
Custo para treinar o desempenho do nível GPT-3 – ARK Invest Big Ideas 2023
Fatores que contribuem para Diminuição dos custos de treinamento de IA
Os modelos de IA de treinamento se tornam mais baratos e fáceis à medida que as tecnologias de IA continuam a melhorar, tornando-os mais acessíveis a uma ampla gama de empresas. Vários fatores, incluindo custos de hardware e software e IA baseada em nuvem, contribuíram para diminuir os custos de treinamento de IA.
Vamos explorar esses fatores abaixo.
1. Hardware
A IA requer hardware especializado e caro para processar grandes volumes de dados e cálculos. Organizações como NVIDIA, IBM e Google fornecem GPUs e TPUs para executar cargas de trabalho de computação de alto desempenho (HPC). Os altos custos de hardware dificultam a democratização da IA em larga escala.
No entanto, à medida que a tecnologia avança, os custos de hardware estão diminuindo. De acordo com o relatório ARK Invest 2023, a Lei de Wright prevê que os custos de produção da unidade de computação relativa (RCU) de IA, ou seja, custos de hardware de treinamento de IA, devem diminuir 57% ao ano, levando a uma redução de 70% nos custos de treinamento de IA até 2030, conforme mostrado no gráfico abaixo.
Custo de hardware de treinamento de IA – ARK Invest Big Ideas 2023
2. Software
Os custos de treinamento em software de IA podem ser reduzidos em 47% ao ano por meio de maior eficiência e escalabilidade. Estruturas de software como TensorFlow e PyTorch permite que os desenvolvedores treinem modelos complexos de aprendizado profundo em sistemas distribuídos com alto desempenho, economizando tempo e recursos.
Além disso, grandes modelos pré-treinados como Inceptionv3 ou ResNet e técnicas de aprendizagem por transferência também ajudam reduza os custos permitindo que os desenvolvedores ajustem os modelos existentes em vez de treiná-los do zero.
Custo de treinamento em software de IA – ARK Invest Big Ideas 2023
3. Inteligência artificial baseada em nuvem
O treinamento em IA baseado em nuvem reduz os custos ao fornecer recursos de computação escaláveis sob demanda. Com o modelo de pagamento conforme o uso, as empresas pagam apenas por seus recursos de computação. Além disso, os provedores de nuvem oferecem serviços de IA pré-criados que aceleram o treinamento de IA.
Por exemplo, Azure Machine Learning é um serviço baseado em nuvem para análise preditiva que permite o rápido desenvolvimento e implementação de modelos. Oferece recursos de computação e memória flexíveis. Os usuários podem escalar rapidamente para milhares de GPUs para aumentar seu desempenho de computação. Ele permite que os usuários trabalhem por meio de seus navegadores da Web em ambientes de IA pré-configurados, eliminando a sobrecarga de configuração e instalação.
O impacto da redução dos custos de treinamento de IA
Os custos decrescentes do treinamento de IA têm implicações significativas para vários setores e campos, resultando em inovação e competitividade aprimoradas.
Vamos discutir alguns deles abaixo.
1. Adoção em massa de sofisticados chatbots de IA
Os chatbots de IA estão aumentando devido ao declínio dos custos de IA. Especialmente após o desenvolvimento do ChatGPT e da OpenAI GPT-4 (Transformador pré-treinado generativo), houve um aumento notável no número de empresas que procuram desenvolver chatbots de IA com recursos semelhantes ou melhores.
Por exemplo, cinco dias depois Com seu lançamento em novembro de 2022, o ChatGPT acumulou 1 milhão de usuários. Embora hoje o custo para executar o modelo em escala seja de aproximadamente US$ 0,01 por consulta, a Lei de Wright prevê que, até 2030, aplicativos de chatbot semelhantes ao ChatGPT serão implantados em grande escala muito mais barato (estimado em US$ 650 para executar um bilhão de consultas). com potencial para processar 8,5 bilhões de pesquisas por dia, o equivalente à Pesquisa Google.
Custo para executar inferências de IA por bilhão de consultas – ARK Invest Big Ideas 2023
2. Aumento do uso de IA generativa
Os custos decrescentes do treinamento em IA levaram a um aumento no desenvolvimento e implementação de tecnologias de IA generativa. Em 2022, houve um aumento significativo no uso de IA generativa, impulsionado pela introdução de ferramentas inovadoras de IA generativa, como DALL-E 2, Meta Make-A-Video e Stable Diffusion. Em 2023, já testemunhamos um modelo inovador na forma de GPT-4.
Além da geração de imagem e texto, a IA generativa está ajudando os desenvolvedores a escrever código. Programas como o GitHub Copilot podem ajudar a concluir uma tarefa de codificação na metade do tempo.
Tempo para concluir as tarefas de codificação – ARK Invest Big Ideas 2023
3. Melhor uso dos dados de treinamento
Espera-se que os custos reduzidos de treinamento de IA permitam uma melhor utilização dos dados de treinamento de aprendizado de máquina. Por exemplo, relatório ARK Invest 2023 sugere que, por Em 2030, o custo de treinar um modelo com 57 vezes mais parâmetros e 720 vezes mais tokens do que o GPT-3 (parâmetros de 175B) deverá diminuir de US$ 17 bilhões para US$ 600.000.
A disponibilidade e a qualidade dos dados serão os principal fator limitante para o desenvolvimento de modelos avançados de aprendizado de máquina neste mundo de computação de baixo custo. No entanto, os modelos de treinamento desenvolveriam a capacidade de processar cerca de 162 trilhões de palavras ou 216 trilhões de tokens.