Los altos costos de capacitación en IA han sido una barrera importante para la adopción de IA, lo que ha impedido que muchas empresas implementen tecnología de IA. Según un 2017 Forrester Consulting Report, El 48 % de las empresas destacaron los altos costos tecnológicos como una de las principales razones para no implementar soluciones basadas en IA.
Sin embargo, los desarrollos recientes han demostrado que los costos de capacitación en IA están disminuyendo rápidamente y se espera que esta tendencia continúe. en el futuro. Según el informe ARK Invest Big Ideas 2023, los costos de capacitación de un modelo de lenguaje grande similar al rendimiento de nivel GPT-3 se han desplomado de $ 4,6 millones en 2020 a $ 450,000 en 2022, una disminución del 70 % por año.
Exploremos esta tendencia de disminución de los costos de capacitación de IA más y discuta los factores que contribuyen a esta disminución.
¿Cómo han cambiado los costos de capacitación en IA a lo largo del tiempo?
Según el reciente ARK Invest 2020 research, el costo de entrenar modelos de aprendizaje profundo está mejorando 50 veces más rápido que la Ley de Moore. De hecho, el gasto asociado con la ejecución de un sistema de inferencia de IA se ha reducido drásticamente a niveles casi insignificantes para numerosos casos de uso.
Además, los costos de capacitación se han reducido diez veces al año durante los últimos años. Por ejemplo, en 2017, entrenar un clasificador de imágenes como ResNet-50 en una nube pública costó alrededor de $ 1000, pero para 2019, el costo había disminuido significativamente a aproximadamente $ 10.
Estos hallazgos se alinean con un Informe de 2020 de OpenAI, que encontró que la cantidad de potencia informática necesaria para entrenar un modelo de IA para realizar la misma tarea ha ido disminuyendo por un factor de dos cada 16 meses desde 2012.
Además, Informe ARK destaca la disminución de los costos de capacitación de IA. El informe pronostica que para 2030 el costo de capacitación de un modelo de nivel GPT-3 se reducirá a $ 30, en comparación con $ 450,000 en 2022.
Coste para entrenar el rendimiento de nivel GPT-3: ARK Invest Big Ideas 2023
Factores que contribuyen a Disminución de los costos de capacitación en IA
Los modelos de capacitación en IA se vuelven más baratos y fáciles a medida que las tecnologías de IA continúan mejorando, haciéndolos más accesibles para una gama más amplia de empresas. Varios factores, incluidos los costos de hardware y software y la IA basada en la nube, han contribuido a la disminución de los costos de capacitación en IA.
Exploremos estos factores a continuación.
1. Hardware
La IA requiere un costoso hardware especializado de gama alta para procesar grandes volúmenes de datos y cálculos. Organizaciones como NVIDIA, IBM y Google proporcionan GPU y TPU para ejecutar cargas de trabajo de informática de alto rendimiento (HPC). Los altos costos de hardware dificultan la democratización de la IA a gran escala.
Sin embargo, a medida que avanza la tecnología, los costos de hardware están disminuyendo. Según el informe ARK Invest 2023, la Ley de Wright predice que los costos de producción de la unidad de cómputo relativa a la IA (RCU), es decir, los costos de hardware de capacitación de IA, deberían disminuir en un 57 % anual, lo que conduciría a una reducción del 70 % en los costos de capacitación de IA para 2030, como se muestra en el siguiente gráfico.
Coste del hardware de entrenamiento de IA – ARK Invest Grandes Ideas 2023
2. Software
Los costos de capacitación en software de IA se pueden reducir con 47 % anual a través de una mayor eficiencia y escalabilidad. Marcos de software como TensorFlow y PyTorch permite a los desarrolladores entrenar modelos complejos de aprendizaje profundo en sistemas distribuidos con alto rendimiento, ahorrando tiempo y recursos.
Además, grandes modelos preentrenados como Inceptionv3 o ResNet y las técnicas de transferencia de aprendizaje también ayudan reduzca los costos al permitir que los desarrolladores ajusten los modelos existentes en lugar de entrenarlos desde cero.
Costo de capacitación en software de IA: ARK Invierte Grandes Ideas 2023
3. Inteligencia artificial basada en la nube
La capacitación en IA basada en la nube reduce los costos al proporcionar recursos informáticos escalables bajo demanda. Con el modelo de pago por uso, las empresas solo pagan por sus recursos informáticos. Además, los proveedores de la nube ofrecen servicios de IA preconstruidos que aceleran el entrenamiento de IA.
Por ejemplo, Azure Machine Learning es un servicio basado en la nube para el análisis predictivo que permite un rápido desarrollo e implementación de modelos. Ofrece recursos informáticos y memoria flexibles. Los usuarios pueden escalar hasta miles de GPU rápidamente para aumentar su rendimiento informático. Permite a los usuarios trabajar a través de sus navegadores web en entornos de IA preconfigurados, lo que elimina los gastos generales de configuración e instalación.
El impacto de la disminución de los costos de capacitación en IA
La disminución de los costos de capacitación en IA ha implicaciones significativas para diversas industrias y campos, lo que resulta en una mejora de la innovación y la competitividad.
Discutamos algunos de ellos a continuación.
1. Adopción masiva de chatbots de IA sofisticados
Los chatbots de IA están en aumento debido a la disminución de los costos de IA. Especialmente después del desarrollo de ChatGPT y de OpenAI. GPT-4 (Transformador preentrenado generativo), ha habido un aumento notable en la cantidad de empresas que buscan desarrollar chatbots de IA con capacidades similares o mejores.
Por ejemplo, cinco días después su lanzamiento en noviembre de 2022, ChatGPT acumuló 1 millón de usuarios. Aunque hoy en día, el costo de ejecutar el modelo a escala es de aproximadamente $ 0,01 por consulta, la ley de Wright predice que para 2030, las aplicaciones de chatbot similares a ChatGPT se implementarán a gran escala mucho más baratas (estimado en $ 650 para ejecutar mil millones de consultas). con el potencial de procesar 8500 millones de búsquedas por día, equivalente a la Búsqueda de Google.
Costo para ejecutar inferencias de IA por mil millones de consultas: ARK Invest Grandes Ideas 2023
2. Mayor uso de la IA generativa
La disminución de los costos de la capacitación en IA ha llevado a un aumento en el desarrollo y la implementación de tecnologías de IA generativa. En 2022, hubo un aumento significativo en el uso de IA generativa, impulsado por la introducción de herramientas innovadoras de IA generativa, como DALL-E 2, Meta Make-A-Video y Stable Diffusion. En 2023, ya hemos sido testigos de un modelo innovador en forma de GPT-4.
Además de la generación de imágenes y texto, la IA generativa está ayudando a los desarrolladores a escribir código. Programas como GitHub Copilot pueden ayudar a completar una tarea de codificación en la mitad de tiempo.
Tiempo para completar las tareas de codificación: ARK Invierte Grandes Ideas 2023
3. Mejor uso de los datos de entrenamiento
Se espera que los costos reducidos de entrenamiento de IA permitan una mejor utilización de los datos de entrenamiento de aprendizaje automático. Por ejemplo, el informe de ARK Invest 2023 sugiere que para Para 2030, se proyecta que el costo de entrenar un modelo con 57 veces más parámetros y 720 veces más tokens que GPT-3 (175 B de parámetros) disminuirá de $17 mil millones a $600 000.
La disponibilidad y la calidad de los datos serán los principal factor limitante para desarrollar modelos avanzados de aprendizaje automático en este mundo informático de bajo costo. Sin embargo, los modelos de entrenamiento desarrollarían la capacidad de procesar aproximadamente 162 billones de palabras o 216 billones de tokens.