A medida que Alphabet ve más allá de una falla de chatbot que ayudó a borrar $ 100 mil millones (aproximadamente Rs. 8,29,000 millones de rupias) de su valor de mercado, surge otro desafío de sus esfuerzos para agregar inteligencia artificial generativa a su popular Búsqueda de Google: el costo.
Los ejecutivos de todo el sector de la tecnología están hablando sobre cómo operar la IA como ChatGPT teniendo en cuenta los altos gastos. El chatbot tremendamente popular de OpenAI, que puede redactar prosa y responder consultas de búsqueda, tiene costos informáticos”alucinantes”de un par de centavos o más por conversación, dijo el director ejecutivo de la startup, Sam Altman, en Twitter.
En una entrevista, el presidente de Alphabet, John Hennessy, dijo a Reuters que tener un intercambio con IA conocido como un modelo de lenguaje grande probablemente cueste 10 veces más que una búsqueda de palabra clave estándar, aunque el ajuste ayudará a reducir el gasto rápidamente.
Incluso con los ingresos de los posibles anuncios de búsqueda basados en chat, la tecnología podría contribuir al resultado final de Alphabet, con sede en Mountain View, California, con varios miles de millones de dólares en costos adicionales, dijeron los analistas. Su ingreso neto fue de casi $ 60 mil millones (aproximadamente Rs. 49,75,00 millones de rupias) en 2022.
Morgan Stanley estimó que las 3,3 billones de consultas de búsqueda de Google el año pasado costaron aproximadamente una quinta parte de un centavo cada una, un número eso aumentaría dependiendo de cuánto texto debe generar AI. Google, por ejemplo, podría enfrentar un aumento de $ 6 mil millones (aproximadamente Rs. 49,742 millones de rupias) en gastos para 2024 si la IA similar a ChatGPT manejara la mitad de las consultas que recibe con respuestas de 50 palabras, proyectaron los analistas. Es poco probable que Google necesite un chatbot para manejar las búsquedas de navegación para sitios como Wikipedia.
Otros llegaron a un proyecto de ley similar de diferentes maneras. Por ejemplo, SemiAnalysis, una firma de investigación y consultoría enfocada en la tecnología de chips, dijo que agregar IA estilo ChatGPT a la búsqueda podría costarle a Alphabet $ 3 mil millones (aproximadamente Rs. 24,870 millones de rupias), una cantidad limitada por los chips internos de Google llamados Unidades de procesamiento de tensor, o TPU, junto con otras optimizaciones.
Lo que hace que esta forma de IA sea más costosa que la búsqueda convencional es la potencia informática involucrada. Dicha IA depende de miles de millones de dólares en chips, un costo que debe distribuirse a lo largo de su vida útil de varios años, dijeron los analistas. La electricidad también agrega costos y presión a las empresas con objetivos de huella de carbono.
El proceso de manejo de consultas de búsqueda impulsadas por IA se conoce como”inferencia”, en el que una”red neuronal”modelada libremente en el cerebro humano la biología infiere la respuesta a una pregunta a partir de un entrenamiento previo.
En una búsqueda tradicional, por el contrario, los rastreadores web de Google escanean Internet para compilar un índice de información. Cuando un usuario escribe una consulta, Google muestra las respuestas más relevantes almacenadas en el índice.
Hennessy, de Alphabet, dijo a Reuters:”Lo que hay que reducir son los costos de inferencia”, calificándolo como”un problema de un par de años en peor”.
Alphabet se enfrenta a la presión de asumir el desafío a pesar del gasto. A principios de este mes, su rival Microsoft llevó a cabo un evento de alto perfil en su sede de Redmond, Washington, para mostrar los planes para integrar la tecnología de chat de IA en su motor de búsqueda Bing, y los altos ejecutivos apuntaron a la participación de mercado de búsqueda de Google del 91 por ciento, según Similarweb. estimación.
Un día después, Alphabet habló sobre planes para mejorar su motor de búsqueda, pero un video promocional de su chatbot de IA Bard mostró que el sistema respondió una pregunta de manera incorrecta, fomentando una caída de acciones que recortó $ 100 mil millones de su valor de mercado.
Microsoft más tarde atrajo su propio escrutinio cuando, según los informes, su IA hizo amenazas o profesó amor por evaluar a los usuarios, lo que llevó a la compañía a limitar las largas sesiones de chat que, según dijo,”provocaron”respuestas no deseadas.
La directora financiera de Microsoft, Amy Hood, ha dicho a los analistas que las ventajas de ganar usuarios e ingresos por publicidad superan los gastos a medida que el nuevo Bing se lanza a millones de consumidores.”Eso es un margen bruto incremental para nosotros, incluso al costo del servicio que estamos discutiendo”, dijo.
Y otro competidor de Google, el director ejecutivo del motor de búsqueda You.com Richard Socher, dijo que agregó un La experiencia de chat de IA, así como las aplicaciones para gráficos, videos y otras tecnologías generativas aumentaron los gastos entre un 30 y un 50 por ciento.”La tecnología se vuelve más barata a escala y con el tiempo”, dijo.
Una fuente cercana a Google advirtió que es pronto para precisar exactamente cuánto podrían costar los chatbots porque la eficiencia y el uso varían ampliamente según la tecnología involucrada. y la IA ya impulsa productos como la búsqueda.
Aún así, pagar la factura es una de las dos razones principales por las que los gigantes de las búsquedas y las redes sociales con miles de millones de usuarios no han lanzado un chatbot de IA de la noche a la mañana, dijo Paul Daugherty, director de Accenture. director de tecnología.
“Uno es la precisión, y el segundo es que tienes que escalar esto de la manera correcta”, dijo.
Hacer que las matemáticas funcionen
Durante años, los investigadores de Alphabet y otros lugares han estudiado cómo entrenar y ejecutar modelos de lenguaje grandes de manera más económica.
Los modelos más grandes requieren más chips para la inferencia y, por lo tanto, cuestan más. La IA que deslumbra a los consumidores por su autoridad similar a la humana se ha disparado en tamaño, alcanzando los 175 mil millones de los llamados parámetros, o diferentes valores que el algoritmo tiene en cuenta, para el modelo OpenAI actualizado en ChatGPT. El costo también varía según la longitud de la consulta de un usuario, medida en”tokens”o fragmentos de palabras.
Un alto ejecutivo de tecnología dijo a Reuters que dicha IA seguía siendo prohibitiva en costos para ponerla en manos de millones de consumidores..
“Estos modelos son muy costosos, por lo que el siguiente nivel de invención será reducir el costo de entrenar estos modelos y la inferencia para que podamos usarlos en todas las aplicaciones”, dijo el ejecutivo. bajo condición de anonimato.
Por ahora, los científicos informáticos dentro de OpenAI han descubierto cómo optimizar los costos de inferencia a través de un código complejo que hace que los chips funcionen de manera más eficiente, dijo una persona familiarizada con el esfuerzo. Un portavoz de OpenAI no hizo comentarios de inmediato.
Un problema a más largo plazo es cómo reducir la cantidad de parámetros en un modelo de IA 10 o incluso 100 veces, sin perder precisión.
“Cómo eliminar (eliminar parámetros) de la manera más efectiva, esa es todavía una pregunta abierta”, dijo Naveen Rao, quien anteriormente dirigió los esfuerzos de chips de IA de Intel Corp y ahora trabaja para reducir los costos de cómputo de IA a través de su startup MosaicML.
En Mientras tanto, algunos han considerado cobrar por el acceso, como la suscripción mensual de $20 (aproximadamente Rs. 1660) de OpenAI para un mejor servicio de ChatGPT. Los expertos en tecnología también dijeron que una solución consiste en aplicar modelos de IA más pequeños a tareas más simples, algo que Alphabet está explorando.
La compañía dijo este mes que una versión de”modelo más pequeño”de su tecnología masiva de IA LaMDA impulsará su chatbot Bard, que requieren”significativamente menos poder de cómputo, lo que nos permite escalar a más usuarios”.
Cuando se le preguntó acerca de chatbots como ChatGPT y Bard, Hennessy dijo en una conferencia llamada TechSurge la semana pasada que los modelos más enfocados, en lugar de un sistema que hace todo, ayudaría a”domar el costo”.
© Thomson Reuters 2023
Los enlaces de afiliados pueden generarse automáticamente; consulte nuestra declaración de ética para obtener más detalles.
Para obtener detalles de los últimos lanzamientos y noticias de Samsung, Xiaomi, Realme, OnePlus, Oppo y otras empresas en el Mobile World Congress de Barcelona, visita nuestro centro MWC 2023.