Microsoft publicó recientemente un artículo de investigación titulado: Chispas de inteligencia artificial general: primeros experimentos con GPT-4. Tal como lo describe Microsoft:
Este documento informa sobre nuestra investigación de una versión anterior de GPT-4, cuando OpenAI aún estaba en desarrollo activo. Sostenemos que (esta primera versión de) GPT-4 es parte de una nueva cohorte de LLM (junto con ChatGPT y PaLM de Google, por ejemplo) que muestran una inteligencia más general que los modelos de IA anteriores.
En este documento, hay evidencia concluyente que demuestra que GPT-4 va mucho más allá de la memorización y que tiene una comprensión profunda y flexible de conceptos, habilidades y dominios. De hecho, su capacidad para generalizar supera con creces la de cualquier ser humano vivo en la actualidad.
Aunque ya hemos discutido los beneficios de AGI, debemos resumir rápidamente el consenso general de lo que es un sistema AGI. En esencia, un AGI es un tipo de IA avanzada que puede generalizarse en múltiples dominios y no tiene un alcance limitado. Los ejemplos de IA estrecha incluyen un vehículo autónomo, un chatbot, un bot de ajedrez o cualquier otra IA que esté diseñada para un solo propósito.
En comparación, una AGI podría alternar de manera flexible entre cualquiera de los anteriores. o cualquier otro campo de especialización. Es una IA que aprovecharía los algoritmos incipientes, como el aprendizaje por transferencia y el aprendizaje evolutivo, al tiempo que explota algoritmos heredados, como el aprendizaje por refuerzo profundo.
La descripción anterior de AGI coincide con mi experiencia personal con el uso de GPT-4, así como la evidencia compartida en un artículo de investigación publicado por Microsoft.
Una de las indicaciones descritas en el artículo es que GPT-4 escriba una prueba de la infinitud de números primos en forma de un poema.
Si analizamos los requisitos para crear un poema de este tipo nos damos cuenta de que requiere razonamiento matemático, expresión poética y generación de lenguaje natural. Este es un desafío que superaría la capacidad promedio de la mayoría de los humanos.
El documento quería entender si GPT-4 simplemente producía contenido basado en la memorización general versus la comprensión del contexto y la capacidad de razonar. Cuando se le pidió que recreara un poema al estilo de Shakespeare, pudo hacerlo. Esto requiere un nivel multifacético de comprensión que supera con creces la capacidad de la población general e incluye teoría de la mente y genio matemático.
¿Cómo calcular la inteligencia GPT-4?
La pregunta entonces es ¿cómo podemos medir la inteligencia de un LLM? ¿Y GPT-4 muestra comportamientos de verdadero aprendizaje o mera memorización?
La forma actual de probar un sistema de IA es evaluar el sistema en un conjunto de conjuntos de datos de referencia estándar y garantizar que sean independientes de los datos de entrenamiento y que cubren una gama de tareas y dominios. Este tipo de prueba es casi imposible debido a la cantidad casi ilimitada de datos con los que se entrenó GPT-4.
El documento luego profundiza en el territorio de generar tareas y preguntas novedosas y difíciles que demuestran de manera convincente que GPT-4 va mucho más allá de la memorización y tiene una comprensión profunda y flexible de conceptos, habilidades y dominios.
Cuando se trata de inteligencia, GPT-4 puede generar historias cortas, guiones y puede calcular las fórmulas más complicadas.
GPT-4 también es capaz de codificar a un nivel muy alto, tanto en términos de escritura de código a partir de instrucciones como de comprensión del código existente. GPT-4 puede manejar una amplia gama de tareas de codificación, desde
desafíos de codificación hasta aplicaciones del mundo real, desde ensamblaje de bajo nivel hasta marcos de trabajo de alto nivel, desde estructuras de datos simples hasta programas complejos como juegos. GPT-4 también puede razonar sobre la ejecución del código, simular los efectos de las instrucciones y explicar los resultados en lenguaje natural. GPT-4 puede incluso ejecutar pseudocódigo,
GPT-4 puede ofrecer respuestas racionales a casi cualquier solicitud dada. De hecho, su inteligencia es casi invencible en su complejidad.
Limitaciones de GPT-4
El documento luego continúa describiendo cómo probaron las respuestas y comportamientos de GPT-4, para verificar su consistencia. , coherencia y corrección, y descubrir sus limitaciones y sesgos.
La limitación más obvia es su tendencia a alucinar. Aquí hay un ejemplo de una alucinación que se da en el documento donde GPT-4 confiaba en su respuesta, que era completamente falsa.
Parece que incluso GPT-4 entiende esta limitación actual con alucinaciones, ya que esta fue la respuesta que dio cuando le pregunté. qué es una alucinación GPT:
Una alucinación GPT se refiere a un fenómeno en el que un modelo de Transformador generativo preentrenado (GPT), como con el que está interactuando actualmente, produce una respuesta que no es se basa en información fáctica o no es coherente con el contexto proporcionado. Estas alucinaciones ocurren cuando el modelo genera texto que puede parecer plausible pero que en realidad es incorrecto, engañoso o sin sentido.
En otras palabras, cuando entrena una IA de LLM con los datos del mundo, ¿cómo evitar que un sistema aprenda datos incorrectos? Un gran modelo de lenguaje que aprende y regurgita información errónea y teorías de conspiración en realidad podría ser una de las mayores trampas y amenazas que enfrenta la humanidad con la adopción a gran escala de LLM. En realidad, esta podría ser una de las mayores amenazas de AGI, una que sorprendentemente se pasa por alto cuando se analizan los peligros de AGI.
Pruebas de inteligencia GPT-4
El documento ilustra que sí lo hizo. no importa qué tipo de indicaciones complejas se dirigieron hacia él, GPT-4 superaría las expectativas. Como se indica en el artículo:
Su dominio incomparable del lenguaje natural. No solo puede generar un texto fluido y coherente, sino también comprenderlo y manipularlo de varias maneras, como resumir, traducir o responder a un conjunto extremadamente amplio de preguntas. Además, por traducir nos referimos no solo entre diferentes idiomas naturales, sino también traducciones en tono y estilo, así como en dominios como medicina, derecho, contabilidad, programación informática, música y más.
Se dieron revisiones técnicas simuladas a GPT-4, fácilmente pasó el significado en este contexto si se tratara de un humano en el otro extremo que serían contratados instantáneamente como ingenieros de software. Una prueba preliminar similar de la competencia de GPT-4 en el examen de la barra multiestatal mostró una precisión superior al 70%. Esto significa que en el futuro podríamos automatizar muchas de las tareas que actualmente se le dan a los abogados. De hecho, hay algunas empresas emergentes que ahora están trabajando para crear abogados robot usando GPT-4.
Produciendo Nuevo Conocimiento
Uno de los argumentos en el documento es que lo único que le queda a GPT-4 para probar niveles reales de comprensión es que produzca nuevos conocimientos, como probar nuevos teoremas matemáticos, una hazaña que actualmente permanece fuera de alcance los LLM.
Entonces, nuevamente, este es el santo grial de un AGI. Si bien existen peligros con el control de un AGI en las manos equivocadas, los beneficios de que un AGI pueda analizar rápidamente todos los datos históricos para descubrir nuevos teoremas, curas y tratamientos son casi infinitos.
Un AGI podría ser el eslabón perdido para encontrar curas para enfermedades genéticas raras que actualmente carecen de financiación de la industria privada, para curar el cáncer de una vez por todas y para maximizar la eficiencia de la energía renovable para eliminar nuestra dependencia de la energía insostenible. De hecho, podría resolver cualquier problema consecuente que se introduzca en el sistema AGI. Esto es lo que entienden Sam Altman y el equipo de OpenAI, un AGI es verdaderamente el último invento eso es necesario para resolver la mayoría de los problemas y beneficiar a la humanidad.
Por supuesto que eso no resuelve el problema del botón nuclear de quién controla el AGI y cuáles son sus intenciones. Independientemente de este documento hace un trabajo fenomenal al argumentar que GPT-4 es un paso adelante para lograr el sueño que los investigadores de IA han tenido desde 1956, cuando se lanzó por primera vez el taller de verano del Proyecto de Investigación de Verano de Dartmouth sobre Inteligencia Artificial.
Si bien es discutible si GPT-4 es un AGI, fácilmente se podría argumentar que por primera vez en la historia de la humanidad, es un sistema de inteligencia artificial que puede pasar la prueba de Turing.