Investigadores del Instituto de Robótica de la Universidad Carnegie Mellon han desarrollado una herramienta llamada FRIDA, que es un brazo robótico con un pincel adjunto. La herramienta aprovecha la inteligencia artificial (IA) para trabajar junto con humanos en proyectos de arte.
El equipo está listo para presentar la investigación titulada “FRIDA: un robot pintor colaborativo con un entorno de planificación diferenciable Real2Sim2Real” en la Conferencia internacional IEEE de 2023 sobre robótica y automatización en mayo.
Peter Schaldenbrand es Ph.D. estudiante del Instituto de Robótica de la Facultad de Informática. Trabaja con FRIDA y explora la IA y la creatividad.
“ Hay una pintura de una rana bailarina que creo que quedó muy bien”, dijo.”Es realmente tonto y divertido, y creo que la sorpresa de lo que FRIDA generó en base a mi aporte fue realmente divertida de ver”.
FRIDA es un acrónimo de Framework and Robotics Initiative for Developing Arts. Lleva el nombre de Frida Kahlo.
La investigación fue dirigida por Schalderbrand, junto con los profesores de RI Jean Oh y Jim McCaam, y ha atraído a estudiantes e investigadores de todo CMU.
Herramienta colaborativa, no artista
Los usuarios pueden guiar a FRIDA ingresando una descripción de texto, enviando otras obras de arte para inspirar su estilo o cargando una fotografía y pidiéndole que pinte una representación de eso El equipo también está probando otras entradas, como el audio.
“FRIDA es un sistema de pintura robótico, pero FRIDA no es un artista”, continuó Schalderbrand. “FRIDA no está generando las ideas para comunicar. FRIDA es un sistema con el que un artista podría colaborar. El artista puede especificar objetivos de alto nivel para FRIDA y luego FRIDA puede ejecutarlos”.
Para pintar una imagen, el robot usa modelos de IA que son comparables a los que impulsan ChatGPT y DALL-E 2 de OpenAI, que producir texto o una imagen en respuesta a un aviso. FRIDA simula cómo pintaría una imagen con pinceladas y utiliza el aprendizaje automático para evaluar su progreso mientras trabaja.
Los productos finales de FRIDA son caprichosos e impresionistas. Las pinceladas son audaces y carecen de la precisión que se busca con frecuencia en los esfuerzos robóticos.
“FRIDA es un proyecto que explora la intersección de la creatividad humana y robótica”, agregó McCann.”Frida está usando el tipo de modelos de IA que se han desarrollado para hacer cosas como subtitular imágenes y comprender el contenido de la escena y aplicarlo a este problema generativo artístico”.
FRIDA usa IA y aprendizaje automático varias veces durante su proceso de creación de arte. Primero, pasa una hora o más aprendiendo a usar su pincel. Luego, emplea modelos de visión-lenguaje que han sido entrenados en grandes conjuntos de datos que combinan texto e imágenes extraídas de Internet, como el entrenamiento previo de imágenes de lenguaje contrastivo (CLIP) de OpenAI, para comprender la entrada.
Uno de los desafíos técnicos más importantes en la producción de una imagen física es reducir la brecha entre la simulación y la realidad, que es la disparidad entre lo que FRIDA crea en la simulación y lo que pinta en el lienzo. FRIDA usa una idea conocida como real2sim2real, donde las pinceladas reales del robot se usan para entrenar al simulador para que refleje e imite las capacidades físicas del robot y los materiales de pintura.
El equipo de FRIDA ahora tiene como objetivo abordar algunas de las limitaciones en los grandes modelos actuales de visión-lenguaje refinando continuamente los que usan. Alimentaron a los modelos con titulares de artículos de noticias para brindarles una idea de lo que estaba sucediendo en el mundo y los capacitaron más en imágenes y texto que son más representativos de diversas culturas para evitar un sesgo estadounidense u occidental.