I ricercatori del Robotics Institute della Carnegie Mellon University hanno sviluppato uno strumento chiamato FRIDA, che è un braccio robotico a cui è attaccato un pennello. Lo strumento sfrutta l’intelligenza artificiale (AI) per collaborare con gli esseri umani su progetti artistici.
Il team presenterà la ricerca intitolata”FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment“alla conferenza internazionale IEEE 2023 sulla robotica e l’automazione di maggio.
Peter Schaldenbrand è un Ph.D. studente presso l’Istituto di Robotica presso la Scuola di Informatica. Lavora con FRIDA ed esplora l’IA e la creatività.
“ C’è questo dipinto di una rana ballerina che penso sia venuto davvero bene”, ha detto.”È davvero sciocco e divertente, e penso che la sorpresa di ciò che FRIDA ha generato sulla base del mio contributo sia stata davvero divertente da vedere.”
FRIDA è l’acronimo di Framework and Robotics Initiative for Developing Arts. Prende il nome da Frida Kahlo.
La ricerca è stata condotta da Schalderbrand, insieme ai membri della facoltà del RI Jean Oh e Jim McCaam, e ha attratto studenti e ricercatori da tutta la CMU.
Strumento di collaborazione non artista
Gli utenti possono guidare FRIDA inserendo una descrizione testuale, inviando altre opere d’arte per ispirarne lo stile o caricando una fotografia e chiedendole di dipingere una rappresentazione di esso. Il team sta testando anche altri input, come l’audio.
“FRIDA è un sistema di pittura robotico, ma FRIDA non è un artista”, ha continuato Schalderbrand. “FRIDA non sta generando le idee per comunicare. FRIDA è un sistema con cui un artista potrebbe collaborare. L’artista può specificare obiettivi di alto livello per FRIDA e quindi FRIDA può eseguirli.”
Per dipingere un’immagine, il robot utilizza modelli di intelligenza artificiale paragonabili a quelli che alimentano ChatGPT e DALL-E 2 di OpenAI, che produrre testo o un’immagine in risposta a un prompt. FRIDA simula il modo in cui dipingerebbe un’immagine con pennellate e utilizza l’apprendimento automatico per valutare i suoi progressi mentre funziona.
I prodotti finali di FRIDA sono stravaganti e impressionistici. Le pennellate sono audaci e mancano della precisione che si cerca spesso nelle imprese robotiche.
“FRIDA è un progetto che esplora l’intersezione tra creatività umana e robotica”, ha aggiunto McCann.”Frida utilizza il tipo di modelli di intelligenza artificiale che sono stati sviluppati per fare cose come le immagini di didascalie e comprendere il contenuto della scena e applicarlo a questo problema artistico generativo.”
FRIDA utilizza l’intelligenza artificiale e l’apprendimento automatico diverse volte durante il suo processo artistico. Per prima cosa, impiega un’ora o più per imparare a usare il suo pennello. Quindi, utilizza modelli di linguaggio visivo che sono stati addestrati su enormi set di dati che accoppiano testo e immagini prelevati da Internet, come Contrastive Language-Image Pre-Training (CLIP) di OpenAI, per comprendere l’input.
Una delle sfide tecniche più significative nella produzione di un’immagine fisica è ridurre il divario tra simulazione e realtà, ovvero la disparità tra ciò che FRIDA crea nella simulazione e ciò che dipinge sulla tela. FRIDA utilizza un’idea nota come real2sim2real, in cui le effettive pennellate del robot vengono utilizzate per addestrare il simulatore a riflettere e imitare le capacità fisiche del robot e dei materiali di verniciatura.
Il team di FRIDA ora mira ad affrontare alcuni dei problemi limitazioni negli attuali grandi modelli di linguaggio visivo perfezionando continuamente quelli che usano. Hanno fornito ai modelli i titoli degli articoli di notizie per fornire loro un’idea di ciò che stava accadendo nel mondo e li hanno ulteriormente formati su immagini e testi che sono più rappresentativi delle diverse culture per evitare un pregiudizio americano o occidentale.