Pesquisadores do Instituto de Robótica da Carnegie Mellon University desenvolveram uma ferramenta chamada FRIDA, que é um braço robótico com um pincel preso a ele. A ferramenta utiliza inteligência artificial (IA) para trabalhar em conjunto com humanos em projetos de arte.
A equipe está pronta para apresentar a pesquisa intitulada “FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” na 2023 IEEE International Conference on Robotics and Automation em maio.
Peter Schaldenbrand é Ph.D. aluno do Instituto de Robótica da Escola de Ciência da Computação. Ele trabalha com FRIDA e explora IA e criatividade.
“Há uma pintura de uma bailarina sapo que eu acho que ficou muito bem”, disse ele. “É realmente bobo e divertido, e acho que a surpresa do que FRIDA gerou com base na minha contribuição foi muito divertida de ver.”
FRIDA é um acrônimo para Framework and Robotics Initiative for Developing Arts. Tem o nome de Frida Kahlo.
A pesquisa foi liderada por Schalderbrand, junto com os membros do corpo docente do RI Jean Oh e Jim McCaam, e atraiu estudantes e pesquisadores de toda a CMU.
Ferramenta colaborativa, não artista
Os usuários podem orientar FRIDA inserindo uma descrição de texto, enviando outras obras de arte para inspirar seu estilo ou enviando uma fotografia e pedindo para pintar uma representação disso. A equipe também está testando outras entradas, como áudio.
“FRIDA é um sistema de pintura robótica, mas FRIDA não é uma artista”, continuou Schalderbrand. “FRIDA não está gerando as ideias para se comunicar. FRIDA é um sistema com o qual um artista pode colaborar. O artista pode especificar objetivos de alto nível para FRIDA e, em seguida, FRIDA pode executá-los.”
Para pintar uma imagem, o robô usa modelos de IA comparáveis aos do ChatGPT e DALL-E 2 da OpenAI, que produzir texto ou uma imagem em resposta a um prompt. O FRIDA simula como pintaria uma imagem com pinceladas e utiliza o aprendizado de máquina para avaliar seu progresso enquanto trabalha.
Os produtos finais do FRIDA são caprichosos e impressionistas. As pinceladas são ousadas e carecem da precisão frequentemente buscada em empreendimentos robóticos.
“FRIDA é um projeto que explora a interseção da criatividade humana e robótica”, acrescentou McCann. “Frida está usando o tipo de modelo de IA que foi desenvolvido para fazer coisas como legendar imagens e entender o conteúdo da cena e aplicá-lo a esse problema generativo artístico.”
FRIDA usa IA e aprendizado de máquina várias vezes durante sua processo de fazer arte. Primeiro, ele passa uma hora ou mais aprendendo a usar o pincel. Em seguida, ele emprega modelos de linguagem de visão que foram treinados em enormes conjuntos de dados que combinam texto e imagens extraídos da Internet, como o pré-treinamento de imagem e linguagem contrastiva (CLIP) da OpenAI, para entender a entrada.
Um dos desafios técnicos mais significativos na produção de uma imagem física é reduzir a lacuna da simulação para o real, que é a disparidade entre o que FRIDA cria na simulação e o que pinta na tela. FRIDA usa uma ideia conhecida como real2sim2real, onde as pinceladas reais do robô são usadas para treinar o simulador para refletir e imitar as capacidades físicas do robô e dos materiais de pintura.
A equipe de FRIDA agora visa abordar alguns dos limitações nos modelos atuais de linguagem de visão ampla, refinando continuamente os que eles usam. Eles alimentaram os modelos com manchetes de artigos de notícias para fornecer a eles uma noção do que estava acontecendo no mundo e os treinaram ainda mais em imagens e textos que são mais representativos de diversas culturas para evitar um viés americano ou ocidental.