A crescente sofisticação e acessibilidade da inteligência artificial (IA) levantou preocupações de longa data sobre seu impacto na sociedade. A geração mais recente de chatbots apenas exacerbou essas preocupações, com temores sobre a integridade do mercado de trabalho e a disseminação de notícias falsas e desinformação. À luz dessas preocupações, uma equipe de pesquisadores da Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia procurou capacitar os usuários de tecnologia para mitigar esses riscos.
Treinando-se para reconhecer texto de IA
Seu artigo revisado por pares, apresentado na reunião de fevereiro de 2023 da Associação para o Avanço da Inteligência Artificial, fornece evidências de que as pessoas podem aprender a identificar a diferença entre texto gerado por máquina e escrito por humanos.
O estudo, conduzido por Chris Callison-Burch, Professor Associado no Departamento de Ciência da Computação e Informação (CIS), juntamente com Ph.D. alunos Liam Dugan e Daphne Ippolito, demonstra que o texto gerado por IA é detectável.
“Mostramos que as pessoas podem treinar a si mesmas para reconhecer textos gerados por máquina”, diz Callison-Burch. “As pessoas começam com um certo conjunto de suposições sobre que tipo de erros uma máquina cometeria, mas essas suposições não são necessariamente corretas. Com o tempo, dados exemplos suficientes e instruções explícitas, podemos aprender a identificar os tipos de erros que as máquinas estão cometendo atualmente.”
O estudo usa dados coletados usando “Real or Fake Text?”, um jogo de treinamento original baseado na web. Este jogo de treinamento transforma o método experimental padrão para estudos de detecção em uma recriação mais precisa de como as pessoas usam IA para gerar texto.
Nos métodos padrão, os participantes são solicitados a indicar de forma sim ou não se uma máquina produziu um determinado texto. O modelo Penn refina o estudo de detecção padrão em uma tarefa de treinamento eficaz, mostrando exemplos que começam como escritos por humanos. Cada exemplo faz a transição para o texto gerado, pedindo aos participantes que marquem onde eles acreditam que essa transição começa. Os treinandos identificam e descrevem as características do texto que indicam erro e recebem uma pontuação.
Resultados do estudo
Os resultados do estudo mostram que os participantes pontuaram significativamente melhor do que o acaso, fornecendo evidências de que o texto criado por IA é, até certo ponto, detectável. O estudo não apenas descreve um futuro reconfortante e até emocionante para nosso relacionamento com a IA, mas também fornece evidências de que as pessoas podem se treinar para detectar texto gerado por máquina.
“As pessoas estão ansiosas com a IA por razões válidas, ” diz Callison-Burch. “Nosso estudo fornece evidências para aliviar essas ansiedades. Assim que pudermos aproveitar nosso otimismo sobre os geradores de texto de IA, poderemos dedicar atenção à capacidade dessas ferramentas de nos ajudar a escrever textos mais imaginativos e interessantes.”
Dugan acrescenta: “Existem As pessoas estão fixadas em exemplos preocupantes, como plágio e notícias falsas, mas agora sabemos que podemos nos treinar para ser melhores leitores e escritores.”
O estudo fornece um primeiro passo crucial para mitigar os riscos associados ao texto gerado por máquina. À medida que a IA continua a evoluir, também deve evoluir nossa capacidade de detectar e navegar por seu impacto. Ao nos treinarmos para reconhecer a diferença entre texto escrito por humanos e gerado por máquina, podemos aproveitar o poder da IA para apoiar nossos processos criativos enquanto mitigamos seus riscos.