Oi Dave, sou professor do ensino médio e estou curioso sobre todas as ferramentas de escrita de IA disponíveis agora. Existe uma maneira de identificar quando o texto é escrito por um programa em vez de uma pessoa? Em caso afirmativo, quão preciso é hoje?
Embora as ferramentas de IA baseadas em aprendizado de máquina existam há alguns anos, o início de 2023 foi todo sobre o OpenAI e sua ferramenta ChatGPT. E não é de admirar; você pode pedir para produzir praticamente qualquer tipo de conteúdo de texto e, em alguns segundos, obterá algo que não é ruim. Não é brilhante, mas quantas letras de músicas, poemas, postagens de blog, comentários de artigos ou trabalhos de alunos são brilhantes?
Então, novamente, os professores não estão procurando aquela agulha no palheiro, estamos apenas tentando ajudar as pessoas a aprender algo novo e expandir seus horizontes e conhecimentos. Uma tarefa que se torna um pouco mais difícil se dermos a eles tarefas escritas e, em vez de escrevê-las, eles recorrerem a softwares ou sites da Web que possam produzir o conteúdo. Um clique e copiar/colar versus o pensamento crítico necessário para produzir algo pensativo e no tópico? Infelizmente, sempre haverá alguns alunos preguiçosos que buscarão atalhos por qualquer motivo.
O USO DE IA É DIFERENTE DE PLAGIAR?
Em algum nível, isso não é diferente de plágio. Antes da Internet, o plágio se referia a alunos copiando de um livro ou de uma tarefa anterior do aluno. Na era digital, existem dezenas de sites que oferecem “apenas artigos A” em qualquer um dos milhares de tópicos, de Shakespeare a Química Orgânica. A escrita duplicada geralmente é identificada testando frases com várias palavras. Os testes de plágio de empresas como TurnItIn, por exemplo, são bastante sólidos a esse respeito. Mas ferramentas de IA como o ChatGPT produzem conteúdo exclusivo toda vez que são invocadas, então como podem ser detectadas?
Acontece que a medida atual é perplexidade. A definição técnica desta medida é “ uma métrica que quantifica o grau de incerteza de um modelo sobre as previsões que faz”, mas que não esclarece realmente o que está sendo calculado, não é? Aqui está outra explicação da perplexidade: “se um modelo [de linguagem] atribui uma alta probabilidade ao conjunto de teste, significa que não fica surpreso ao vê-lo (não fica perplexo com isso)…”
Para nossos propósitos, porém, podemos considerar a perplexidade como uma ferramenta comum de análise baseada na linguagem para tentar verificar se um passagem em prosa específica é provavelmente produzida por um ser humano ou uma IA. Alta perplexidade significa que provavelmente foi gerada por IA, baixa perplexidade significa que provavelmente foi escrita por um humano. A boa notícia é que já existem ferramentas online que oferecem exatamente essa análise. Vamos considerar o GPT Zero e o GPT Radar.
PRODUÇÃO DE PROSA ACADÊMICA COM CHATGPT
Como referência, vou usar um prompt de discussão de um curso que estou ministrando no Universidade de Denver. A aula é sobre mídia e sociedade e o tema desta semana é bastante apropriado: As máquinas nos controlam?
Aqui está o prompt:
Como um teste , vou simplesmente copiar e colar isso no ChatGPT, o front-end interativo para o sistema de modelo de linguagem Open AI “GPT3”. Você também pode tentar isso em chat.openai.com (embora talvez seja necessário se inscrever para uma conta gratuita primeiro).
Aqui está a resposta exata do GPT3 para o prompt de discussão:
É uma questão complexa e depende da perspectiva que se adota. De uma perspectiva de determinismo tecnológico, pode-se argumentar que as tecnologias de mídia mudaram significativamente a maneira como pensamos e interagimos com o mundo. Eles revolucionaram a forma como nos comunicamos, acessamos informações e tomamos decisões. A disponibilidade constante de informações e a capacidade de se conectar com pessoas de todo o mundo remodelaram nossa compreensão do tempo e do espaço.
Por outro lado, de uma perspectiva do construcionismo social, pode-se argumentar que, embora a tecnologia certamente influenciou nosso comportamento, ela é, em última análise, moldada pelo contexto social e cultural em que é usada. É importante lembrar que a tecnologia é criada, usada e interpretada por seres humanos, e são as escolhas humanas que determinam como a tecnologia é usada.
O pensamento crítico demonstrado aqui é fraco, com muitas palavras encobrindo a falta de análise real, mas não é ruim e é crível que um aluno possa enviar algo assim como uma resposta ao prompt de discussão.
A questão não é tanto sobre se uma leitura atenta e a consideração pode detectar esse conteúdo produzido por IA, no entanto, mas se existem ferramentas que podem fazer isso. Certamente você pode imaginar que se esta é uma resposta de uma turma com 50 alunos, a capacidade do professor de desacelerar e realmente contemplar a prosa será muito limitada.
PRIMEIRO TESTE: GPT ZERO
A primeira ferramenta a considerar é aquela criada inicialmente em um fim de semana por Edward Tian, estudante de ciência da computação na Universidade de Princeton: GPTZero. Baseia-se na medida de perplexidade da análise da linguagem, conforme discutido anteriormente. O teste é fácil de realizar, basta colar do ChatGPT:
Você também pode fazer upload de arquivos para análise – particularmente útil para trabalhos de classe mais longos – mas é fácil copiar e colar o passagem modesta de 136 palavras.
Um clique em “Obter resultados” e o veredicto é dado:
Ok, “ É provável que seu texto seja inteiramente escrito por IA”. Caso encerrado? Não tão rápido.
SEGUNDO TESTE: GPT RADAR
Antes de concluirmos que a prosa de IA é facilmente identificada, vamos tentar outra ferramenta que já existe há mais tempo: Radar GPT. É uma ferramenta que as equipes de produção de conteúdo utilizam ao entregar postagens de blog e outros conteúdos patrocinados para clientes, mas também é ilustrativa para nossos propósitos.
Como a perplexidade é uma análise matemática do texto, o resultado deve ser o mesmo, certo? Um clique em “Analisar” mostra o contrário:
GPTZero relata uma pontuação de perplexidade de 18,33, enquanto o GPT Radar produz um 6,0. Quanto menor a pontuação, menos “surpreso” o algoritmo fica sobre a escolha de palavras na passagem e mais provável que seja escrito por um humano (já que todos tendemos a escrever de maneiras bastante semelhantes), mas como é óbvio, não é totalmente determinístico.
RESULTADOS DA ANÁLISE: SIM E NÃO
Os resultados demonstram a complexidade do problema; uma ferramenta relata que nossa prosa forçada e estranhamente escrita é quase certamente escrita por um programa de IA, enquanto a outra ferramenta insiste que é “provavelmente gerada por humanos”. A conclusão óbvia é que as ferramentas online não estão prontas para identificar com precisão o texto produzido pela IA. Isso é preocupante para nós, como educadores, e para todos nós, como cidadãos e consumidores de informações.
Talvez mais importante, nenhuma das ferramentas oferece qualquer análise sobre se a resposta realmente responde às solicitações e oferece um comentário inteligente e resposta. Esse é o trabalho de nós, instrutores, e é uma tarefa difícil. Com uma turma pequena, o professor pode acompanhar a escrita nas tarefas (se um aluno tiver uma introdução escrita no nível da 7ª série, mas suas tarefas forem trabalhos de pós-graduação, isso é um sinal de alerta óbvio e imediato). Mas e se você tiver dezenas ou centenas de alunos?
Não há solução fácil hoje. O melhor conselho que posso oferecer é entender as limitações dessas ferramentas e perceber que, mesmo que elas busquem ser mais precisas, os modelos de linguagem de IA se tornarão mais sofisticados, causando um jogo tecnológico de gato e rato. Desafie os alunos cuja prosa pareça improvável ou surpreendente.
A conclusão real, no entanto, é que teremos que mudar nossa abordagem de ensino para que a recitação presencial e não assistida tecnologicamente se torne uma parte da avaliação e avaliação do aluno em qualquer nível de série.
Tem pensamentos e ideias sobre o assunto? Por favor, deixe-me saber nos comentários!
ai writing, chatgpt, gptradar, open ai