Última atualização em 27 de janeiro de 2023
Todos os dias parece haver uma nova história sobre o Chat GPT. A manchete mais recente envolve o potencial do bot de IA para passar em uma avaliação legal padronizada. Mas será que o Chat GPT consegue passar no exame da ordem?
O Chat GPT tem chamado a atenção desde seu lançamento em novembro do ano passado. Nas últimas 24 horas, Buzzfeed até anunciou que usará o Modelo AI para escrever parte de seu conteúdo – grandes novidades!
Os desenvolvedores da OpenAI têm nos mostrado o que esse modelo de linguagem pode fazer, e é assustador. Com as empresas implementando esses modelos para substituir os escritores humanos e agora seu potencial para passar nos exames, o que mais podemos esperar da IA no futuro? Vamos explorar se esse modelo de linguagem de IA pode ou não passar no exame da ordem.
O que é o exame da ordem?
O exame da ordem é a avaliação final para alguém que deseja se tornar um advogado licenciado. Para exercer a advocacia em um determinado estado nos EUA, é preciso passar no exame de bar específico do estado.
O teste tem a reputação de ser muito difícil, com taxas gerais de aprovação às vezes chegando a 30%.
Se você já se perguntou como é o exame, você não está sozinho. As questões do exame da barra podem assumir duas formas diferentes, múltipla escolha e redação. Os testes geralmente são divididos em várias sessões separadas, às vezes levando várias horas para serem concluídos.
Bar exam on Chat GPT
Professores de Illinois Tech e Michigan State College of Law colocam GPT-3.5 contra o exame multistate bar (MBE). Em seu trabalho de pesquisa, eles descobriram que o modelo “atinge uma taxa de aprovação em duas categorias da Ordem dos Advogados” e obteve notas semelhantes às dos “testadores” humanos em outra.
Os resultados são excelentes e eles acreditam que as respostas do GPT-3.5 mostram que o modelo tem uma “compreensão geral do domínio legal”. Se você estiver interessado em ler todo o trabalho de pesquisa, pode encontrá-lo aqui.
Sabemos que GPT-3.5 pode passar na barra, mas e quanto a outros exames de direito? Bem, outros professores de direito da Universidade de Minnesota também testaram o modelo de linguagem da OpenAI em outro cenário de exame. Eles fizeram Chat GPT faz quatro avaliações cobrindo diferentes cursos no curso de direito da universidade. Os resultados foram fascinantes.
O chatbot só conseguiu produzir pontuações medíocres de apenas um C+, mas ainda assim passa. As descobertas também parecem sugerir que o Chat GPT seria avançado o suficiente para potencialmente garantir um diploma em direito se fosse um aluno da faculdade.
Considerações finais
Não há dúvida sobre isso , os modelos de linguagem do OpenAI são ferramentas bastante inteligentes. Sua capacidade de passar nos exames é muito clara e sua recente aprovação na barra pegou muitos de surpresa. Se você achou este artigo interessante, não deixe de ler outro artigo aqui.