Lista reúne quase uma centena de artigos científicos que ostentam frases copiadas de consultas ao ChatGPT
Autoria de Fabrício Marques, da Revista Pesquisa FAPESP
O site Retraction Watch, que mantém um banco de dados com milhares de artigos científicos invalidados por erros ou má conduta, começou a compilar uma lista de papers publicados em dezenas de revistas acadêmicas que foram produzidos com a ajuda de programas de inteligência artificial generativa, apesar de seus autores não terem declarado de forma transparente o uso desses softwares , como os periódicos exigem. A lista é atualizada sempre que surgem novos trabalhos questionáveis e reunia em meados de junho perto de uma centena deles. Os artigos chamam a atenção pelo desleixo grosseiro de seus autores, que expuseram o uso da ferramenta ao simplesmente copiar e colar respostas do ChatGPT, e também pela negligência dos revisores e editores , a quem cabe avaliar a qualidade e a robustez de manuscritos, sugerir aperfeiçoamentos e recomendar ou rejeitar sua publicação.
Um caso que ganhou repercussão nas redes sociais envolveu um artigo sobre o desempenho de baterias de lítio divulgado em março por pesquisadores chineses na revista Surfaces and Interfaces , da editora Elsevier. Na primeira linha da introdução, aparece uma frase típica da linguagem padronizada utilizada pelo ChatGPT em interações com usuários: “Certamente, aqui está uma possível introdução para esse tópico” . A anomalia fez com que o conteúdo inteiro fosse analisado de forma aprofundada e logo se descobriu que ele tinha vários problemas, como imagens copiadas de um outro paper do mesmo grupo. O trabalho foi alvo de retratação , ou seja, foi cancelado.
O repertório de frases feitas do ChatGPT é variado e foi negligenciado por outros autores. Um artigo de 2022 sobre urbanização sustentável de favelas incorporou em seu texto a justificativa dada pelo programa de inteligência artificial para não analisar a literatura publicada ultimamente. “Como um modelo de linguagem de IA, eu não tenho acesso à internet em tempo real ou a capacidade de navegar por estudos recentes” , registrou o trabalho, assinado por um pesquisador da Tunísia e publicado no International Journal of Advances Engineering and Civil Research , periódico mantido por um instituto de engenharia do Egito.
A mesma revista divulgou outro estudo feito com o suporte de inteligência artificial, assinado por um pesquisador argelino, sobre o uso de Internet das Coisas na engenharia civil. No meio do conteúdo, sobrou a advertência “limite de conhecimento em setembro de 2021”, que costuma ser feita pelo ChatGPT para circunscrever no tempo sua resposta ao usuário. Uma variação desse alerta é a frase “Na última vez em que atualizei meu conhecimento, em 2023” , que apareceu em uma revisão de literatura sobre aplicações do grafeno na indústria de óleo e gás, publicada em 2023 por dois pesquisadores do Kuwait na revista Geoenergy Science and Engineering , da Elsevier.
Quase dois terços dos papers divulgados na lista cometeram um mesmo deslize: reproduziram duas palavras que não fazem sentido no contexto dos artigos – “renegerate response” –, mas personificam a inteligência artificial generativa. Trata-se do rótulo de um botão clicável do ChatGPT, que aparece no meio das respostas do programa. A expressão está presente, por exemplo, em um artigo sobre a aceitação do ensino a distância entre alunos de graduação em informática, publicado em 2023 no Journal of Engineering Researcher and Lecturer por pesquisadores da Indonésia e da Malásia. O caso não teve desdobramentos. As duas palavras desapareceram do texto no site da revista, em um expediente conhecido nos meios editoriais como revisão furtiva, na qual o conteúdo é corrigido de forma pouco transparente , sem que se divulgue uma errata.
Confira também: Paradigmas da Inteligência Artificial: como fugir da demência digital e extrair seu potencial
Um episódio idêntico ocorreu na revista PLOS ONE , mas seu desfecho foi diferente. Um artigo sobre efeitos do ensino híbrido (presencial e on-line) na motivação de estudantes paquistaneses também exibia o “regenerate response” do ChatGPT e acabou sendo retratado , ou seja, teve a publicação cancelada pelo periódico. A equipe de integridade da PLOS ONE fez uma análise aprofundada do trabalho. Assinado por pesquisadores paquistaneses afiliados a universidades chinesas, o paper também tinha problemas em suas referências bibliográficas – foi impossível verificar a existência ou o conteúdo de 18 delas supostamente porque programas de inteligência artificial, às vezes, inventam referências. Outro problema é que os documentos que atestavam a aprovação ética a experimentos realizados no Paquistão por autoridades do país tinham data posterior ao recrutamento de participantes, um sinal de violação de normas. Os autores reconheceram apenas terem usado a plataforma Grammarly, que usa inteligência artificial para revisão do idioma.
É certo que a publicação desses trabalhos só ocorreu porque houve negligência de revisores e editores de periódicos na avaliação dos manuscritos. Um caso recente demonstrou como mesmo revistas comprometidas com a integridade cientifica lidam com esse problema de forma desigual. No ano passado, a professora da comunicação Jacqueline Ewart, da Universidade Griffith, em Queensland, na Austrália, foi convidada pelo Journal of Radio and Audio Media a avaliar um artigo sobre rádios comunitárias e recomendou que fosse rejeitado, por receio de que tivesse sido escrito com ajuda de inteligência artificial. A pesquisadora não conseguiu comprovar a existência de várias referências bibliográficas e tinha certeza de que ao menos uma tinha sido inventada, pois a mencionava como autora de um estudo que ela nunca escreveu.
Confira: Inteligência Artificial e humanização: como podemos melhorar profissionais e pessoas?
Em abril, Ewart foi surpreendida pela publicação do manuscrito em outro periódico, o World of Media , editado pela Universidade Estadual de Moscou, na Rússia. Segundo ela disse ao Retraction Watch , os autores haviam feito uma única alteração em relação à versão que ela revisou – a troca de “progressão” por “desenvolvimento” no título – embora tivessem sido avisados sobre o problema nas referências. Ewart contou o caso aos editores do World of Media , que abriram uma investigação. Um dos autores, Amit Verma, da Universidade Manipal, na Índia, defendeu-se dizendo que usou ferramentas de IA apenas para revisar o texto em inglês e que as referências não verificáveis haviam sido obtidas em repositórios de instituições de seu país, que têm indexação irregular – só não explicou a origem da citação ao artigo que Ewart nunca escreveu. O paper está indisponível no site da revista World of Media , com um aviso de que está sob investigação. Verma informou ao Retraction Watch que a revista prometeu republicar uma versão corrigida.
Este texto foi originalmente publicado por Pesquisa FAPESP de acordo com a licença Creative Commons CC-BY-NC-ND . Leia o original aqui