Os perigos do ChatGPT (e outras IA) para a pesquisa na saúde

Não há dúvidas que as Inteligências Artificiais (IA) estarão cada vez mais presentes no cotidiano da humanidade. Tendo por intuito emular a capacidade cognitiva de um ser humano, as IA facilmente nos superam, sendo aptas a realizar tarefas que demandam dias, semanas ou até meses para um ser humano, em apenas segundos.

Para além da automatização de tarefas, sua capacidade de aprender constantemente as permite evoluir e abranger novas linhas de produção, como podemos ver desde as IA de imagens – produzindo ilustrações extremamente realistas –, às IA voltadas à comunicação, como o ChatGPT.

São diversos os benefícios que uma IA pode trazer para a humanidade, no entanto, seu uso indiscriminado pode gerar consequências catastróficas. Sendo assim, neste texto irei abordar os perigos associados ao uso da IA nas pesquisas científicas, principalmente na área da saúde.

Aspirando entender mais sobre o avanço tecnológico acabei me deparando com o universo das IA de chat. Meu primeiro contato foi por meio de um colega de trabalho que me alertou para o perigo que tais plataformas poderiam apresentar para o futuro das pesquisas científicas, sobretudo no que tange o plágio literário, já que muitos alunos passaram a utilizá-las para construção de seus trabalhos acadêmicos (YANG, 2023).

Sua preocupação partia do princípio que os textos produzidos pela IA são baseados em uma gama de informações disponibilizadas na internet, porém sem a devida referenciação dos dados que foram utilizados, de forma que se tornava impossível saber a fonte de origem e se o texto foi plagiado de algum outro autor. Nesse contexto, o mesmo se perguntou: “poderiam os programas de plágio atuais identificar estas ‘colchas de retalhos’?”. Entretanto, apesar da preocupação, inicialmente não acreditei que havia uma tecnologia capaz de criar textos com tal grau de competência. O que para minha surpresa era mais do que possível.

Passei, então, a querer entender mais sobre as IA de chat, tendo me surpreendido com a capacidade de escrita das mesmas. Estas podiam emular tão perfeitamente a escrita científica, que nem ao menos você seria capaz de diferenciar se este texto foi escrito por um humano ou por uma máquina. Assim, vislumbrada, comecei a minha jornada explorando o ChatGPT, que em pouco tempo descobri ser fonte de potencialidades, mas também de sérios perigos.

Desde o início eu me questionava qual era a origem de toda aquela informação. Quando pedia, por curiosidade, que criasse um exemplo de artigo e indagava as fontes utilizadas, a resposta era sempre a mesma: “Como um modelo de linguagem, eu não tenho acesso à lista específica de fontes”. Esta questão já me acendia um alerta para aquilo que meu colega de trabalho havia comentado, porém o que era apenas uma “pulguinha atrás da orelha” se tornou um verdadeiro “elefante no meio da sala”.

Testando as possibilidades de auxílio durante a pesquisa, pedi ao chatbot que me atualizasse sobre os dados referentes à participação de estudantes de enfermagem em projetos e grupos de pesquisa. Em resposta, ele me descreveu todas as pesquisas que eu poderia utilizar para captar estas informações: “Pesquisa Nacional de Perfil dos Graduandos em Enfermagem (2018)”, “Censo da Educação Superior (INEP)” e “Cadastro Nacional de Grupos de Pesquisa (CNPq)”, aparentemente nada para se desconfiar.

Em complemento, eu pedi que especificasse os dados sobre tal informação. Foi quando me deparei com o seguinte trecho em resposta:

Logo pensei: “Excelente! Era o dado que eu realmente precisava para a minha pesquisa e não encontrava em lugar nenhum”. Obviamente fiz o correto enquanto pesquisadora, busquei estes dados no Google para poder pegar as pesquisas originais e lê-las. No entanto, não haviam resultados. Desta forma, passei a pedir mais informações para o chatbot, solicitando desde o título exato da pesquisa, até o link de acesso, ambos sem resultados positivos.

Foi nesse momento que me deparei com algo extremamente perigoso: todos os links que o chatbot me enviava, ou estavam quebrados, ou me encaminhavam para outro artigo/página sem nenhuma correlação com a “tal pesquisa” e até mesmo os títulos dos artigos, quando pesquisados no Google, não geravam nenhum resultado. Desta forma, resolvi questioná-lo diretamente se este estava inventando os dados apresentados e sua resposta foi:

Como eu sabia que a pesquisa “Perfil da Enfermagem no Brasil” realmente existia, comecei um processo de “engenharia reversa” para buscar a informação que o chatbot havia me apresentado. Todavia, a única pesquisa disponível no site do Conselho Federal de Enfermagem – COFEN (http://www.cofen.gov.br/perfilenfermagem/index.html) não data o ano de 2018 e não apresenta dados sobre a participação de estudantes de enfermagem em projetos de pesquisa durante a graduação. De forma igualitária, não havia nenhum estudo que citasse tal documento.

Considerando o detalhamento da resposta você poderia até se questionar que esta pesquisa provavelmente já existiu, porém foi removida da internet. Assim, tomei a liberdade de entrar em contato com os pesquisadores responsáveis pelo estudo, indagando a informação apresentada. Por e-mail, os mesmos me passaram todas as publicações derivadas da pesquisa original, bem como o relatório final e os bancos de dados disponíveis no site do COFEN. Após muita leitura, não foi identificada a informação gerada pela IA em nenhum dos materiais, apontando para uma alta possibilidade desses dados terem sido fabricados pelo chatbot.

Cabe destacar, que quando solicitadas listas de referências, todas, sem exceção, eram pesquisas inventadas. Observou-se que o chatbot credita autores reais, especialistas na área específica pesquisada, porém em estudos que nunca foram realizados pelos mesmos. Em outros casos, os títulos foram inventados ou misturados, isto é, o título de duas ou mais pesquisas gerando um novo. Contudo, ao primeiro olhar as referências parecem reais, já que, devido ao seu aprendizado, o chatbot toma o cuidado de pôr a referência nas normas, apresentando o nome de uma revista, o volume, as páginas e, até mesmo, um Digital Object Identifier (DOI), que, inevitavelmente, era falso ou de outra pesquisa.

Apesar de poder parecer um caso isolado, recentemente, em uma notícia publicada na revista Nature, sobre o uso do ChatGPT, o autor Brian Owens alertou para preocupações sobre a confiabilidade das ferramentas de chatbot, apontando diversos discursos sobre o fato destas estarem criando listas de literaturas completamente fictícias (OWENS, 2023). Esta notícia reforça outra anteriormente apresentada no portal da revista, cujo intuito foi criticar o uso do ChatGPT como coautor de trabalhos científicos, explicando os problemas estruturais e éticos envolvidos (STOKEL-WALKER, 2023).

Como ainda é possível observar diversas pesquisas que foram despublicadas por má conduta e que continuam sendo citadas até os dias atuais (OLIVEIRA, 2015), tais fragilidades apontam para um futuro perigoso na área da saúde, já que denotam a existência de pesquisas com informações fictícias, cujo impacto pode ser imensurável e suas retratações podem nem ao menos alcançar o grande público.

Nesse âmbito, como os dados científicos são a base para os tratamentos e planejamento das políticas públicas de saúde, seu uso indiscriminado e mal intencionado pode causar danos permanentes, reverberando na confiabilidade da atuação profissional e na luta de classes, bem como no processo de configuração da identidade destes profissionais, que por hora optaram por substituir seu papel de pesquisador pela pronta-resposta da IA.

Contudo, cabe ressaltar que estes problemas, apesar de graves, são comuns em uma IA que ainda se encontra em processo de aprendizagem. O ChatGPT, por exemplo, foi lançado em novembro de 2022, de forma que sua IA ainda está aprendendo, podendo esta ser capaz de corrigir todos seus problemas atuais em um futuro muito próximo. Sendo assim, apesar das fragilidades apresentadas, seu uso constante pode ajudar a transformá-la em uma potencial ferramenta para o ofício do docente e do pesquisador.

Em conclusão, aos alunos recomenda-se que aguardem para se aventurarem pelo universo das IA de chat, já que se faz necessário ter a competência formativa para separar a informação falsa da verdadeira. Aos professores e pesquisadores sugere-se cautela, de forma que busquem exercer suas funções com maestria, sempre questionando-se dos dados ali apresentados. Entende-se, ainda, que as IA de chat, como o ChatGPT, ainda irão exercer um papel fundamental na pesquisa científica, tornando-se, em um futuro não tão distante, ferramentas do cotidiano do pesquisador e, consequentemente, potentes aliadas para consolidação do tripé ensino-pesquisa-extensão.

Referências

OLIVEIRA, M.B. A epidemia de más condutas na ciência: o fracasso do tratamento moralizador. Scientiae Studia, São Paulo, v. 13, n. 4, p. 867-897, 2015. DOI: 10.1590/S1678-31662015000400007. Disponível em: https://www.scielo.br/j/ss/a/hMs7Y4FVZvbjwHkmYKTn3Ny/?lang=pt#. Acesso em: 11 mar. 2023.

OWENS, B. How Nature readers are using ChatGPT. Nature, London, v. 615, p. 20, 20 fev. 2023. DOI: 10.1038/d41586-023-00500-8. Disponível em: https://www.nature.com/articles/d41586-023-00500-8. Acesso em: 11 mar. 2023.

STOKEL-WALKER, C. ChatGPT listed as author on research papers: many scientists disapprove. Nature, London, v. 613, p. 620-621, 18 jan. 2023. DOI: 10.1038/d41586-023-00107-z. Disponível em: https://www.nature.com/articles/d41586-023-00107-z. Acesso em: 11 mar. 2023.

YANG, M. New York City schools ban AI chatbot that writes essays and answers prompts. The Guardian, New York, 06 jan. 2023. Disponível em: https://www.theguardian.com/us-news/2023/jan/06/new-york-city-schools-ban-ai-chatbot-chatgpt. Acesso em: 11 mar. 2023.