Um estudo de pesquisa recente intitulado "Modelos de linguagem maiores e mais instrutíveis se tornam menos confiáveis" no Nature Scientific Journal revelou que chatbots com inteligência artificial estão cometendo mais erros ao longo do tempo, à medida que novos modelos são lançados.

Lexin Zhou, um dos autores do estudo, teorizou que, como os modelos de IA são otimizados para sempre fornecer respostas confiáveis, as respostas aparentemente corretas são priorizadas e enviadas ao usuário final, independentemente da precisão.

Essas alucinações de IA são auto-reforçadas e tendem a se agravar com o tempo — um fenômeno exacerbado pelo uso de modelos de linguagem mais antigos para treinar modelos de linguagem mais novos, resultando em "colapso do modelo".

O editor e escritor Mathieu Roy alertou os usuários para não confiarem muito nessas ferramentas e sempre verificarem os resultados de pesquisa gerados por IA em busca de inconsistências:

“Embora a IA possa ser útil para uma série de tarefas, é importante que os usuários verifiquem as informações que obtêm dos modelos de IA. A verificação de fatos deve ser uma etapa no processo de todos ao usar ferramentas de IA. Isso fica mais complicado quando chatbots de atendimento ao cliente estão envolvidos."

Para piorar a situação, "muitas vezes não há como verificar as informações, exceto perguntando ao próprio chatbot", afirmou Roy.

O problema persistente das alucinações da IA

A plataforma de inteligência artificial do Google atraiu o ridículo em fevereiro de 2024 depois que a IA começou a produzir imagens historicamente imprecisas . Exemplos disso incluíam retratar pessoas de cor como oficiais nazistas e criar imagens imprecisas de figuras históricas bem conhecidas.

Infelizmente, incidentes como esse são muito comuns com a iteração atual de inteligência artificial e grandes modelos de linguagem. Executivos da indústria, incluindo o CEO da Nvidia, Jensen Huang, propuseram mitigar alucinações de IA forçando modelos de IA a conduzir pesquisas e fornecer fontes para cada resposta dada a um usuário.

No entanto, essas medidas já estão presentes nos modelos de IA e de linguagem mais populares, mas o problema das alucinações de IA persiste.

Mais recentemente, em setembro, o CEO da HyperWrite AI, Matt Shumer, anunciou que o novo modelo 70B da empresa usa um método chamado “Reflection-Tuning” — que supostamente dá ao bot de IA uma maneira de aprender analisando seus próprios erros e ajustando suas respostas ao longo do tempo.