Uma equipe de cientistas da Universidade de Ciência e Tecnologia da China e do YouTu Lab da Tencent desenvolveu uma ferramenta para combater "alucinações" de modelos de inteligência artificial (IA).
A alucinação é a tendência de um modelo de IA gerar resultados com um alto nível de confiança que não são baseados em informações presentes em seus dados de treinamento. Esse problema assola grandes modelos de linguagem (LLM), e seus efeitos podem ser testemunhados em aplicações como o ChatGPT da OpenAI e o Claude da Anthropic.
A equipe da USTC/Tencent desenvolveu uma ferramenta chamada "Woodpecker" que, segundo eles, é capaz de corrigir alucinações em modelos de linguagem grande multimodais (MLLMs).
Esse subconjunto de IA envolve modelos como o GPT-4 (especialmente sua variante visual, o GPT-4V) e outros sistemas que incorporam a visão e/ou outra forma de processamento à modalidade de linguagem baseada em texto de sistemas de IA generativa.
De acordo com o artigo de pesquisa, o Woodpecker usa três modelos diferentes de IA, além do MLLM que está sendo corrigido, para realizar correções de eventuais alucinações.
Esses modelos incluem o GPT-3.5 turbo, o Grounding DINO e o BLIP-2-FlanT5. Juntos, esses modelos funcionam como verificadores para identificar alucinações e instruir o modelo que está sendo corrigido a regenerar sua saída de acordo com os dados corretos.
Para corrigir as alucinações, os modelos de IA que alimentam o Woodpecker usam um processo de cinco estágios que envolve "extração de conceitos-chave, formulação de perguntas, validação de conhecimento visual, geração de alegações visuais e, por fim, correção de alucinações."
Os pesquisadores afirmam que essas técnicas oferecem transparência adicional e "uma melhoria de 24,33% a 30,66% na precisão de retornos em relação à linha de base MiniGPT-4/mPLUG-Owl." Eles avaliaram vários MLLMs "prontos para uso" usando o método proposto e concluíram que o Woodpecker poderia ser "facilmente integrado a outros MLLMs."
LEIA MAIS