O Google lançou seu mais recente modelo de inteligência artificial (IA) Gemini em 6 de dezembro, anunciando-o como o modelo de IA mais avançado atualmente disponível no mercado, superando o GPT-4 da OpenAI.

Gemini é multimodal, o que significa que foi construído para entender e combinar diferentes tipos de informações. Ele vem em três versões (Ultra, Pro, Nano) para atender diferentes casos de uso, e uma área na qual parece superar o GPT-4 é sua capacidade de realizar matemática avançada e codificação especializada.

Em seu lançamento, o Google divulgou vários testes de benchmark que compararam o Gemini com o GPT-4. A versão Ultra do Gemini alcançou um "desempenho de última geração" em 30 de 32 benchmarks acadêmicos que foram usados no desenvolvimento de modelos de linguagem de grande escala (LLM).

Comparação de desempenho entre Gemini e ChatGPT. Fonte: Google

Entretanto, críticos na internet têm questionado o Gemini e os métodos usados no teste de benchmark que sugerem a superioridade do Gemini, junto com o marketing do produto pelo Google.

Promoção "enganosa" do Gemini

Um usuário na plataforma de mídia social X, que trabalha no campo do desenvolvimento de aprendizado de máquina, questionou se a alegação de superioridade do Gemini sobre o GPT-4 era verdadeira ou não.

Ele apontou que o Google pode estar exagerando o Gemini ou "escolhendo a dedo" exemplos de sua superioridade. Ainda assim, concluiu, "minha aposta é que o Gemini é muito competitivo e vai dar ao GPT-4 uma corrida pelo seu dinheiro" e que a competição no espaço é boa.

Entretanto, logo depois, ele fez uma segunda postagem dizendo que o Google deveria se "envergonhar" por sua promoção "enganosa" do produto em um vídeo promocional criado para o lançamento do Gemini.

Em resposta ao seu tweet, outros usuários do X falaram sobre se sentir enganados pela representação do Gemini pelo Google. Um usuário disse que alegações de que o Gemini encerraria a era do GPT-4 são "enganosas".

Outro usuário, um cientista da computação, concordou e chamou a representação da superioridade do Gemini pelo Google de "disingenuosa".

Erros nos benchmarks

Usuários apontaram que o Google incluiu benchmarks que usaram uma versão desatualizada do GPT-4, em vez de sua capacidade atual, tornando as comparações redundantes.

Outra área de preocupação para os detetives das redes sociais foi nos parâmetros que o Google usou para comparar seu modelo Gemini com o GPT-4. Além disso, as instruções dadas a ambos os modelos não eram idênticas, o que poderia ter grandes implicações para os resultados.

O usuário também apontou que os resultados foram alcançados usando testes realizados em um modelo que "não está disponível publicamente" no momento. Outro usuário apontou que as pontuações poderiam ser diferentes se o modelo avançado do Gemini fosse testado contra a versão avançada do GPT-4 conhecida como "turbo".

Colocando à prova

Outros usuários de mídia social decidiram desconsiderar os benchmarks publicados pelo Google e, em vez disso, descreveram suas próprias experiências com o Gemini em comparação com o GPT-4.

Anne Moss, que trabalha em serviços de publicação na web e afirma ser uma usuária regular de IA, particularmente o GPT-4, disse que usou o Gemini através da ferramenta Bard do Google e se sentiu "desapontada com a experiência".

Ela concluiu que ficará com o GPT-4 por enquanto, explicando que as diferenças que notou incluíam o Gemini/Bard se recusando a responder perguntas políticas e "mentindo" sobre conhecer informações pessoais.

Outro usuário que trabalha com desenvolvimento de aplicativos postou capturas de tela nas quais ele pediu a ambos os modelos, por meio do mesmo prompt, para gerar um código baseado em uma foto. Ele apontou a resposta decepcionante do Gemini/Bard em comparação ao GPT-4.

De acordo com o Google, planeja lançar o Gemini mais amplamente para o público no início de 2024. O modelo também será integrado com o conjunto de aplicativos e serviços do Google.

VEJA MAIS: