O Groq, o mais recente modelo de linguagem grande de inteligência artificial (IA) a entrar em cena, está conquistando as redes sociais com sua velocidade de resposta e uma nova tecnologia que pode dispensar a necessidade de GPUs para processamento de dados.
O Groq se tornou uma sensação da noite para o dia depois que seus testes públicos se tornaram virais na plataforma de rede social X, revelando que sua velocidade de computação e resposta supera o popular chatbot de IA da OpenAI, o ChatGPT.
The first public demo using Groq: a lightning-fast AI Answers Engine.
— Matt Shumer (@mattshumer_) February 19, 2024
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
A primeira demonstração pública usando o Groq: um mecanismo de respostas de IA extremamente rápido.
Ele escreve respostas factuais e citadas com centenas de palavras em menos de um segundo.
Mais de 3/4 do tempo é gasto na pesquisa, e não na geração!
O LLM é executado em uma fração de segundo.
— Matt Shumer (@mattshumer_)
Isso se deve ao fato de a equipe por trás do Groq ter desenvolvido seu próprio chip ASIC (Application Specific Integrated Circuit) personalizado para modelos de linguagem grande (LLMs), o que permite a geração de cerca de 500 tokens por segundo. Em comparação, o ChatGPT 3.5, a versão do modelo disponível publicamente, pode gerar cerca de 40 tokens por segundo.
A Groq Inc., desenvolvedora desse modelo, afirma ter criado a primeira Unidade de Processamento de Linguagem (LPU) por meio da qual executa seu modelo, em vez das escassas e caras unidades de processamento gráfico (GPUs) normalmente usadas para executar outros modelos de IA.
Wow, that's a lot of tweets tonight! FAQs responses.
— Groq Inc (@GroqInc) February 19, 2024
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP
Uau, foram muitos tweets hoje! Respostas das perguntas frequentes.
- Somos mais rápidos porque projetamos nosso chip e nossos sistemas
- É uma LPU, Unidade de Processamento de Linguagem (não uma GPU)
- Usamos modelos de código aberto, mas não os treinamos
- Estamos aumentando a capacidade de acesso semanalmente, fique atento
— Groq Inc (@GroqInc)
No entanto, a empresa por trás do Groq não é nova. Ela foi fundada em 2016, quando o nome do modelo, Groq, também foi registrado. Em novembro passado, quando o próprio modelo de IA de Elon Musk, chamado Grok - escrito com um k - estava ganhando força, os desenvolvedores por trás do Groq original publicaram uma postagem no blog da empresa criticando Musk pela escolha do nome:
"Podemos entender por que você quer adotar o nosso nome. Você gosta de coisas rápidas (foguetes, hyperloops, nomes de empresas com uma letra só) e nosso produto, o Groq LPU Inference Engine, é a maneira mais rápida de executar modelos de linguagem grande (LLMs) e outros aplicativos de IA generativa. No entanto, precisamos pedir que você escolha outro nome, e rápido."
Desde que o Groq se tornou viral nas mídias sociais, nem Musk nem a página do Grok no X fizeram qualquer comentário sobre a semelhança entre o nome dos dois modelos.
No entanto, muitos usuários da plataforma começaram a fazer comparações entre o modelo LPU e outros modelos populares baseados em GPU.
Um usuário que trabalha com desenvolvimento de IA chamou o Groq de "divisor de águas" para produtos que exigem baixa latência, que se refere ao tempo necessário para processar uma solicitação e obter uma resposta.
side by side Groq vs. GPT-3.5, completely different user experience, a game changer for products that require low latency pic.twitter.com/sADBrMKXqm
— Dina Yerlan (@dina_yrl) February 19, 2024
Groq contra o GPT-3.5 lado a lado, experiência de usuário completamente diferente, um divisor de águas para produtos que exigem baixa latência
— Dina Yerlan (@dina_yrl)
Outro usuário escreveu que as LPUs do Groq poderiam oferecer uma "melhoria maciça" para as GPUs quando se trata de atender às necessidades dos aplicativos de IA no futuro e disse que também pode vir a ser uma boa alternativa para o "hardware de alto desempenho" dos chips A100 e H100 produzidos pela Nvidia.
Isso ocorre em um momento em que os principais desenvolvedores de IA estão buscando desenvolver chips internamente, para não depender exclusivamente dos modelos produzidos pela Nvidia.
Segundo informações, a OpenAI está buscando trilhões de dólares em financiamento de governos e investidores de todo o mundo para desenvolver seu próprio chip a fim de superar os problemas de escalabilidade de seus produtos.
LEIA MAIS