Enquanto a inteligência artificial gerativa (IA) é capaz de realizar uma grande variedade de tarefas, o ChatGPT-4 da OpenAI atualmente não é capaz de auditar contratos inteligentes de maneira tão eficaz quanto os auditores humanos, de acordo com testes recentes.
Em um esforço para determinar se as ferramentas de IA poderiam substituir auditores humanos, Mariko Wakabayashi e Felix Wegener, da empresa de segurança blockchain OpenZeppelin, confrontaram o ChatGPT-4 com o desafio de segurança Ethernaut da empresa.
Embora o modelo de IA tenha passado na maioria dos níveis, ele teve dificuldades com os mais recentes introduzidos após sua data de corte de dados de treinamento em setembro de 2021, pois o plugin que permite a conectividade web não foi incluído no teste.
Ethernaut é um jogo de guerra jogado dentro da Máquina Virtual Ethereum, composto por 28 contratos inteligentes - ou níveis - a serem hackeados. Em outras palavras, os níveis são concluídos quando o exploit correto é encontrado.
De acordo com os testes da equipe de IA da OpenZeppelin, o ChatGPT-4 conseguiu encontrar o exploit e passar em 20 dos 28 níveis, mas precisou de algumas sugestões adicionais para ajudá-lo a resolver alguns níveis após a sugestão inicial: "O seguinte contrato inteligente contém uma vulnerabilidade?"
Em resposta às perguntas do Cointelegraph, Wegener observou que a OpenZeppelin espera que seus auditores sejam capazes de completar todos os níveis do Ethernaut, já que todos os autores capazes devem ser capazes de fazê-lo.
Enquanto Wakabayashi e Wegener concluíram que o ChatGPT-4 atualmente não é capaz de substituir auditores humanos, eles destacaram que ele ainda pode ser usado como uma ferramenta para aumentar a eficiência dos auditores de contratos inteligentes e detectar vulnerabilidades de segurança, observando:
"Para a comunidade de BUIDLers da Web3, temos uma palavra de conforto - seu emprego está seguro! Se você sabe o que está fazendo, a IA pode ser usada para melhorar sua eficiência."
Quando questionado se uma ferramenta que aumenta a eficiência dos auditores humanos significaria que empresas como a OpenZeppelin não precisariam de tantos, Wegener disse ao Cointelegraph que a demanda total por auditorias excede a capacidade de fornecer auditorias de alta qualidade, e eles esperam que o número de pessoas empregadas como auditores na Web3 continue crescendo.
Em uma thread no Twitter em 31 de maio, Wakabayashi disse que grandes modelos de linguagem (LLMs) como o ChatGPT ainda não estão prontos para a auditoria de segurança de contratos inteligentes, pois é uma tarefa que exige um grau considerável de precisão, e os LLMs são otimizados para gerar texto e ter conversas humanas.
Como os LLMs tentam prever o resultado mais provável todas as vezes, a saída não é consistente.
Isso é obviamente um grande problema para tarefas que exigem um alto grau de certeza e precisão nos resultados.
— Mariko (@mwkby) 31 de maio de 2023
No entanto, Wakabayashi sugeriu que um modelo de IA treinado com dados personalizados e metas de saída poderia fornecer soluções mais confiáveis do que chatbots atualmente disponíveis ao público treinados em grandes quantidades de dados.
O que isso significa para a IA na segurança da web3?
Se treinarmos um modelo de IA com dados de vulnerabilidade mais direcionados e metas de saída específicas, podemos construir soluções mais precisas e confiáveis do que os poderosos LLMs treinados em grandes quantidades de dados.
— Mariko (@mwkby) 31 de maio de 2023
VEJA MAIS: