Dois pesquisadores da Salus Security, uma empresa de segurança de blockchain que possui escritórios na América do Norte, Europa e Ásia, publicaram recentemente uma pesquisa que investiga a capacidade de analisar e auditar contratos inteligentes do GPT-4.
Como se vê, a inteligência artificial (IA) é muito boa em gerar e analisar códigos, mas não é recomendável usá-la como auditora de segurança.
De acordo com o artigo:
"O GPT-4 pode ser uma ferramenta útil para auxiliar na auditoria de contratos inteligentes, especialmente na análise de código e no fornecimento de dicas de vulnerabilidade. No entanto, devido às suas limitações na detecção de vulnerabilidades, ele não pode substituir totalmente as ferramentas de auditoria profissionais e os auditores experientes neste momento."
Os pesquisadores da Salus usaram um conjunto de dados de 35 contratos inteligentes (chamado de biblioteca de vulnerabilidades SolidiFI-benchmark), que continha um total de 732 vulnerabilidades, para avaliar a capacidade do GPT-4 de detectar possíveis pontos fracos de segurança em sete tipos comuns de vulnerabilidades.
De acordo com as descobertas dos pesquisadores, o ChatGPT é bom em detectar verdadeiros positivos – vulnerabilidades reais que, fora de um ambiente de teste, valeriam a pena ser investigadas. Ele atingiu mais de 80% de precisão nos testes.
No entanto, ele tem um problema aparente com a geração de falsos negativos. Isso é expresso por uma estatística chamada "taxa de recuperação" e, nos experimentos da equipe da Salus, a taxa de recuperação do GPT-4 foi de apenas 11% (quanto maior, melhor).
Isso indica, como concluíram os pesquisadores, "que os recursos de detecção de vulnerabilidades do GPT-4 são insuficientes, com a maior precisão sendo de apenas 33%". Dessa forma, os pesquisadores recomendam o uso de ferramentas de auditoria dedicadas e o bom e velho conhecimento humano para auditar contratos inteligentes até que sistemas de IA como o GPT-4 sejam aprimorados.
"Em resumo, o GPT-4 pode ser uma ferramenta útil para auxiliar na auditoria de contratos inteligentes, especialmente na análise de código e no fornecimento de dicas de vulnerabilidade. ... Ao usar o GPT-4, ele deve ser combinado com outros métodos e ferramentas de auditoria para aumentar a precisão e a eficiência gerais da auditoria."
LEIA MAIS
