Tornando o Código Gerado por IA Mais Preciso em Qualquer Linguagem

Um avanço significativo para programação assistida por IA

Pesquisadores do MIT e outras instituições desenvolveram um método revolucionário que melhora significativamente a precisão do código gerado por modelos de linguagem grandes (LLMs). Esta inovação promete transformar a maneira como programadores utilizam a IA como ferramenta de assistência ao desenvolvimento.

Atualmente, os programadores podem usar LLMs para gerar código mais rapidamente, mas isso só é útil quando o código gerado segue corretamente as regras da linguagem de programação e funciona sem falhas. O problema é que muitos métodos existentes para garantir que os LLMs sigam as regras corretas ou distorcem o significado pretendido ou consomem recursos computacionais excessivos.

Como funciona a nova abordagem

A técnica desenvolvida pela equipe internacional liderada por João Loula, estudante de pós-graduação do MIT, utiliza um método chamado Monte Carlo sequencial. Este método permite que:

1. Várias gerações de código concorram entre si em paralelo

2. O sistema atribua "pesos" a diferentes saídas com base na probabilidade de serem estruturalmente válidas e semanticamente precisas

3. O modelo concentre recursos nas saídas mais promissoras, descartando as menos promissoras no início do processo

4. Um "especialista virtual" supervisione o LLM para garantir escolhas corretas em cada etapa

"Não estamos tentando treinar um LLM para fazer isso. Em vez disso, estamos desenvolvendo alguns conhecimentos que um especialista teria e combinando-os com os conhecimentos do LLM, o que oferece uma abordagem de escalonamento muito diferente da que se vê no aprendizado profundo", explica Vikash Mansinghka, cientista pesquisador principal do MIT e um dos coautores do estudo.

Resultados impressionantes

Os pesquisadores testaram sua abordagem em quatro cenários:

• Geração de código Python

• Consultas a bancos de dados SQL

• Estruturas moleculares

• Planos para robôs

Em todos os casos, o método demonstrou ser mais preciso e computacionalmente eficiente que as abordagens existentes. Um dos resultados mais impressionantes foi na geração de código Python, onde:

"Um modelo pequeno e de código aberto superou um modelo comercial especializado e de código fechado que tem mais que o dobro de seu tamanho."

Esta capacidade de potencializar modelos menores representa uma vantagem significativa em termos de acessibilidade e custo.

Equilíbrio entre estrutura e significado

Um dos grandes desafios na geração de código por IA é balancear dois aspectos fundamentais:

Estrutura: Garantir que o código siga corretamente a sintaxe da linguagem de programação.

Significado: Assegurar que o código realmente faça o que o usuário pretende.

"É muito mais fácil impor estrutura do que significado. Podemos verificar rapidamente se algo está na linguagem de programação correta, mas para verificar seu significado é preciso executar o código. Nosso trabalho também envolve lidar com esses diferentes tipos de informação", explica Loula.

A abordagem matemática rigorosa desenvolvida pela equipe permite incorporar ambos os tipos de restrições, resultando em código que não apenas compila corretamente, mas também executa a função desejada.

Implicações futuras

O potencial desta pesquisa vai muito além da programação. A longo prazo, esta tecnologia poderá:

• Permitir que não-programadores escrevam consultas complexas usando apenas linguagem natural

• Aprimorar assistentes de programação

• Melhorar análises de dados com tecnologia de IA

• Potencializar ferramentas de descoberta científica

• Criar sistemas de análise de dados assistidos por máquina onde usuários possam "conversar" com seus dados

Tim O'Donnell, professor da Universidade McGill e um dos líderes da pesquisa, aponta para implicações ainda mais profundas: "É um pequeno passo em direção a questões mais profundas em ciência cognitiva, linguística e inteligência artificial, necessárias para entender como as máquinas podem se comunicar sobre o mundo como nós."

Próximos passos

A equipe planeja expandir esta técnica para:

• Controlar blocos maiores de texto gerado

• Combinar o método com aprendizado, para que o modelo se torne progressivamente mais preciso

Esta pesquisa, que será apresentada na Conferência Internacional sobre Representações de Aprendizagem, foi financiada pelo Programa de Cátedras de IA do CIFAR do Canadá, pelo MIT Quest for Intelligence e pela Convergent Research.

Fonte: https://news.mit.edu/2025/making-ai-generated-code-more-accurate-0418

Créditos da imagem: iStock