Matemáticos de elite criticam forma como OpenAI usa seus problemas para testar IA

Um grupo de matemáticos de destaque internacional está insatisfeito com a maneira como a OpenAI conduziu a criação de bancos de problemas usados para avaliar a capacidade de raciocínio de seus modelos de inteligência artificial. Segundo reportagem da The Economist, esses pesquisadores alegam falta de transparência sobre como seu trabalho seria utilizado, incluindo dúvidas sobre se os problemas ou soluções entrariam no treinamento dos próprios sistemas que depois seriam avaliados por eles.

A controvérsia toca em um ponto sensível para a comunidade científica: a confiabilidade dos chamados benchmarks, testes usados para medir o quão bem uma IA resolve problemas complexos de matemática avançada. Se os modelos tiverem acesso prévio, direto ou indireto, às questões ou a problemas muito semelhantes, os resultados divulgados publicamente podem dar uma impressão exagerada da capacidade real de raciocínio da máquina.

Esse tipo de disputa não é isolado. Nos últimos anos, empresas de IA têm recorrido cada vez mais a especialistas de altíssimo nível, incluindo medalhistas de olimpíadas internacionais e professores universitários, para elaborar problemas inéditos e desafiadores, capazes de testar os limites dos modelos mais avançados. O problema, segundo os críticos citados na reportagem, é que os termos de colaboração e uso desses conteúdos nem sempre são claros o suficiente antes da contratação.

A reação de parte da comunidade matemática expõe uma tensão crescente entre acadêmicos e empresas de tecnologia: de um lado, a necessidade das companhias de ter métricas robustas para provar avanços em raciocínio artificial; de outro, a preocupação dos pesquisadores em preservar a integridade científica e a credibilidade de seu próprio trabalho intelectual. O episódio deve pressionar a OpenAI e concorrentes a adotar práticas mais transparentes na condução de parcerias com especialistas externos.