Pesquisador acusa OpenAI de treinar modelo com conversas de usuários antes de anunciar 'avanço'

Um pesquisador voltou a levantar suspeitas sobre a forma como a OpenAI mede e anuncia avanços em seus modelos. Segundo publicação destacada pelo Hacker News, a acusação é de que a empresa teria utilizado conversas reais de usuários como parte do treinamento de um modelo e, posteriormente, apresentado os resultados obtidos como um salto genuíno de capacidade — quando, na prática, o sistema já teria sido exposto a informações semelhantes às usadas na avaliação.

Esse tipo de crítica não é inédita no campo de IA. Chamada de “contaminação de dados”, a prática ocorre quando exemplos que deveriam servir apenas para testar a capacidade de um modelo terminam, de alguma forma, incorporados ao conjunto de treinamento. O resultado é uma métrica de desempenho artificialmente inflada, que não reflete a real capacidade de generalização do sistema.

O caso relatado se soma a uma lista crescente de questionamentos feitos por pesquisadores independentes sobre a transparência das grandes empresas de IA na divulgação de benchmarks e conquistas técnicas. Como treinar com dados de usuários envolve implicações tanto técnicas quanto éticas — já que essas conversas podem conter informações pessoais ou sensíveis —, a denúncia adiciona uma camada extra de preocupação sobre como os laboratórios lidam com esse tipo de dado.

Até o momento, a OpenAI não se manifestou publicamente sobre a acusação específica mencionada no post. A discussão, no entanto, ganhou tração rapidamente entre desenvolvedores e pesquisadores que acompanham de perto os métodos de avaliação usados pela indústria, reforçando pedidos por mais clareza sobre a origem dos dados de treinamento e os critérios usados para validar resultados apresentados como marcos de desempenho.