Pesquisadores mostram como agentes de IA de atendimento podem ser hackeados

Um novo estudo publicado pela Intigriti, plataforma especializada em segurança ofensiva e bug bounty, detalha técnicas para explorar vulnerabilidades em agentes de atendimento ao cliente baseados em inteligência artificial. Segundo a Intigriti, empresas de diversos setores vêm adotando assistentes de IA para lidar com suporte técnico e vendas, mas muitas dessas implementações carregam falhas de segurança que podem ser exploradas por atacantes mal-intencionados.

Entre as principais técnicas discutidas está a chamada ‘prompt injection’, na qual o invasor insere instruções ocultas em mensagens aparentemente inofensivas para fazer o agente de IA ignorar suas regras originais. Isso pode resultar desde respostas embaraçosas até o vazamento de informações confidenciais, como dados de outros clientes ou detalhes internos da empresa que o modelo teve acesso durante o treinamento ou a operação.

Outro ponto de atenção levantado é a manipulação de funções conectadas ao agente, como sistemas de pagamento, geração de cupons de desconto ou consulta a bancos de dados internos. Quando mal configurados, esses agentes podem ser induzidos a executar ações que não deveriam, expondo empresas a fraudes financeiras ou vazamento de dados sensíveis.

O material reforça a necessidade de testes de segurança específicos para sistemas baseados em modelos de linguagem, algo ainda pouco padronizado no mercado. Diferente de aplicações web tradicionais, chatbots de IA exigem abordagens novas de auditoria, já que suas vulnerabilidades não se encaixam perfeitamente nas categorias clássicas de falhas de software.

Com a adoção crescente de agentes de IA no atendimento ao cliente, casos como esse alertam para a importância de equipes de segurança acompanharem de perto o desenvolvimento e a implantação desses sistemas, evitando que a busca por eficiência abra brechas exploráveis por criminosos digitais.