Nubank corta de 21,2 para 4,4 dias a atualização de agentes de IA ao testá-los com clientes sintéticos

Agente de atendimento do cartão teve autoatendimento 4,9 pontos maior e tNPS 36,7 pontos acima no teste A/B; banco avaliou 29 configurações de modelos e escolheu o Qwen

Rohan Ramanath (Nubank): Reprodução/Nubank

O Nubank reduziu de 21,2 para 4,4 dias, em média, o tempo para desenvolver cada nova versão dos seus agentes de IA de atendimento, ao testá-los primeiro com clientes sintéticos em simulações de larga escala, segundo estudo do time de AI Research divulgado nesta quinta-feira (5). Os resultados estão descritos em um artigo de pesquisa publicado no arXiv.

Na prática, clientes sintéticos, com perfis e necessidades diferentes, conversam em várias etapas com os agentes num ambiente controlado. Assim, cada mudança é avaliada antes de chegar a um cliente real.

O estudo acompanhou dois agentes ligados ao cartão de crédito: o Card Delivery, que informa o status da entrega e emite a segunda via, e o Card Management, que permite atualizar o endereço e pedir uma nova via. A simulação orientou as mudanças no Card Management. Na avaliação offline, uma versão do agente reduziu os encaminhamentos desnecessários para o atendimento humano de 22,4% para 16,0%.

No teste A/B com clientes reais, o Card Management teve taxa de autoatendimento 4,9 pontos percentuais maior e tNPS, índice de recomendação depois de uma interação, 36,7 pontos maior que o Card Delivery, usado como comparação. O banco ressalva que, como o Card Management atende mais tarefas, os ganhos refletem tanto o agente novo quanto o processo com simulação. Depois do teste, o agente foi liberado para a base de clientes no Brasil.

“Cada mudança em um agente de IA é uma aposta na experiência do cliente. A simulação nos permite testar essas apostas primeiro com clientes sintéticos, para que apenas as mudanças com resultados claramente melhores cheguem às pessoas”

Rohan Ramanath, gerente-geral de IA do Nubank

A mesma técnica foi usada para escolher modelos de pesos abertos. A equipe avaliou 29 configurações em mais de 16 mil conversas simuladas e selecionou o Qwen, com raciocínio habilitado. Em outro teste A/B, a configuração do Qwen aumentou o autoatendimento em 8,8 pontos percentuais e reduziu em 25% a latência de resposta no percentil 95, sem mudança estatisticamente significativa no tNPS.

Segundo o Nubank, como cada mudança fica ligada a uma hipótese e a um critério de sucesso definidos antes, o fluxo também registra por que cada alteração foi aprovada, algo útil em setores regulados. O próximo passo citado é levar a simulação também ao comportamento e aos tempos de resposta dos sistemas internos chamados pelos agentes.

Por que importa. Atendimento é um dos maiores custos de um banco digital, e cada ponto de autoatendimento a mais é dinheiro que fica na margem. A ferramenta de teste com clientes sintéticos é um nicho aberto: fintechs menores e empresas de tecnologia podem vender esse tipo de simulação e auditoria de agentes de IA para bancos, seguradoras e varejistas que não têm um time de pesquisa como o do Nubank.

Fonte: Nubank (sala de imprensa). Texto reescrito pela Redação Mundo das Fintechs.