Principais conclusões:
- A função do analista de fraudes mudou antes mesmo do organograma. Na Imprint, o trabalho repetitivo de monitoramento e governança agora é automatizado, permitindo que os analistas dediquem mais tempo à identificação de novos padrões de fraude e à incorporação deles aos modelos.
- A calibração dos agentes de IA antifraude é uma necessidade contínua, não uma configuração pontual. Sem supervisão, os agentes sinalizam tudo como suspeito, e os falsos positivos anulam os ganhos.
- O verdadeiro produto do agente de faturas da Intuit acabou por ser o ciclo de feedback do agente antifraude, e não o modelo em si. Um menor número de sinais, mas mais decisivos, produziu melhores resultados do que um grande volume.
- A qualidade dos rótulos de fraude determina o seu limite máximo. Se a verdade de referência vier de análises menos rigorosas, o agente nunca conseguirá superá-las. A Imprint avalia o desempenho do agente em comparação com especialistas treinados em fraude, e não com analistas comuns.
- Ninguém que lidera uma equipe de combate a fraudes nativa em IA está apostando em um único grande modelo de uso geral. As três empresas convergiram para agentes especializados, desenvolvidos sobre uma infraestrutura compartilhada, com as equipes de cada domínio responsáveis pelos agentes relevantes para seu trabalho.
Na SardineCon, reunimos no palco três líderes de risco que vivem esta realidade todos os dias: Karthik, responsável pelo risco de pagamentos na Intuit, Lawrence, da Slope, e Lalitha, da Imprint. Entre risco de pagamentos, análise de crédito para pequenas e médias empresas e crédito ao consumidor e fraude, o painel abordou uma ampla variedade de temas. Mas os mesmos pontos continuaram a vir à tona: fluxos de trabalho concebidos para humanos não funcionam para agentes, os ciclos de feedback são mais importantes do que a arquitetura do modelo e ninguém ali está a tentar criar um único modelo para dominar tudo.
Eis o que mais se destacou.
A função do analista de fraudes mudou antes mesmo do organograma
Todos os participantes do painel descreveram a mesma mudança: menos tempo dedicado ao monitoramento manual e ao acompanhamento de SLAs e mais tempo dedicado ao trabalho que realmente exige discernimento.
Na Imprint, Lalitha afirmou que o dia a dia de um analista de risco é «completamente diferente» do que era há quatro meses, porque grande parte do trabalho moroso de monitorização e governação está agora automatizado. Isso permitiu à equipa dedicar mais tempo ao trabalho estratégico e orientado para o crescimento. Na Intuit, Karthik descreveu algo semelhante ao nível organizacional: as antigas fronteiras entre estratégia, previsão e análise estão a esbater-se, e os analistas passaram a assumir a responsabilidade pelos resultados de ponta a ponta, em vez de transferirem o trabalho entre funções.
Nenhum dos participantes do painel apresentou isso como uma substituição de pessoal. Lalitha afirmou diretamente que o objetivo é permitir que a equipe cresça sem que o número de funcionários aumente na mesma proporção. Idealmente, dessa forma, os analistas podem dedicar seu tempo a identificar novos padrões de fraude e incorporá-los aos modelos, em vez de realizar tarefas repetitivas de revisão. Karthik fez uma observação semelhante sobre os agentes de IA da Intuit realizarem a análise de contas 24 horas por dia, sem o tempo de adaptação nem a variação de competências que acompanham o crescimento de uma equipe humana.
A arquitetura de avaliação de risco de fraude para PMEs da Slope: transações como tokens
Lawrence fez a apresentação técnica mais clara do dia. Anteriormente, o processo de análise de risco da Slope dependia do envio de dados financeiros pelos proprietários de pequenas e médias empresas para análise manual, um processo lento e moroso. O Slope Transformer, o primeiro modelo da empresa, muda essa realidade ao processar diretamente dados brutos de transações de open banking e convertê-los em métricas financeiras. Como os dados são obtidos de transações bancárias reais, e não de documentos declarados pelos próprios proprietários, são muito mais difíceis de falsificar.
A camada mais interessante fica por cima: um modelo fundacional que trata cada transação bancária como um token e prevê o que vem a seguir, de forma semelhante à maneira como os modelos de linguagem preveem a palavra seguinte. Isso permite à Slope prever se um determinado fluxo de receitas ou despesas poderá voltar a ocorrer, quando e em que montante, uma abordagem que acaba por superar o antigo método baseado em regras que a Slope executava em modo paralelo antes de o colocar em produção.
Lawrence teve o cuidado de separar o trabalho de modelagem do trabalho de conformidade regulatória. O modelo de probabilidade de inadimplência que efetivamente toma as decisões de concessão de crédito precisa permanecer totalmente explicável, e a Slope garante, em nome de seu banco parceiro, o Lead Bank, que as notificações de decisão desfavorável e as divulgações regulatórias estejam em conformidade com a legislação aplicável.
Os agentes antifraude em tempo real da Imprint, em números
Lalitha apresentou alguns dos números mais impressionantes do painel. A Imprint utiliza agentes em tempo real que monitorizam padrões de fraude emergentes e propõem soluções, seja tornar uma regra mais rigorosa ou desenvolver uma nova funcionalidade. Cada execução de um agente abrange cerca de seis horas e realiza o trabalho que, de outra forma, exigiria nove dias de um analista, com um custo de tokens de algumas centenas de dólares. Segundo Lalitha, isso traduz-se em centenas de milhares de dólares em perdas por fraude evitadas todos os meses.
O problema é que agentes sem supervisão tendem a sinalizar tudo como suspeito. Karthik e Lalitha observaram esse padrão em suas respectivas equipes: os agentes precisam ser ativamente recalibrados para reconhecer como é, de fato, o comportamento normal das transações; caso contrário, os falsos positivos anulam os ganhos.
O agente de IA para faturas que ninguém esperava
Karthik explicou como os analistas da Intuit criaram um agente que analisa, de hora a hora, todas as faturas processadas pela plataforma de faturação do QuickBooks, avaliando se uma fatura parece corresponder a um pagamento antecipado, a um serviço concluído, a um valor inflacionado ou a algo que aparenta ser falsificado. O agente não determina diretamente se existe fraude. Em vez disso, atribui uma classificação de risco que é transmitida aos agentes responsáveis pelas decisões de fraude e crédito nas etapas seguintes, servindo como um de vários indicadores.
A lição à qual Karthik voltou foi que mais dados não são necessariamente melhores. Inicialmente, a Intuit forneceu ao modelo tudo o que estava disponível e acabou enfrentando um problema na relação sinal-ruído. Um número menor de sinais, porém mais decisivos, teve um desempenho superior ao grande volume de dados, e o verdadeiro produto revelou-se ser o ciclo de feedback, não o modelo em si.
Dois tipos de rótulos e um padrão mais elevado do que o do "analista médio"
A abordagem de feedback da Intuit baseia-se em dois tipos de rótulos. Os rótulos posteriores provêm de resultados do mundo real — estornos, encerramentos de contas —, o tipo de informação de referência que demora a concretizar-se. Entretanto, os rótulos sintéticos são criados por profissionais de risco experientes, que anotam manualmente transações de amostra. Karthik afirmou que a combinação de ambos permite ao modelo receber sinais mais rapidamente, sem deixar de produzir um registo de auditoria que as equipas de governação e conformidade podem analisar.
A Imprint segue uma filosofia semelhante e estabelece deliberadamente um padrão elevado, comparando o desempenho do agente com o de especialistas em fraude devidamente treinados. A conclusão de Lalitha é que a qualidade dos rótulos determina o limite máximo; portanto, se os dados de referência vierem de análises menos rigorosas, o agente nunca conseguirá superá-las.
Ninguém está apostando em um único modelo para fazer tudo
Karthik resumiu a conclusão a que o grupo chegou sobre a arquitetura. Estamos num momento em que o entusiasmo inicial do setor por um único modelo de grande dimensão e uso geral, capaz de lidar com todos os casos de uso, arrefeceu. Se fornecermos contexto em excesso a um modelo, obtemos ruído, não precisão. O padrão para o qual as três empresas convergiram é uma estrutura de agentes partilhada que funciona com qualquer modelo de ponta, sobre a qual as equipas de cada domínio — crédito, fraude e operações — criam os seus próprios agentes especializados, recorrendo aos seus conhecimentos específicos.
Essa preferência pela especialização voltou a aparecer na discussão sobre dados proprietários. Os três participantes do painel disseram que preferem desenvolver internamente a entregar os dados a um laboratório de modelos de ponta. O argumento de Lawrence é que um modelo menor, treinado com os próprios dados da Slope, pode alcançar a mesma precisão de um modelo de ponta, mas com menor latência e custo. Lalitha destacou a posição da Imprint entre o comerciante e o cliente, o que lhe dá acesso a dados comportamentais realmente difíceis de falsificar: ao contrário de uma identidade roubada, um histórico inventado de relacionamento com um parceiro específico não se sustenta. A equipe de Karthik compra sinais externos, mas mantém a tomada de decisões internamente, em parte porque relações anteriores com fornecedores envolviam um fluxo de dados unilateral que nunca chegou a melhorar os próprios modelos da Intuit.
Onde tudo deu errado — e como eles perceberam
Questionado diretamente sobre os pontos de falha, o painel não se esquivou. Lalitha descreveu os primeiros resultados como interessantes, mas nem sempre precisos, e afirmou que «o Claude errou» deixou de ser uma resposta aceitável internamente. Agora, cada agente tem uma pessoa designada como responsável pelo que faz.
A equipa de Karthik monitoriza, em tempo real, as taxas de concordância entre os agentes de IA e os agentes humanos, e um desvio significativo leva à redução da atividade do agente ou à sua suspensão imediata. A abordagem de Lawrence privilegia a transparência, com a plataforma interna de agentes da Slope a funcionar em canais públicos do Slack. Desta forma, os engenheiros conseguem detetar abertamente uma resposta errada, e a equipa pode desenvolver, em conjunto, um entendimento partilhado sobre o que está realmente correto.
A principal conclusão
Nos riscos de pagamentos, na análise de crédito para pequenas e médias empresas e no crédito ao consumidor e fraude, os mesmos princípios operacionais surgiram repetidamente. Os fluxos de trabalho devem automatizar as tarefas mais tediosas para que as pessoas possam dedicar-se às decisões que exigem discernimento, criar ciclos de feedback rigorosos antes de confiar uma decisão real a um modelo, exigir dos agentes um padrão mais elevado do que o de um analista humano médio e resistir à tentação de usar um único modelo que tente fazer tudo. Esta abordagem já está em funcionamento em três empresas, não como prova de conceito, mas em produção real. E as equipas que seguem este método não se limitam a acompanhar o ritmo. Os seus analistas estão a tratar de mais casos sem aumentar o número de pessoas.
Perguntas frequentes sobre uma equipe de combate a fraudes nativa de IA
Como é uma equipe de combate a fraudes nativa de IA em um ambiente de produção?
Uma equipe de combate a fraudes nativa em IA usa agentes especializados para tarefas distintas, como detecção de anomalias, criação de regras, avaliação de risco de faturas e investigação de casos, em vez de um único modelo de uso geral. As equipes da Intuit, Slope e Imprint chegaram à mesma conclusão. Em vez de um único modelo tentar dar conta de tudo, as equipes criam agentes desenvolvidos especificamente para funções determinadas. Diferentes áreas da empresa são responsáveis pelos agentes relevantes para seu trabalho.
Como os ciclos de feedback dos agentes de fraude melhoram o desempenho do modelo ao longo do tempo?
O ciclo de feedback é o que faz com que todo o sistema melhore ao longo do tempo. A parte complicada é que, muitas vezes, não se sabe de imediato se uma decisão relativa a fraude foi correta. Os estornos e encerramentos de contas podem demorar semanas a ocorrer. Por isso, a equipa da Intuit faz duas coisas em paralelo. Aguarda que esses resultados reais surjam e, entretanto, profissionais de risco experientes analisam manualmente transações de amostra e classificam-nas. Dessa forma, o modelo continua a aprender sem ter de esperar semanas sempre que precisa de novos dados de treino. A equipa de Karthik concluiu que acertar neste processo era mais importante do que qualquer outro aspeto do próprio modelo.
Como as equipes antifraude evitam que os agentes de IA antifraude saiam do controle?
A resposta curta é que cada agente precisa ter um responsável. Na Imprint, cada agente tem uma pessoa designada que responde pelo que ele faz. Na Intuit, a equipe de Karthik monitora em tempo real as taxas de concordância entre a IA e os revisores humanos. Se a divergência aumentar demais, o uso do agente é reduzido ou suspenso até que a equipe descubra o que deu errado. Na Slope, Lawrence opera deliberadamente a plataforma interna de agentes por meio de canais públicos do Slack. Assim, os engenheiros podem identificar abertamente uma resposta incorreta, e toda a equipe desenvolve um entendimento compartilhado do que realmente é uma resposta correta. A supervisão de agentes antifraude não é algo que se configura uma vez e pronto. É uma responsabilidade operacional contínua.
Por que os agentes de IA de detecção de fraudes são propensos a falsos positivos e como as equipes corrigem esse problema?
Quando deixados por conta própria, os agentes tendem a sinalizar tudo como suspeito. Tanto Karthik quanto Lalitha levantaram essa questão espontaneamente. A solução é fazer uma calibração contínua para aproximá-los do que realmente constitui um comportamento normal de transações no seu negócio específico. Não se trata de uma configuração feita uma única vez. Além disso, a qualidade dos seus dados de referência impõe um limite intransponível. Se os seus rótulos vierem de análises menos rigorosas, o agente simplesmente não conseguirá superá-las, por melhor que seja o modelo.
Como funciona a IA de análise de risco de fraude para PMEs e em que difere da análise de risco de crédito tradicional?
O método antigo consistia em pedir aos empresários que enviassem documentos financeiros para que alguém os analisasse manualmente. Era lento e fácil de manipular. O modelo Transformer da Slope obtém dados brutos de transações diretamente do open banking e converte-os automaticamente em métricas financeiras. Além disso, há um modelo fundacional que trata cada transação bancária como um token e prevê o que vem a seguir, da mesma forma que um modelo de linguagem prevê a palavra seguinte. Como se baseia no histórico real de transações, e não em documentos fornecidos pelos próprios interessados, é significativamente mais difícil de falsificar.
