A IA generativa e os grandes modelos de linguagem (LLMs) são uma tecnologia de uso dual. Assim como podem torná-lo 10 vezes mais produtivo, também fazem o mesmo por golpistas e fraudadores.
A IA generativa é projetada para ter salvaguardas e não ser usada para fins ilícitos. No entanto, com alguns prompts cuidadosamente elaborados, esses controles podem ser contornados. Além disso, já estamos vendo o surgimento de ferramentas de IA voltadas especificamente para casos de uso de fraude surgirem na Dark Web.
Podemos dividir as formas como os fraudadores estão usando a IA generativa em três grandes categorias.
- Escalar seus ataques enquanto os tornam críveis.
- Tornando ataques sofisticados muito mais acessíveis.
- Ferramentas para automatizar a criação de golpes e fraudes.
Como os fraudadores estão ampliando seus ataques e tornando-os mais convincentes
Para contextualizar, a grande maioria das fraudes é “alvo fácil”. Os fraudadores usam métodos já testados e comprovados, como e‑mails de phishing (spam) e engenharia social, para convencer a vítima a enviar dinheiro sob falsos pretextos. O problema dos e‑mails de spam era que nem sempre eram convincentes ou relevantes para você. Uma pessoa ou um cliente de e‑mail rapidamente os filtraria como spam, mas os e‑mails continuavam chegando, e sempre havia alguém que caía e pagava.
LLMs podem criar rapidamente e-mails corretamente formatados, altamente convincentes e contextualmente relevantes. Por exemplo, imagine um e-mail que parece ser do seu chefe, com um conteúdo muito mais específico para a sua empresa e para o que você faz.(Apresentamos vários exemplos no apêndice, como os e-mails falsos de suporte da Receita Federal dos EUA (IRS) e da Amazon)
Tornando ataques sofisticados muito mais acessíveis
Convencer uma pessoa ou empresa a enviar uma grande quantia em dinheiro sempre foi caro para os fraudadores. Eles precisam aumentar o quão convincentes são em suas ameaças ou tentativas de parecer legítimos.
Por exemplo, alguns bancos, quando você liga para eles, autenticam o usuário pela voz. Uma voz pode ser clonada usando tecnologia de clonagem de voz “deep fake”, e já estamos vendo casos em que isso consegue autenticar com sucesso no banco. Também estamos vendo vídeos deep fake que conseguem passar com sucesso em verificações de “prova de vida” em vídeo projetadas para garantir que uma pessoa real corresponda à foto do seu documento de identidade quando se cadastra para uma nova conta.
Se um invasor conseguir se autenticar como você na sua instituição financeira, ele será você e poderá transferir todo o saldo da sua conta para qualquer conta ou carteira que ele controle.
Ferramentas para automatizar a criação de fraudes e golpes
FraudGPT, WormGPT e DarkBERT são ferramentas disponíveis na dark web que são baseadas em suas contrapartes legítimas (ChatGPT e Google Bard), porém fornecem acesso instantâneo à base de conhecimento subterrânea da dark web sobre golpes, identidades roubadas e táticas de fraude.
O principal caso de uso dessa nova ferramenta será reduzir a barreira de entrada para a criação de ataques de phishing, engenharia social e comprometimento de e-mails corporativos. No entanto, seus criadores alegam que ela pode ampliar o desenvolvimento de botnets e ataques e invasões sofisticados.
Aqui estão quatro exemplos de IA generativa sendo usada para criar golpes:
1. Engenharia de prompts para levar o ChatGPT a ajudar um fraudador/golpista
2. Anatomia de um golpe de Elon Musk que usa um vídeo deepfake para induzir a vítima a comprar criptomoedas
3. Anatomia de um golpe do IRS
4. Anatomia de um golpe da Amazon
1. Engenharia de prompts para criar um golpe com o ChatGPT
Neste exemplo, usamos uma versão padrão do ChatGPT por volta de março de 2023 e fazemos um jailbreak nele para criar golpes. Observe que o ChatGPT evolui continuamente seus mecanismos de controle para evitar isso; ainda assim, podemos confirmar que muitos métodos de jailbreak continuam eficazes e fáceis de executar.
Quando foi solicitado a escrever algo envolvendo criptomoedas, ele não atendeu. A causa provável é que os algoritmos de confiança da OpenAI foram programados para não permitir golpes com criptomoedas, mas ainda não estavam configurados para impedir golpes de reembolso via Zelle.
Observe que, quando é solicitado em duas partes, ele atende. A primeira solicitação é um exercício comum de suporte ao cliente (repare no pedido de um simples e-mail sobre reembolsos). Ele até acrescentou a parte do cartão-presente em criptomoeda porque isso aparece antes no histórico do chat.
Uma vez que ele aceita, podemos mudar o tipo de reembolso para cartões-presente da Amazon, e ele aceita novamente.
Observação: na Sardine, vemos ambas as formas de golpes — golpes de reembolso via Zelle e golpes com cartões-presente da Amazon. Este é um cenário de golpe realista que nós, na Sardine, evitamos e detectamos regularmente.
Para levar isso ainda mais longe, tentamos obter um endereço de carteira de criptomoeda para o qual os fundos deveriam ser enviados, e então ele para. Está claro que a OpenAI fez algum trabalho para evitar uso indevido, mas parece que esse trabalho está mais voltado para impedir golpes com criptomoedas até agora (e não golpes de reembolso via Zelle ou golpes com cartões-presente da Amazon, que são muito comuns).
2. Anatomia de um golpe envolvendo Elon Musk que usa um vídeo deepfake para induzir a vítima a comprar criptomoedas:
Um golpe envolvendo Elon Musk usa a imagem e o ícone dele para prometer a vítimas desavisadas que elas vão dobrar seu dinheiro ao participar de um sorteio. A pessoa envia uma quantia em dinheiro para um endereço de criptomoeda, e contas falsas, sites e vídeos do Elon Musk são usados para prometer que os usuários serão incluídos nesse sorteio.
A IA generativa está impactando isso de duas maneiras.
1. Tornando os golpes mais convincentes ao corrigir ortografia e gramática:Os golpes envolvendo Elon Musk tradicionalmente tinham muitos erros de gramática e ortografia. Novas ferramentas como o FraudGPT permitem que golpistas criem fraudes com ortografia e gramática perfeitas instantaneamente.
2. Tornando os golpes mais convincentes com endossos falsos de celebridades: Softwares de deepfake permitem que usuários criem vídeos de um Elon Musk convincente “endossando” a promoção. Em conjunto, essas ferramentas aumentam as chances de sucesso.
Veja como funciona em um golpe do Elon Musk que encontramos
Aqui está um vídeo deepfake do Musk (nós o encontramos há uma hora e ele já foi apagado pelo YouTube). Neste vídeo, há um Elon Musk feito por deepfake falando sobre a nova criptomoeda dele que vai dobrar o seu dinheiro. Há um código QR que então leva você a este site: https://get2x.net/.
Aqui estão as capturas de tela:
O objetivo é que os usuários peguem criptomoedas compradas em uma corretora como a Coinbase, ou em carteiras como a MetaMask ou a Exodus, e as enviem para um endereço listado nesse site.
Se os usuários tiverem dificuldades, os golpistas também fornecerão um número de telefone para a vítima ligar, para que possam guiá-la durante o processo de compra. Os golpistas também podem convencer a vítima a instalar uma ferramenta de Acesso Remoto (RAT), como TeamViewer, AnyDesk ou Citrix. Essa ferramenta permite que o golpista assuma o controle da tela do computador ou do celular da vítima e mova o mouse, toque, abra páginas etc. Em seguida, eles ajudarão a vítima a fazer o KYC.
Depois que o usuário envia os fundos, ele nunca mais os recupera. Ele nunca dobra o dinheiro nem recebe nenhum brinde. A vítima não tem a quem recorrer e o dinheiro se foi.
Principais pontos de detecção:
- Detectar chamadas telefônicas próximas a uma transação
- Detectar o uso de ferramentas de acesso remoto
- Detectar carteira usada após uma compra de criptomoeda
- Detectar capturas de tela feitas
3. Anatomia de um golpe do IRS
O clássico golpe do IRS que usa um e-mail intimidante como isca, com algo como “Transação bloqueada” (2 de dezembro de 2022, poucos dias após o lançamento do Chat GPT).
Observação: este é um exemplo real de um golpe em que a vítima foi induzida a comprar criptomoedas via Sardine. Esses golpes já existiam antes das criptomoedas. Antes de as criptomoedas surgirem, os golpistas pediam que as vítimas comprassem cartões-presente ou enviassem dinheiro via Moneygram.
Neste golpe, a vítima também recebeu um papel timbrado com aparência muito oficial, contendo o texto mostrado na captura de tela. Observe a gramática perfeita e o inglês correto.
Abaixo, geramos o mesmo texto de e-mail com o ChatGPT e obtivemos um inglês impecável. O GPT obedece e, na verdade, até nos permite colocar um prático espaço reservado para o endereço de Ethereum do IRS.
O IRS não aceita criptomoedas como forma de pagamento:
Uma vantagem do ChatGPT é que você pode obter diferentes tons de e-mails com apenas um clique. Aqui, deixamos a mensagem mais firme em vez de educada:
Principais conclusões de detecção:
- Detectar chamadas telefônicas próximas a uma transação
- Detectar o uso de ferramentas de acesso remoto
- Detectar carteira usada após uma compra de criptomoeda
- Detectar capturas de tela feitas
4. Anatomia de um golpe da Amazon:
Isso acontece quando um golpista cria um número de telefone falso da Amazon, encontrado por um usuário que fez compras "reais" na Amazon. Neste exemplo, o usuário é enganado a enviar US$ 500 para golpistas em um caixa eletrônico de Bitcoin e por meio da carteira Crypto MetaMask.
Veja como funciona
A fraude começou quando a vítima pesquisou no Google por "atendimento ao cliente da Amazon" para perguntar sobre um pedido que não havia chegado (uma máquina de gelo), acreditando que estava falando com o site verdadeiro Amazon.com
Dada a facilidade de criar novos sites usando ferramentas como o AutoGPT, acreditamos que um golpista pode ter criado um site sobre devolução de pacotes da Amazon. Esse site pode ter parecido muito semelhante ao da Amazon. Infelizmente, não conseguimos fazer com que a vítima compartilhasse o site exato.
- Pedido de reembolso: Ele ligou para o número de atendimento ao cliente e um falso representante do suporte da Amazon atendeu. A vítima pediu um reembolso, mas o atendente disse que, para receber o reembolso, ele teria que levar um comprovante com código de barras, que seria enviado por e‑mail, até um caixa eletrônico de BTC e transferir US$ 500 para o endereço indicado no código de barras. O atendente também pediu os dados da conta bancária dele para saber para onde enviar o reembolso.
- Transferência de fundos para o caixa eletrônico de BTC concluída: Após enviar o dinheiro para o caixa eletrônico de BTC, ele recebeu uma ligação do falso atendente da Amazon (de um número diferente), que disse que o próximo passo do processo para receber o reembolso envolvia comprar BTC na Metamask (a vítima não era experiente em tecnologia, mas ficou envergonhada com isso; para ele, isso parecia plausível no comércio eletrônico).
- Orientado na compra via Metamask: A vítima foi guiada pelo representante, passo a passo, por telefone, sobre como comprar criptomoedas pelo MetaMask (usando a rampa de entrada da Sardine). Eles também pediram que ele baixasse um aplicativo durante o processo e afirmaram que tinham controle sobre o telefone dele. (Observe a chamada em andamento e o acesso remoto)
Todo esse processo durou alguns dias – ele disse que o representante ligava insistentemente e isso atrapalhava o seu dia de trabalho.
Como a Sardine detecta esses golpes?
Lembra das nossas quatro chaves para a detecção?
- Detectar chamadas telefônicas próximas a uma transação
- Detectar o uso de ferramentas de acesso remoto
- Detectar carteira usada após uma compra de criptomoeda
- Detectar capturas de tela feitas
Veja como isso funciona.
1. Detecção de uma chamada telefônica (Alto risco de golpe próximo a grandes transações)Durante a compra, se o comprador estiver em uma chamada telefônica ativa, nós sinalizamos essa compra. Também podemos interromper a compra e adiar o saque até que alguém do suporte ao cliente da Sardine tenha falado com o comprador.
Neste exemplo, vimos uma chamada muito longa para o usuário 2 que estava entrando
Em seguida, recebemos estornos desse usuário, confirmando que houve fraude.
2. Detecção de ferramenta de acesso remoto (alto risco de golpe em andamento).
Durante a compra, se algum Remote Access Tool (RAT) estiver sendo usado, nós sinalizamos e interrompemos a compra até que o suporte da Sardine tenha falado com o comprador. A captura de tela abaixo mostra a detecção do uso de um RAT.
3. Triagem de carteira (alto risco de fraude ou golpes)
Muitos usuários compram criptomoedas pela primeira vez para enviá-las em golpes ou esquemas de fraude. Ao monitorar a atividade após a compra, podemos evitar um grande número de golpes.
Após uma compra, se as criptos estiverem sendo enviadas para uma carteira que já foi sinalizada como previamente associada a fraudes ou golpes, nós bloqueamos o saque. Isso funciona porque estamos ativamente monitorando essas carteiras. Observe que esse sinal está disponível para todos os clientes da Sardine e vemos que todas as instituições financeiras e empresas de comércio eletrônico enfrentam um problema significativo com golpes e fraudes envolvendo criptomoedas. Não confunda isso com algo exclusivo de “cripto”.
4. Detecção de golpes de engenharia social
A captura de tela abaixo mostra o painel da Sardine onde identificamos que, no momento da compra, a vítima estava sendo guiada remotamente para fazer a compra de criptomoedas (veja “Remote Software Level” == high e "Screenshot Taken" == high) →
Detecte mais golpes com a Sardine
Como diz o velho ditado, se você cresce em um bairro perigoso, acaba aprendendo alguns truques. Hoje, a grande maioria dos clientes da Sardine são grandes empresas de comércio eletrônico, instituições financeiras e seguradoras. Ainda assim, muitas vezes o principal desafio deles são golpes, envolvendo pagamentos em tempo real ou criptomoedas. Isso prejudica a conversão de bons clientes e gera perdas significativas.
Se quiser saber mais, não tenha vergonha, venha dizer oi 👋