La inteligencia artificial generativa y los modelos de lenguaje grandes (LLM) son una tecnología de doble uso. Así como pueden hacerte 10 veces más productivo, también ofrecen las mismas ventajas a estafadores y defraudadores.
La IA generativa está diseñada con salvaguardas para que no se utilice con fines ilícitos. Sin embargo, con indicaciones cuidadosamente elaboradas, es posible eludir estos controles. Además, ya estamos viendo el auge de herramientas de IA creadas específicamente para casos de uso relacionados con el fraude que están surgiendo en la Dark Web.
Podemos dividir la forma en que los estafadores utilizan la IA generativa en tres grandes categorías.
- Escalar sus ataques haciéndolos creíbles.
- Hacer que los ataques sofisticados sean mucho más accesibles.
- Herramientas para automatizar la creación de estafas y fraudes.
Cómo los estafadores están ampliando sus ataques y haciéndolos más convincentes
En contexto, la gran mayoría de los fraudes son “fruta al alcance de la mano”. Los estafadores utilizan métodos probados y fiables, como correos electrónicos de phishing (spam) y la ingeniería social, para convencer a la víctima de que envíe dinero bajo falsos pretextos. El problema de los correos de spam era que no siempre resultaban convincentes ni relevantes para ti. Una persona o un cliente de correo los filtraba rápidamente como spam, pero los correos seguían llegando y siempre había alguien que pagaba.
Los LLM pueden crear rápidamente correos electrónicos correctamente formateados que resultan muy convincentes y relevantes en su contexto. Por ejemplo, imagina un correo que parece venir de tu jefe, con un contenido mucho más específico sobre tu empresa y lo que haces.(En el apéndice tratamos varios ejemplos, como los correos falsos de soporte del IRS y de Amazon)
Hacer que los ataques sofisticados sean mucho más accesibles
Convencer a una persona o a una empresa de enviar una gran cantidad de dinero en efectivo siempre ha sido costoso para los estafadores. Necesitan aumentar lo convincentes que resultan en sus amenazas o en sus intentos de parecer legítimos.
Por ejemplo, algunos bancos, cuando los llamas, autentican a un usuario mediante su voz. Una voz puede clonarse usando tecnología de clonación de voz de “deep fake”, y ya estamos viendo casos en los que esto logra autenticarse correctamente ante el banco. También estamos viendo videos deep fake que pueden superar con éxito las “pruebas de vida” en video diseñadas para garantizar que una persona real coincida con la foto de su documento de identidad cuando se registra para abrir una nueva cuenta.
Si un atacante logra autenticarse como tú ante tu institución financiera, para ellos eres tú y puede transferir la totalidad de los fondos de tu cuenta a cualquier cuenta o billetera que controle.
Herramientas para automatizar la creación de fraudes y estafas
FraudGPT, WormGPT y DarkBERT son herramientas disponibles en la dark web que se basan en sus equivalentes legítimos (ChatGPT y Google Bard); sin embargo, ofrecen acceso instantáneo a la base de conocimientos clandestina de la dark web sobre estafas, identidades robadas y tácticas de fraude.
El principal caso de uso de esta nueva herramienta será reducir las barreras de entrada para crear ataques de phishing, ingeniería social y compromiso de correo electrónico empresarial. Sin embargo, sus creadores afirman que puede escalar el desarrollo de botnets y ataques y compromisos sofisticados.
Aquí hay cuatro ejemplos de cómo se utiliza la IA generativa para crear estafas:
1. Ingeniería de prompts para conseguir que chatGPT ayude a un estafador/timador
2. Anatomía de una estafa de Elon Musk que utiliza un video deepfake para dirigir a la víctima a comprar criptomonedas
3. Anatomía de una estafa del IRS
4. Anatomía de una estafa de Amazon
1. Ingeniería de prompts para crear una estafa con ChatGPT
En este ejemplo, tomamos una versión básica de ChatGPT de alrededor de marzo de 2023 y la liberamos para crear estafas. Ten en cuenta que ChatGPT evoluciona continuamente sus controles para evitar esto; sin embargo, podemos confirmar que muchos métodos de jailbreak siguen siendo eficaces y sencillos de ejecutar.
Cuando se le pidió que escribiera algo relacionado con criptomonedas, no accedió. La causa probable es que los algoritmos de confianza de OpenAI están programados para no permitir estafas con criptomonedas, pero aún no estaban configurados para impedir estafas de reembolsos por Zelle.
Observa que, cuando se le solicita en dos partes, cumple. La primera petición es un ejercicio típico de atención al cliente (fíjate en la solicitud de un simple correo electrónico sobre reembolsos). Incluso añadió la parte de la tarjeta de regalo de criptomonedas porque aparece antes en el historial del chat.
Una vez que acepta, podemos cambiar el tipo de reembolso a tarjetas de regalo de Amazon, y vuelve a aceptarlo.
Nota al margen: En Sardine vemos ambas formas de estafas: estafas de reembolso por Zelle y estafas con tarjetas de regalo de Amazon. Este es un escenario de estafa realista que en Sardine prevenimos y detectamos de forma habitual.
Para llevar esto aún más lejos, intentamos obtener una dirección de monedero de criptomonedas a la que deberían recibirse los fondos, y ahí se detiene. Es evidente que OpenAI ha hecho cierto trabajo para prevenir usos indebidos, pero parece que sus esfuerzos hasta ahora están más orientados a evitar estafas con criptomonedas (no estafas de reembolsos por Zelle ni estafas con tarjetas de regalo de Amazon, que son muy frecuentes).
2. Anatomía de una estafa de Elon Musk que utiliza un video deepfake para dirigir a la víctima a comprar criptomonedas:
Una estafa que utiliza la imagen y el ícono de Elon Musk promete a víctimas desprevenidas que duplicarán su dinero si participan en un sorteo. El usuario envía algo de dinero a una dirección de criptomonedas, y se usan cuentas falsas, sitios web y videos de Elon Musk para prometer que los usuarios serán incluidos en el sorteo.
La inteligencia artificial generativa está influyendo en esto de dos maneras.
1. Hacer que las estafas parezcan más creíbles corrigiendo la ortografía y la gramática: Las estafas que usan a Elon Musk tradicionalmente han tenido muchos errores gramaticales y de ortografía. Nuevas herramientas como FraudGPT permiten a los estafadores crear estafas con una ortografía y gramática perfectas al instante.
2. Hacer que las estafas parezcan más creíbles con respaldos de celebridades mediante deepfakes: El software de deepfake permite a los usuarios crear videos de un Elon Musk convincente que “respalda” el sorteo. En conjunto, estas herramientas aumentan las probabilidades de éxito.
Así es como funciona con una estafa de Elon Musk que encontramos
Aquí tienes un video deep fake de Musk (lo encontramos hace una hora y YouTube ya lo ha eliminado). En este video, aparece un Elon Musk generado por IA hablando de su nueva criptomoneda que duplicará tu dinero. Hay un código QR que te lleva a este sitio web: https://get2x.net/.
Aquí están las capturas de pantalla:
El objetivo es que los usuarios tomen las criptomonedas compradas en un exchange como Coinbase o en billeteras como MetaMask o Exodus y las envíen a una dirección indicada en ese sitio.
Si los usuarios se quedan atascados, los estafadores también proporcionarán un número de teléfono para que la víctima llame, de modo que puedan guiarla durante el proceso de compra. Los estafadores también podrían convencer a la víctima de instalar una herramienta de acceso remoto (RAT) como TeamViewer, AnyDesk o Citrix. Esta herramienta permite al estafador tomar el control de la pantalla del escritorio o del teléfono móvil de la víctima y mover el ratón, tocar, abrir páginas, etc. Luego ayudarán a la víctima a completar el KYC.
Una vez que un usuario envía los fondos, nunca los recupera. Nunca duplican su dinero ni reciben ningún obsequio. La víctima no tiene ningún recurso y el dinero se ha perdido.
Conclusiones sobre la detección:
- Detectar llamadas telefónicas cerca de una transacción
- Detectar el uso de herramientas de acceso remoto
- Detectar la billetera utilizada después de una compra de criptomonedas
- Detectar capturas de pantalla realizadas
3. Anatomía de una estafa del IRS
La clásica estafa del IRS que utiliza un correo electrónico intimidante como gancho con un asunto del tipo “Transacción bloqueada” (2 de diciembre de 2022, pocos días después del lanzamiento de Chat GPT).
Nota: este es un ejemplo real de una estafa en la que la víctima fue atraída para comprar criptomonedas a través de Sardine. Estas estafas existían antes de las criptomonedas. Antes de que aparecieran las criptomonedas, los estafadores pedían a las víctimas que compraran tarjetas de regalo o enviaran dinero mediante Moneygram.
En esta estafa, a la víctima también se le envió un membrete con apariencia muy oficial con el texto que se muestra en la captura de pantalla. Nótese la gramática perfecta y el inglés correcto.
A continuación generamos el mismo texto de correo electrónico con ChatGPT y obtuvimos un inglés impecable. GPT accede e incluso nos permite incluir un práctico marcador de posición para la dirección de Ethereum del IRS.
El IRS no acepta criptomonedas como método de pago:
Una ventaja de ChatGPT es que puedes obtener distintos tonos de correos electrónicos con solo hacer clic en un botón. Aquí lo hacemos más severo en lugar de cortés:
Conclusiones sobre la detección:
- Detectar llamadas telefónicas cerca de una transacción
- Detectar el uso de herramientas de acceso remoto
- Detectar la billetera utilizada después de una compra de criptomonedas
- Detectar capturas de pantalla realizadas
4. Anatomía de una estafa de Amazon:
Esto ocurre cuando un estafador crea un número de teléfono falso de Amazon que es encontrado por un usuario que hizo compras "reales" en Amazon. En este ejemplo, el usuario es estafado para que envíe 500 dólares a los estafadores en un cajero automático de Bitcoin y a través de la billetera de criptomonedas MetaMask.
Así es como funciona
La estafa comenzó cuando la víctima buscó en Google "servicio de atención al cliente de Amazon" para preguntar por un pedido que no había llegado (una máquina de hielo), creyendo que se trataba del sitio real Amazon.com
Dado lo fácil que es crear nuevos sitios web usando herramientas como AutoGPT, creemos que un estafador podría haber creado un sitio web sobre la devolución de paquetes de Amazon. Ese sitio web podría haber parecido muy similar a Amazon. Lamentablemente, no conseguimos que la víctima compartiera el sitio web exacto.
- Solicitud de reembolso: Llamó al número de atención al cliente y lo atendió un falso representante de servicio al cliente de Amazon. La víctima pidió un reembolso, pero el representante dijo que, para obtenerlo, tenía que llevar un recibo con código de barras que le sería enviado por correo electrónico a un cajero automático de BTC y transferir 500 dólares a la dirección que aparecía en el código de barras. El representante también le pidió la información de su cuenta bancaria para saber a dónde enviarle el reembolso.
- Transferencia de fondos al cajero automático de BTC completada: Después de enviar el dinero al cajero automático de BTC, recibió una llamada del falso representante de Amazon (desde otro número), quien le dijo que el siguiente paso para recuperar su reembolso consistía en comprar BTC en Metamask (la víctima no era experta en tecnología y se sentía avergonzada por ello, pero para él esto resultaba plausible en el comercio electrónico).
- Guiado durante la compra en MetaMask: La víctima fue acompañada paso a paso por teléfono por el representante sobre cómo comprar criptomonedas a través de MetaMask (usando la rampa de entrada de Sardine). También le pidieron que descargara una aplicación durante el proceso y afirmaron que tenían control sobre su teléfono. (Nótese la llamada en curso y el acceso remoto)
Todo este proceso se extendió durante unos días; dijo que el representante llamaba de forma agresiva y que eso le consumía su jornada laboral.
¿Cómo detecta entonces Sardine estas estafas?
¿Recuerdas nuestras cuatro claves para la detección?
- Detectar llamadas telefónicas cerca de una transacción
- Detectar el uso de herramientas de acceso remoto
- Detectar la billetera utilizada después de una compra de criptomonedas
- Detectar capturas de pantalla realizadas
Así es como funciona.
1. Detección de una llamada telefónica (Alto riesgo de estafa cerca de transacciones grandes)Durante la compra, si el comprador estaba en una llamada telefónica activa, marcamos esa compra. También podemos detener la compra y retrasar el retiro hasta que alguien del servicio de atención al cliente de Sardine haya hablado con el comprador.
En este ejemplo vimos una llamada muy larga al usuario 2 que era entrante
Luego recibimos contracargos de ese usuario, lo que confirmó que se había producido un fraude.
2. Detección de herramientas de acceso remoto (alto riesgo de una estafa en curso).
Durante la compra, si se estaba utilizando alguna Herramienta de Acceso Remoto (RAT), marcamos y detenemos la compra hasta que el equipo de soporte de Sardine haya hablado con el comprador. La captura de pantalla a continuación muestra la detección de una RAT en uso.
3. Verificación de monedero (alto riesgo de fraude o estafas)
A menudo, los usuarios compran criptomonedas por primera vez para enviarlas en el contexto de una estafa o fraude. Al observar la actividad después de la compra, podemos prevenir un gran número de estafas.
Después de una compra, si se está enviando criptomonedas a una billetera que ha sido marcada por estar previamente asociada con fraudes o estafas, detenemos el retiro. Esto funciona porque estamos activamente monitorizando estas billeteras. Ten en cuenta que esta señal está disponible para todos los clientes de Sardine y vemos que todas las instituciones financieras y los comercios electrónicos tienen un problema importante con las estafas y el fraude relacionados con cripto. No lo confundas con algo “solo de cripto”.
4. Detección de estafas de ingeniería social
La siguiente captura de pantalla muestra el panel de control de Sardine donde detectamos que, en el momento de la compra, la víctima estaba siendo guiada de forma remota para realizar la compra de criptomonedas (ver “Remote Software Level” == high y "Screenshot Taken" == high) →
Detecta más estafas con Sardine
Como dice el viejo refrán, si creces en un barrio peligroso aprendes un par de trucos. Hoy en día, la gran mayoría de los clientes de Sardine son grandes empresas de comercio electrónico, instituciones financieras y aseguradoras. Sin embargo, a menudo su principal desafío son las estafas, que implican pagos en tiempo real o criptomonedas. Esto perjudica la conversión de los buenos clientes y genera pérdidas significativas.
Si quieres saber más, no seas tímido, ven a saludarnos 👋