生成AIと大規模言語モデル（LLM）は、善にも悪にも使われる両義的な技術です。あなたの生産性を10倍高めてくれる一方で、詐欺師や悪徳業者にとっても同じように力を与えてしまいます。
生成AIは、不正な目的で使用されないようガードレールが設計されています。しかし、工夫したプロンプトを用いることで、こうした制御をすり抜けることも可能です。さらに、ダークウェブ上では、詐欺に特化したAIツールが台頭し始めているのをすでに目にしています。
詐欺師たちが生成AIをどのように利用しているかは、大きく3つのカテゴリーに分けられます。
- 攻撃の規模を拡大しつつ、もっともらしく見せること。
- 高度な攻撃をはるかに実行しやすくしている。
- 詐欺や不正行為の作成を自動化するためのツール。
詐欺師たちはどのように攻撃を拡大し、より信憑性の高いものにしているのか
前提として、詐欺の大半は「手っ取り早く稼げるもの」です。詐欺師たちは、フィッシング（スパム）メールやソーシャルエンジニアリングといった、昔からある手口を使って、被害者に虚偽の名目で送金させようとします。スパムメールの問題は、必ずしも説得力があったり、あなたにとって関係のある内容とは限らないことでした。人間でもメールクライアントでも、そうしたメールはすぐにスパムとして振り分けられますが、それでもメールは送り続けられ、そして必ず誰かが引っかかってお金を払ってしまうのです。
LLM は、説得力が非常に高く、文脈にも合った、形式の整ったメールを素早く作成できます。たとえば、あなたの会社やあなたの業務内容に非常に即した内容が書かれた、一見あなたの上司からのメールのように見えるものを想像してみてください。（付録では、IRS や Amazon の偽サポートメールなど、いくつかの具体例を取り上げています）
高度な攻撃をはるかに実行しやすくすること
個人や企業に多額の現金を送金させるよう説得することは、詐欺師にとって常にコストの高い行為でした。彼らは、脅迫の仕方や正当な取引に見せかける手口の説得力を、これまで以上に高める必要があります。
例えば、一部の銀行では、電話をかけると利用者の声で本人確認を行っています。声は音声クローンの「ディープフェイク」技術を使って複製することができ、実際にその偽の声で銀行の認証を突破できてしまう事例が出てきています。また、ディープフェイク動画が、「ビデオ・ライヴネスチェック」を通過してしまうケースも確認されています。本来これは、新規口座開設時に、実在の人間が本人確認書類の写真と一致しているかを確認するための仕組みです。
攻撃者があなたになりすましてあなたの金融機関で認証に成功した場合、その攻撃者は金融機関にとって事実上あなた本人であることになり、あなたの口座の全残高を、攻撃者が管理する任意の口座やウォレットに移動させることができます。
詐欺やスキャンの作成を自動化するためのツール
FraudGPT、WormGPT、DarkBERT は、正規のツール（ChatGPT や Google Bard）を基に作られたダークウェブ上のツールであり、詐欺やなりすましに使われる手口、盗まれた個人情報など、ダークウェブの地下知識ベースに即座にアクセスできるようにするものです。
この新しいツールの主な用途は、フィッシング攻撃、ソーシャルエンジニアリング、そしてビジネスメール詐欺を行う際の参入障壁を下げることです。しかし、開発者たちは、このツールによってボットネットの構築や高度なハッキングおよび侵害行為の開発を大規模に拡大できると主張しています。
ここでは、生成AIが詐欺に利用されている4つの例を紹介します。
1. 詐欺師やスキャマーを手助けするように、chatGPTに指示を工夫して与えること（プロンプトエンジニアリング）
2. ディープフェイク動画を使って被害者に暗号資産の購入を促すイーロン・マスク詐欺の手口
3. IRS詐欺の手口
4. Amazon詐欺の手口
1. ChatGPTを使って詐欺を作成するためのプロンプトエンジニアリング
この例では、2023年3月頃の素の状態のChatGPTを使い、それをジェイルブレイクして詐欺を作り出します。ChatGPTはこのような行為を防ぐための制御を継続的に強化していますが、それでも多くのジェイルブレイク手法が依然として有効であり、かつ簡単に実行できることが確認できます。
暗号資産に関わる内容を書くよう求められたとき、ChatGPT は応じませんでした。おそらくその理由は、OpenAI のトラストアルゴリズムによって暗号資産詐欺を許可しないように設定されている一方で、Zelle の返金詐欺を防ぐようにはまだ設定されていなかったためだと考えられます。
2つの部分に分けて指示すると、きちんと従っていることに注目してください。最初のリクエストは、通常のカスタマーサポート対応（返金についての簡単なメールを求める内容）です。さらに、チャット履歴の前のほうに出てきたため、暗号資産ギフトカードの部分まで付け加えています。
一度承認されれば、返金方法をAmazonギフト券に変更しても、再び承認されます。
補足: Sardine では、Zelle の返金詐欺と Amazon ギフトカード詐欺の両方の形態の詐欺を確認しています。これは、Sardine が日常的に防止・検知している、現実的な詐欺シナリオです。
これをさらに一歩進めて、資金の受け取り先となる暗号資産ウォレットアドレスを試そうとすると、そこで止まってしまいます。明らかにOpenAIは悪用防止のための対策を講じていますが、現時点ではその対策は主に暗号資産詐欺の防止に重点が置かれているようで、（非常に多い）Zelleの返金詐欺やAmazonギフトカード詐欺などにはまだ十分対応できていないように見えます。
2. ディープフェイク動画を使って被害者に暗号資産の購入を促す、イーロン・マスク詐欺の手口：
イーロン・マスクを悪用した詐欺では、彼の写真やアイコンが使われ、「懸賞に参加すればお金が2倍になる」と何も疑わない被害者に約束します。ユーザーは暗号資産のアドレスに現金を送金させられ、さらに偽のアカウントやウェブサイト、イーロン・マスクの動画などを使って「懸賞に参加できる」と信じ込ませるのです。
生成AIは、この問題に2つの形で影響を与えています。
1. スペルや文法を修正して詐欺をもっと本物らしく見せること：イーロン・マスクを名乗る詐欺は、これまで文法やスペルの誤りが多いのが一般的でした。FraudGPT のような新しいツールにより、詐欺師はスペルや文法が完璧な詐欺文を即座に作成できるようになっています。
2. ディープフェイクの有名人推薦で詐欺をより本物らしく見せること：ディープフェイクソフトウェアを使うと、本物のように見えるイーロン・マスクがプレゼント企画を「推薦」している動画を作成できます。これらのツールを組み合わせることで、詐欺が成功する可能性が高まります。
私たちが見つけたイーロン・マスクを悪用した詐欺の仕組みは、次のとおりです。
こちらはマスクのディープフェイク動画です（1時間前に見つけたのですが、すでにYouTubeから削除されています）。この動画では、ディープフェイクのイーロン・マスクが「お金が2倍になる」新しい暗号資産について話しています。動画にはQRコードが表示されていて、それを読み取るとこのサイト https://get2x.net/ に飛ばされます。
スクリーンショットはこちらです。
目的は、ユーザーがCoinbaseのような取引所やMetaMask、Exodusのようなウォレットで購入した暗号資産を、そのサイトに記載されているアドレス宛てに送金することです。
ユーザーが行き詰まった場合、詐欺師は被害者が電話できる番号を教え、購入手続きの進め方を電話で誘導しようとします。また、TeamViewer、AnyDesk、Citrix などのリモートアクセスツール（RAT）のインストールを被害者に勧めることもあります。これらのツールを使うと、詐欺師は被害者のパソコンやスマートフォンの画面を遠隔操作し、マウスを動かしたり、タップしたり、ページを開いたりできるようになります。そのうえで、詐欺師は被害者に本人確認（KYC）の手続きを行わせます。
一度送金してしまうと、そのお金が戻ってくることはありません。お金が倍になることも、プレゼントがもらえることも決してありません。被害者には打つ手がなく、お金は失われてしまうのです。
検知のポイント：
- 取引の前後に行われる電話を検知する
- リモートアクセスツールの使用を検知する
- 暗号資産を購入した後に使用されたウォレットを検知する
- 撮影されたスクリーンショットを検知する
3. IRS詐欺の仕組み
典型的なIRS詐欺では、「取引がブロックされました」といった脅迫的な内容のメールをきっかけとして利用します（2022年12月2日、Chat GPTが公開されてから数日後）。
注意：これは、被害者がSardineを通じて暗号資産を購入するよう誘導された実際の詐欺の例です。こうした詐欺は暗号資産が登場する前から存在していました。暗号資産が出てくる前は、詐欺師たちは被害者にギフトカードを購入させたり、Moneygramで送金させたりしていました。
この詐欺では、被害者にはスクリーンショットに表示されている文章が書かれた、いかにも正式なものに見えるレターヘッドも送られてきました。文法が完璧で、正しい英語が使われている点に注目してください。
以下では、同じメール文面をChatGPTで生成し、完璧な英語になりました。GPTは要望に応じてくれるだけでなく、IRSのEthereumアドレス用に便利なプレースホルダーまで入れさせてくれます。
IRSは暗号資産を支払い方法として受け付けていません：
ChatGPT の利点の一つは、ボタンをクリックするだけで、さまざまな文体のメールを作成できることです。ここでは、丁寧というよりも厳しい口調にしてみましょう。
検出のポイント：
- 取引の前後に行われる電話を検知する
- リモートアクセスツールの使用を検知する
- Detect wallet used after a Crypto purchase
- 撮影されたスクリーンショットを検出する
4. Amazon詐欺の手口：
これは、詐欺師が偽のAmazonの電話番号を作り、「本物」のAmazonで買い物をしたユーザーがその番号を見つけてしまうケースです。この例では、ユーザーはビットコインATMと暗号資産ウォレットのMetaMaskを通じて、詐欺師に500ドルを送金させられてしまいます。
仕組みは次のとおりです
被害者が本物のだと思い込んでいたサイトで、未着の注文（製氷機）について問い合わせるために「Amazon カスタマーサービス」とググったことから、この詐欺は始まりました。Amazon.com
AutoGPT のようなツールを使えば新しいウェブサイトを簡単に作成できることから、私たちは詐欺犯が Amazon の返品に関するウェブサイトを作った可能性があると考えています。そのサイトは Amazon と非常によく似た見た目だったかもしれません。残念ながら、被害者からその正確なサイトを共有してもらうことはできませんでした。
- 返金の依頼：彼はカスタマーサービスの番号に電話をかけると、偽のAmazonカスタマーサービス担当者が応対しました。被害者は返金を求めましたが、担当者は返金を受けるには、メールで送られてくるバーコード付きのレシートを持ってBTC ATMに行き、そのバーコードに記載されたアドレス宛てに500ドルを送金する必要があると言いました。さらに担当者は、返金の送金先を把握するために、被害者の銀行口座情報も求めました。
- BTC ATM への送金完了：BTC ATM に送金した後、彼は（別の番号から）偽の Amazon 担当者から電話を受けました。その担当者は、返金を受け取るための次の手続きとして、Metamask で BTC を購入する必要があると伝えました（被害者は技術に詳しくなかったものの、そのことを恥ずかしく感じており、彼にとっては eコマースではあり得る話だと思えてしまいました）。
- MetaMaskでの購入手順の案内：被害者は担当者と電話をしながら、MetaMask（Sardineのオンランプを使用）で暗号資産を購入する手順を、ステップごとに案内されました。その過程で、担当者はアプリのダウンロードも指示し、自分たちが被害者のスマートフォンを操作できると主張しました。（通話中であり、リモートアクセスが行われていた点に注意）
この一連のやり取りは数日にわたって行われ、担当者は執拗に電話をかけてきて、そのせいで仕事中の時間が削られてしまったと彼は話していました。
では、Sardine はどのようにしてこれらの詐欺を検知するのでしょうか？
私たちの4つの検知の鍵を覚えていますか？
- 取引の前後に行われる電話を検知する
- リモートアクセスツールの使用を検知する
- 暗号資産の購入に後から使用されたウォレットを検知する
- 撮影されたスクリーンショットを検知する
その仕組みは次のとおりです。
1. 電話の検知（高額取引時の詐欺リスクが高い状況）購入手続きの最中に、購入者が通話中であった場合、その購入を警告対象としてフラグ付けします。また、購入を一時停止し、Sardine のカスタマーサポート担当者が購入者と直接話すまで出金を遅らせることもできます。
この例では、ユーザー2への非常に長い着信通話があったことがわかりました
その後、そのユーザーからチャージバックが発生し、不正行為が起きていたことが確認されました。
2. リモートアクセスツールの検出（進行中の詐欺の高リスク）。
購入手続き中に、もしリモートアクセスツール（RAT）が使用されていた場合は、その購入をフラグ付けして一時停止し、Sardineサポートが購入者と連絡を取るまで進めません。下のスクリーンショットは、RATの使用が検知された例を示しています。
3. ウォレット審査（詐欺やスキャムの高リスク）
ユーザーは初めて暗号資産を購入する際に、詐欺や不正行為の目的で送金することがよくあります。購入後のアクティビティを監視することで、多くの詐欺を未然に防ぐことができます。
購入後、もし暗号資産が過去に詐欺やスキャムとの関連がフラグ付けされているウォレットに送金されようとしている場合、私たちは出金を停止します。これは、私たちが積極的にこれらのウォレットをスクリーニングしているために機能します。なお、このシグナルはすべてのSardineクライアントが利用可能であり、私たちは、あらゆる金融機関やEC事業者が暗号資産を使った詐欺やスキャムに大きな問題を抱えていることを確認しています。これを「暗号資産だけの問題」と誤解しないでください。
以下のスクリーンショットは、Sardineのダッシュボードを示しており、購入時点で被害者がリモート操作によって暗号資産の購入を指示されていたことが分かります（「Remote Software Level」== high および「Screenshot Taken」== high を参照）→
Sardine でさらに多くの詐欺を検知しましょう
昔から「悪い環境で育つと、いろいろな抜け道を覚える」と言われます。現在、Sardine のクライアントの大半は大手の EC 企業、金融機関、そして保険会社です。しかし、彼らが直面する最大の課題のひとつは詐欺であり、その多くはリアルタイム決済や暗号資産（クリプト）に関わるものです。こうした詐欺は優良顧客のコンバージョンを損ない、多大な損失を生み出しています。
もっと詳しく知りたい方は、遠慮せずにぜひ声をかけてくださいね 👋