最近のブログ記事で、Sardine の CEO である Soups Ranjan は、彼がどのように当社の Data Analyst AI Agent を使って不正グループを摘発したかを調査の中で明らかにしました。
そのわずか1週間後には、当社の不正分析チームが同じエージェントを使って別の不正グループを調査しており、今回はさらに印象的な成果を上げていました。
すべての始まりは、ある暗号資産オンランプの顧客で不正被害が急増していることに気づいたときでした。私たちのチームはその原因を調査し、漏えい箇所を特定して修正しました。さらに、Soups が以前の調査で行ったプロセスを再現しながら、影響を受けたすべてのアカウントを洗い出すために Data Analyst Agent も活用しました。
翌日には事態はさらに興味深いものになりました。というのも、当社のアナリストの一人が、同じ期間中に別のオンランプでも活動量が大幅に急増していたことに気づいたのです。
彼女は同じ組織が再び攻撃を仕掛けていると疑っていた。
違いは何かって？今回は、調査の最初から最後まで、データアナリストエージェントだけで進めることにしたのだ。
ステップ1：AIエージェントが不正の異常を確認する
最初のプロンプトはかなり漠然としたものでした。エージェントには関連する期間だけが与えられ、それ以上の情報はありませんでした。
当初、エージェントは不正の急増が見つかると考えて高リスクとタグ付けされたセッションに注目していましたが、通常、高リスクとタグ付けされたものはすでにブロックされています。アナリストからの素早い指摘により、エージェントはボリュームの異常を確認することができました。
明らかなように、中リスクのセッション数はほぼ同じだった一方で、低リスクのセッションは疑わしい期間中にその値がほぼ2倍になっていました。その結果、エージェントはさらに詳しい情報を提供することができました。
何かが起きていることは分かったので、何かが起きているのだと分かった以上、次はそれが一体何なのかを突き止める時だった。
ステップ2：異常の詳細を掘り下げる
スパイクの原因を特定するために、アナリストはエージェントに対し、低リスクのセッションをさらに細かくセグメントするよう依頼しました。
このセグメンテーションによって不審な対象集団が定義され、エージェントはその行動パターンの分析を開始できるようになります。
この一連の質問の目的は、不審な対象集団を十分に明確化し、その後にエージェントがその行動パターンを分析できるようにすることです。
しかし今のところは、それがどこから来ているのかを理解する必要があります。ここでは、エージェントの回答からいくつかの抜粋を示します。
まず最初に、不正行為をアカウントの状態ごとにセグメント化しました。すると、ペンシルベニア州とニュージャージー州から発生している不正行為が明確に急増していることが分かりましたが、特定されたのはこれらの州だけではありませんでした。
そして、取引金額の分布が表示されましたが、これがさらに興味深い結果となりました。
ここには非常に疑わしい異常が2つありました。エージェントがグラフの下部で述べているように：
- NULL 金額が大幅に急増しており、大規模なカードテストが行われている可能性を示していると考えられます。
- 担当者は、$1,555 や $933 といったごく特定の金額に異常な集中が見られることを突き止めました。これは偶然ではなく、大量発生によって意図が露呈している明確な兆候です。
2つ目の発見は確かに興味深いものではありましたが、エージェントは最初の発見の理由を誤ってラベリングしていたようでした。これはカードテストではなく、金額が存在しないのが自然なサインアップイベントにすぎませんでした。後にアナリストがエージェントを修正し、エージェントが解釈していたデータの文脈をよりよく理解できるようにしました。
最後に、エージェントは特定された影響を受けた州からの取引をタイムライン上にプロットし、攻撃が行われた正確な日付を特定しやすくしました。
複数のプロンプトがあったわけでもなく、エージェントの進路を途中で修正することもありませんでした。これらすべての発見、ビジュアル、インサイトは、ひとつのプロンプトだけで得られたものです。これは、本物のエージェント型システムの力、すなわちタスクを進めながら推論し、計画し、自らの行動方針を適応させていく能力を示しています。
単純なチャットボットとは異なり、Data Analyst Agent は 24 時間 365 日稼働可能な、完全に自律したワーカーとして機能します。熟練したアナリストと同様に、調査結果を明確に要約し、最終的に 2 つの異なる不正パターンを特定しました。
上記の要約だけでも十分に深刻ですが、当社のアナリストはさらに重大な懸念点を指摘しました。この攻撃は、最近別のクライアント向けに無力化した不正行為キャンペーンと、驚くほどよく似た特徴を示していました。
ステップ3：詐欺組織のパターン分析
攻撃が発生していることを確認し、その発信源を特定したあと、次はエージェントに対して、戦術レベルで不正のパターンを説明してもらう段階に入りました。私たちが知る必要があったのは――どのような行動上のシグナルを検知し、ブロックすべきなのか、ということです。
同じグループであることから何が分かるか大体見当はついていたものの、アナリストは今回もあえて最小限の指示だけをエージェントに与えることにした。
その結果として、次のような調査結果の要約が提示されました。
エージェントが攻撃の記述子を確認したところ、実際にはその母集団の中に別の疑わしい不正パターンが見つかったことに注意してください。
しかし、当社のアナリストは、そのもう一つのパターンは規模が小さく、その多くがすでに当社のシステムによって高リスクとして検知されていると判断しました。そのため、その部分についてはエージェントの報告を無視することにしました。
これは、人間が介在する仕組み（human-in-the-loop）がAIエージェントと協働するうえで望ましい方法であることをよく示しています。エージェントはデータの取得や戦術的な判断には長けていますが、文脈を与え方向性を示すためには人間のオペレーターが不可欠です。
この組み合わせにより、業務を効率的に保ちながら、より広いビジネスの文脈も踏まえて対応することができます。
調査の振り返り：得られた知見
このスパイクの調査は、異常が検知されてから20分もかからずに完了しました。その後の調査は、当社のアナリストによるわずか3回のプロンプトだけで、ほとんどをデータアナリストエージェントが実施しました。
調査結果を確認して検証した後、私たちはお客様に連絡を取り、攻撃を食い止めるのに役立ついくつかのルール案とあわせて、エージェントによる要約を共有しました。
今日もまた、ひとつ節約できた。
しかし、またしても不正行為の試みを食い止めたところで、今回のケースにおける私たちのチームの経験について、いくつか共有したいことがあります。
エージェント型AIは、不正調査を最初から最後まで一貫して実行できます
それは些細なことのように聞こえるかもしれませんし、過去18か月の間に何十回も聞いてきた話のようにも思えるかもしれません。しかし、調査について話すとき、私たちが通常指しているのは「単一 事案 の調査」です。
今回のケースはこれまでとは違います。私たちの調査は、特定の事象に対するアラートがきっかけではありませんでした。不正の急増を調査するものでした。大規模に。
Soups が自身の経験を Data Analyst Agent と共有したときでさえ、それは完全なエンドツーエンドのワークフローではありませんでした。このケースでは、Data Analyst Agent は、ごく少ない初期データと大まかな指示だけでも機能できることを証明しました。人間のアナリストの役割は、むしろエージェントが追い続けるべきでない筋道から注意をそらす手助けをすることでした。
それは私たちにとって初めてのことでした。
慣れるまでに時間がかかりそうです
自分たちで行うのが当たり前だった仕事をAIエージェントに任せるのは、決して自然なことではありません。これからは、不正検知のアナリストが自分の業務の一部をAIに委ねられるようになり、彼らの日々の業務ルーティンは大きく変わろうとしています。
私たちのチームも例外ではありません。エージェントを本格的な調査にフル活用したのは、2回目のときだけでした。最初のスパイクを検知したときは、アナリストが手作業での調査をすでに終えたあとで、その不正グループの規模を明らかにする目的に限ってエージェントを使いました。
2回目のスパイクのときになって初めて、最初からエージェントを使いました。明らかに、古い習慣はなかなか抜けないものです。
しかし、訓練を受けた不正検知アナリストがいないチームはどうでしょうか？ エンドツーエンドのデータドリブンな調査を行う体制が整っていないチームはどうでしょうか？ そうしたチームにとっては、この変化はさらに大きな影響をもたらすでしょう。
連鎖型エージェント的AI不正検知エージェント：これはまだ始まりに過ぎない
少し前に、Soups はエージェントを連鎖させるという概念について書きました。これは、それぞれの AI エージェントが狭い文脈に集中し、他のエージェントと協調して、インパクトのあるワークフローを構築するという考え方です。
そう考えると、もしデータアナリストエージェントが既知の異常を調査できるなら、その後に異常検知に特化したエージェントを連携させたらどうなるだろうか。
このような観点からエージェント型の不正防止システムについて考え始めると、不正対策チームの未来はとてもぼんやりとしたものに見えてきます。だからこそ、そこにはワクワクする可能性があります。私たちはその未来を「今」まさに形にしているのです。