Sardine named a Leader in The Forrester Wave™: Financial Crime Management Solutions, Q3 2026

Learn More

対談の振り返り:TypeSafe AIのJevを不正判定モデルスタックに組み込んで学んだこと

Brittany Geronimo
Brittany Geronimo
9 min read
bg-image
bg-image
高速な意思決定モデルを不正対策スタックに組み込むことについてのテキストを、LM、LLM、RLCD、RLHFと記された浮遊するデジタルウィンドウが囲む、Sardine制作のアイソメトリック図。
Subscribe to newsletter
Share

顧客がカードを読み取り機に通したり、アカウントを登録したりすると、不正対策チームは数百ミリ秒のうちに、その処理を許可するかどうかを判断しなければなりません。従来は、自社で蓄積したラベル付きの不正データを大量に使ってモデルを学習させることで、この判断に間に合う速度を実現してきました。しかし、立ち上げ間もない多くの企業には、そうしたデータがまだありません。

当社のCEO兼共同創業者であるSoups Ranjanは、TypeSafe AIと共催したファイヤーサイドチャットで、この課題を掘り下げました。対談相手はTypeSafe AIのCTO兼共同創業者であるErik Gafniで、a16z InfraのパートナーであるYoko Liが司会を務めました。2人は、TypeSafe AIのシステム1モデル「Jev」と、それをSardine Flowに組み込んだ結果について語り合いました。「システム1」という呼び名は、素早く直感的な思考を指すダニエル・カーネマンの用語に由来します。

TypeSafe AIのJevモデルは、どのように迅速かつ適切に調整されたAIの意思決定を実現するのか

Jevは特定の種類の判断に優れており、高速で信頼度が適切に調整された判断結果を返します。その結果は、通常のソフトウェアに構成要素として組み込めます。Erikのチームは、コードベースのほかの部分と組み合わせて使えるように設計したため、アプリケーションはほかの関数と同じようにこのモデルを呼び出せます。

今では、どのソフトウェアエンジニアでも、Jev上で数秒のうちに分類器を構築できます。数年前、企業が同じ結果を得るには、経験豊富な機械学習エンジニアのチームを自社で抱え、大量のラベル付きデータでBERTモデルをファインチューニングする必要がありました。それでも、できあがるのは適用範囲が狭く、データが変わるたびに精度が低下するものでした。Erikは、Jev上で構築した分類器は汎化性能が高く、不正行為のパターンが変化しても機能し続けると主張しています。

Jevを活用した氏名とメールアドレスの照合およびKYBの判定

Soupsは、私たちがJevを評価する中で取り上げた2つの課題について、まず氏名とメールアドレスの照合から説明しました。例として使ったのは、彼自身のメールアドレスです。soups@sardine.aiは、彼のフルネームとはまったく似ていないためです。ルールエンジンはこのような一致を見逃しがちで、大規模言語モデル(LLM)でも、一致を見抜くには数秒間の推論が必要です。一方、Jevは一度で正しく照合し、リアルタイムの決済フローにも対応できる速さで結果を返しました。

不正対策チームがLLMの応答を2〜4秒待っているようでは、顧客のカード決済やアカウント登録時に対応するタイミングを逃してしまいます。

続いてSoupsは、企業確認(KYB)の話題に移りました。当社のKYB製品では、Google マップやYelpのレビューを含む20〜30のデータソースを活用し、企業の所有者や実際の事業内容を、正確な業種分類に至るまで把握しています。以前は、お客様自身がスコアを手作業で調整し、収集したすべての情報をもとに取引を開始するかどうかを判断していました。当社のチームも、その調整が適切に行われるよう、多くの時間をかけて支援していました。

こうしたお客様は今では、調整を一切行うことなく、最後のステップをJevに任せられます。また、Jevは、規制対象業界向けのワークフロービルダーであるSardine Flow内のノードとしても動作します。

制裁スクリーニングの自動化は、標準作業手順書(SOP)の文書化から始まります

Soupsは、標準作業手順書(SOP)を文書化している企業では、判断基準を改めて見いだすためにAIエージェントを使う必要はほとんどないと主張しました。むしろ、Sardine Flow、n8n、LangChainなどのツールでワークフローを構築し、判断が求められるステップに意思決定モデルを組み込むことを勧めています。その理由を示すため、制裁スクリーニングを例に挙げ、制裁関連のアラートに10ページのSOPで対応している大手フィンテック企業を紹介しました。Soupsなら、その10ページすべてをワークフローに落とし込むといいます。そのほうが、エージェントにその場で対応を考えさせるよりも、処理が速く、コストも低く抑えられるためです。

多くの銀行やフィンテック企業では、標準業務手順書(SOP)が文書化されていません。実際の手順は、ベテランアナリストの頭の中にあるのです。Erikは、SOPが文書化されていない体制で、人間がすべての判断を確認せずに業務を回せるのかと尋ねました。これに対しSoupsは、現時点でも多くの企業がそのような形で業務を行っていると指摘しました。そうしたチームがモデルを業務に活用するには、まずSOPを文書化する必要があります。

標準業務手順書(SOP)を文書化すれば、審査業務の大部分を自動化できるようになります。Soupsの推計では、銀行の従業員の約30%が手作業による審査に従事しています。その多くは、制裁対象者リストとの照合で生じる誤検知の確認と解消に日々追われています。たとえば、Osamaという名前の顧客を審査する担当者は、顧客の生年月日、出生地、住所を確認してオサマ・ビンラディンとは別人であると判断したうえで、照合結果を問題なしとする必要があります。

私たちは、まさにこうした業務のために、銀行の標準業務手順(SOP)を組み込んだAIエンジンを開発しました。一部の銀行では、すでにこのエンジンが制裁対象に関する審査の約90%を自動化しており、6か月間の運用を通じて100%の正確性を確認しています。デロイトの金融サービスセンターも、機械学習を活用した制裁対象の審査を導入している大手銀行で、同様の自動化の成果を確認しています。私たちは当初、すべての案件を人が確認する体制を取り、エンジンの信頼性が実証されるにつれて、人による確認の割合を全案件の100%から10%へと段階的に引き下げることで、こうした成果を達成しました。

ラベル付きデータを使わずに不正検知分類器を学習させる

実際の導入現場では、ほかのどんな障害よりも、ラベル付きデータの不足に直面することが多くあります。顧客がSoupsに、受け入れた事業者のうちどれが不正を行っていたのかを伝えられれば、その履歴を使って分類器を学習させることができます。しかし、新規に始める顧客には、提供できるような履歴がありません。そのような場合、SoupsならSystem 1モデルを選ぶでしょう。そうした顧客も意思決定を行う必要があり、データサイエンティストを重みの調整作業に割り当てるのは避けたいからです。

聴衆の一人が、ラベルがまったくない状態で、チームはどうすればキャンペーン全体から不正を検出できるのかと質問しました。パネリストたちは、フィードバックループの仕組みを説明しました。まずJevが最初の判定を行います。次に、人間のオペレーターがその判定を確認し、正しいか誤りかを評価します。その評価が再学習に反映されます。こうして時間をかけて、クライアントがそれまで持っていなかったラベルをオペレーターが蓄積していきます。

ステートレスモデルが不正判定の一貫性と説明可能性を高める理由

Jevはステートレスなため、エンジニアは呼び出しのたびにコンテキスト全体を渡します。Soupsは、詐欺グループがカード、住所、電話番号を共有して複数のアカウントを運用していた実際の不正事例で、Jevをテストしました。彼はClaude OpusとJevに、そのグループの関係を示すグラフと取引履歴を与えました。Jevは一連の取引すべてを不正と判定しました。同じデータを与えられたOpusは、この結論には至りませんでした。

Soupsは、これはあくまで1つの事例に対して行った1回のテストだとすぐに指摘しました。それでも、この結果は金融サービスのチームがモデルに求めるものと合致しています。銀行が求めているのは、低コストで素早く得られ、次に同じ質問をしたときにも再現できる回答です。Erikは対談の多くを、この再現性の話に費やしました。

Erikは、小規模なLLMに同じ質問を10回すると、回答が変わったり、過度に確信を持った口調になったりすることが多いと指摘しました。その原因は、人が好む回答をするとモデルに報酬を与える「人間のフィードバックによる強化学習(RLHF)」にあると見ています。TypeSafe AIは、RLCDと呼ぶ手法を用いて、回答の確信度が実際の正確さに見合うようJevを訓練しています。また、Erikのチームはチャットインターフェースも廃止し、回答のばらつきを大きくする圧力を大幅に取り除きました。

ステートレスなモデルを使ってシステムを構築するエンジニアは、コンテキストの設計を自ら担うことになります。Erikは、システムを個々にローカルで実行される小さな判断に分解し、モデルの周囲でソフトウェアをステートマシンとして機能させることを勧めています。モデル自身の最終判断と矛盾することさえある長い推論過程を読むよりも、そうした小さな判断を一つずつ検証するほうがよいと考えています。

Erikは、一つひとつの意思決定を、細かな判断をつなぎ合わせた回路として捉えています。エンジニアは各ノードの判定内容を確認し、コード内のしきい値を変更して過去のデータを再実行することで、たった1文字の編集が確率をどう変えるかを確かめられます。Erikは、ドリフトに関する聴衆からの質問にも、再実行機能を使って答えました。カード会員が取引の数週間後にチャージバックを申し立てることもあるため、エンジニアはモデルのドリフトを検知するのに、そのデータが届くまで待つわけにはいきません。代わりに、調整したノードで過去のデータを再実行し、変更の効果をその場で確認できます。

TypeSafe AIはまた、クライアントの指示が、Jevがトレーニング中にインターネットから学習した内容と矛盾する場合に、入力に含まれる状態やルールが優先されるよう、Jevをトレーニングしています。

残された手がかりからAIエージェントによる詐欺や偽アカウントを見抜く

Soupsは、どんな攻撃者もいずれは正体を見破る手がかりを残すと述べました。その例として挙げたのが、エージェンティックコマースを支えるAIショッピングエージェントです。これらは販売事業者のページ構造を読み取り、マウスを一切動かさずに各フィールドの正確な中心をクリックします。不正行為者がエージェントにマウスの動きを加えても、その動きには人間の手に見られる自然な揺らぎがありません。Soupsが目指すのは、悪意ある行為者にとって、人間のふりをするコストが指数関数的に増大する状況です。試みを続ける者も、いずれはミスを犯し、正体を見破る手がかりを残します。エージェンティックコマースでは、当社のNo Humanプロトコルが、AIショッピングエージェントの背後にいる人間の本人確認を行います。

TypeSafe AIも、サービス開始時に無料クレジットを提供したところ、不正行為者がそれを目当てに偽アカウントを作成し始め、自らも不正の被害に遭いました。無料アクセスは、最先端モデルを蒸留して独自のコピーを作ろうとする者にとってまさに必要なものとなるため、Erikのチームはこの提供を打ち切りました。他のAIネイティブ企業に対しても不正行為者が同じ手口を使い、トークンの不正利用が急増している状況を、私たちは目の当たりにしています。

Soupsは、Sardineの採用活動でも同じ手口が見られると述べています。AI・機械学習関連職への応募者の75%が、偽のプロフィール、VPN、VoIP番号、ディープフェイクのいずれかを利用しているというのです。会場の参加者からは、採用に絡む手口に着目し、採用を装った詐欺とマルウェアが発端となったBinanceへのハッキングを、両社のどちらかで防げたのかという質問が出ました。Soupsは、Sardineは侵入検知を手がけていないものの、応募者の不正検証サービスを提供しており、応募者のなりすましという側面からこの問題に対処していると明言しました。Erikは、エンジニアが今ではアクセスログなどのログファイルを低コストかつ大規模に分析し、不審なパターンを見つけられるようになったと指摘しました。

不正対策システムで意思決定モデルを活用する

Jevのような意思決定モデルを自社の不正対策スタックに導入するなら、まずは標準業務手順書(SOP)を起点に、アナリストの頭の中にしかない知識や判断基準をすべて書き出しましょう。そこから、各判断を小さな問いに分解し、検証や調整を行ったり、過去のデータで再検証したりできるようにします。Jevが特に力を発揮するのは、正解ラベルがなく、応答時間の制約が厳しい問いです。最初はレビュー担当者がすべての判断を確認し、モデルの精度が実証されるにつれて、確認の頻度を減らしていくことができます。

エリックは最後に、LLMエージェントをバックグラウンドで何百万回も安定して動作させることがいかに難しいかを指摘しました。AIの開発を生業とする彼でさえ、問題を決定論的な処理フローに分解し、モデルに任せる部分はできる限り少なくするといいます。

SardineとTypeSafe AIの対談をオンデマンドで視聴

Soups、Erik、Yokoによる対談の全編は、こちらからオンデマンドでご覧いただけます。

よくある質問

不正判定モデルとは何ですか?また、不正判定モデルの技術スタックの中でどのような位置づけにありますか?

不正判定モデルは、適切に調整された判定を迅速に返し、アプリケーションから通常の関数と同じように呼び出せます。不正判定モデルを組み込んだシステムでは、判断が必要なステップをこのモデルが担い、それ以外のワークフローは決められたロジックどおりに処理されます。ルールエンジンは、氏名とメールアドレスの照合などで一致を見逃しがちですが、Jevはこうした照合をリアルタイムの決済フローにも対応できる速さで処理しました。

ステートレスな不正判定で、一貫性と説明可能性を維持できるのはなぜですか?

ステートレスなモデルは呼び出し間で記憶を保持しないため、エンジニアは毎回コンテキスト全体を渡します。つまり、コンテキストの設計はエンジニアの手に委ねられています。TypeSafe AIのCTOであるErik Gafniは、モデルを取り巻くソフトウェアを、個別にローカルで実行される小さな判断の積み重ねからなるステートマシンとして構築することを勧めています。そうすれば、チームは各判断を検証し、しきい値を変更した後に過去のデータを使って再実行できます。彼は、長い推論過程を読むよりも、この方法を好んでいます。

制裁スクリーニングは、文書化された標準作業手順(SOP)に従って行うべきですか、それともAIエージェントに任せるべきですか?

Soups Ranjanは、標準作業手順書(SOP)があるチームでは、判断の基準がすでに文書化されているため、その手順をワークフローに落とし込み、判断を要するステップにだけ意思決定モデルを組み込めばよいと主張しています。エージェントがその場で判断しながら進めるよりも処理が速く、コストも低いと述べ、あるフィンテック企業の制裁対応に関する10ページのSOPを例に挙げています。SOPが文書化されていないチームは、まず手順を書き起こす必要があります。

不正検知におけるシステム1モデルとは何ですか?また、なぜJevはそう呼ばれるのですか?

System 1モデルは、特定の種類の判断をすばやく行い、その確信度が実際の正確さに見合った判断結果を、ほかのソフトウェアがそのまま利用できる形で返すように設計されています。TypeSafe AIは、ダニエル・カーネマンが素早く直感的な思考を指すために用いた言葉から、この名称を借用しました。Gafniによると、小規模なLLMは同じ質問を繰り返されると回答が変わったり、過度に自信のある答え方をしたりすることがあります。その原因は、人間のフィードバックによる強化学習(RLHF)が、人に好まれる回答に報酬を与えることにあると同氏は説明しています。一方、TypeSafe AIは、確信度と実際の正確さが一致するようJevを訓練しています。

ラベル付きデータなしで不正検知モデルを構築するにはどうすればよいですか?

導入時にSardineが最もよく直面する障壁は、ラベル付きデータの不足です。不正が確認された過去の事例がないチームでも、まずはSystem 1モデルに一次判定を任せることから始められます。その後、担当者が各判定を確認し、正しいかどうかを評価します。その評価はモデルの再学習に活用され、こうしたプロセスを重ねることで、それまでチームになかったラベル付きデータが蓄積されていきます。