51 min
今日は、不正対策のパフォーマンス指標について、そして不正対策チームが「どれだけ活動したか」を測るのをやめて、「その仕事が本当にビジネスの役に立っているのか」を測るようになると、何が起きるのかという話をします。というのも、まさにそこが問題の本質だからです。多くのプログラムにはダッシュボードがありますし、多くのチームはさまざまな数字を持っています。しかし、それだけで「正しいものを測れている」とは限らないのです。
今回のFraudologyのエピソードでは、Sardineで不正防止責任者を務めるAndrew Austin氏をお迎えし、不正対策チームが不正対策の成功指標やテストの測定方法をどのように考えるべきか、そして不正対策プログラムの有効性を証明するという、より大きな課題について議論します。また、不正対策ベンダーの評価方法やソリューションのテスト、そして担当者がマーチャント側の不正指標からソリューション提供側に移ったときに何が変わるのかについても掘り下げていきます。
また、カスタマーリテンションと不正、評判への不正の影響、不正防止におけるクライアントとのパートナーシップ、そしてチームがテストの実施中やベンダーの評価時、あるいは投資の正当化を行う際に、どのように「成功」を定義するのかという、非常に実務的な問いについても議論しています。そしてこれはとても重要です。なぜなら、不正対策のパフォーマンス指標は、単なるレポート用の数値ではないからです。これらの指標は、優先順位や予算、ベンダー選定、そして企業が不正の結果をどれだけ真剣に受け止めるかを左右するからです。
実際の業務において、その不正対策の視点が意味することは次のとおりです。
- 不正対策のパフォーマンス指標は、不正対策チームの活動だけでなく、ビジネスへの影響を測定すべきです
- 不正対策の成果指標は、顧客・評判・業務面での結果も含めることで、より有用なものになります
- 不正対策ベンダーを評価するには、多くのチームがこれまで行ってきた以上に厳密な不正テストの測定が必要です
- チームが成功の具体的な姿を正確に理解しているとき、詐欺分析の戦略はより効果的に機能します
このエピソードでお届けする内容：
- なぜ不正対策プログラムの有効性を証明するうえで、不正対策のパフォーマンス指標が重要なのか
- 不正検知テストの測定と不正対策ソリューションの検証が、チームによるより良いベンダー選定にどのように役立つか
- アンドリュー・オースティンが、不正対策ベンダーの評価方法と、不正防止における強力なクライアントパートナーシップの構築について学んだこと
- なぜ顧客維持と不正対策、不正損失の測定、そして誤検知の測定が、すべて議論の一部である必要があるのか
- マーチャント側の不正対策指標がソリューションプロバイダーによる評価とどのように異なり、両方の視点からチームが何を学べるのか
このエピソードは次のような方におすすめです：
- 不正対策、リスク管理、またはオペレーションに携わっており、より強力な不正対策のパフォーマンス指標を構築したい方
- 不正検知のKPI戦略、不正対策オペレーションのレポーティング、そして不正防止のROI測定について、実践的な知見が必要です
- 不正対策ベンダーを評価している、詐欺対策ソリューションのテストを実施している、またはテスト＆ラーニング型の不正対策プログラムを構築している
- 誤検知の測定、詐欺損失の測定、そして EC における不正検知の測定について、より深く理解したい
- 不正検知の分析戦略、不正対策チームのベンチマーク、そしてより強固なベンダーパートナーシップのベストプラクティスに関心がある
このエピソードを気に入っていただけたら、ぜひ購読して、iTunes、Spotify、YouTube、または普段お使いのポッドキャストアプリでレビューをお願いします。番組を多くの方に知ってもらううえで本当に助けになります。
エピソードの概要と主なポイント
不正対策のパフォーマンス指標が重要になるのは、本当に意味のある成果を測定できている場合だけです
これを分解して考えてみましょう。不正対策における最大の問題のひとつは、チームが「本当に役に立つ指標」ではなく「測りやすい指標」を追いかけてしまいがちだという点です。件数。レビュー件数。キューの滞留量。承認率。どれも重要になり得ますが、それだけでは全体像を語ることはできません。
だからこそ、このエピソードはとても有益なのです。Andrew は、不正対策のパフォーマンス指標について、表面的なレポーティングを超えて、本質的な問い――「不正対策プログラムにおける成功をどう定義するのか」――に踏み込んで語っています。成功の定義があいまいであれば、レポートもあいまいになります。そして、まさにその部分から、チームは何が起きているのかをはっきりと把握できなくなっていくのです。
まさにこのことから、詐欺対策のパフォーマンス指標は、不正による損失の測定、顧客維持と不正の関係、誤検知（フォルス・ポジティブ）の測定、そして不正が評判に与える影響と結びついている必要があります。これらの成果指標が欠けていると、チームは忙しく働いているように見えても、その取り組みが本当に効果的であることを証明できなくなってしまいます。
- 不正対策のパフォーマンス指標は、実際のビジネス成果と顧客への影響を正しく反映している必要があります
- 不正対策の成果指標は、チームの活動量や案件数だけに焦点を当てると弱くなってしまいます
- 不正損失の測定と誤検知の測定は、業務指標と並行して行う必要があります
- チームが最初の段階で成功の基準を明確に定義しておけば、不正対策プログラムの有効性は証明しやすくなります
不正検知テストの測定こそが、ベンダー選定の判断をより信頼できるものにします
ここからが本番です。多くのチームは不正対策ベンダーを評価していると言いますが、実際のテスト設計はかなり甘い場合があります。これは望ましくありません。テストが弱ければ、結論もまた弱くなってしまうからです。
アンドリューは、不正対策テストの効果測定がいかに難しいか、そして不正対策ソリューションのテストを行う際に、事前に成功指標を明確に定義しておくことがなぜそれほど重要なのかを掘り下げて説明しています。それはもっともな話です。自分たちが具体的に何を改善しようとしているのかを把握していなければ、どのベンダーのデモも良く聞こえてしまい、どんな結果も甘く解釈できてしまいます。たいてい、そのような進め方は良い結末にはなりません。
ここは、不正防止のROIを測定することがはるかに現実的になるポイントの一つです。テスト設計が優れているほど、得られた結果への信頼度は高まります。つまり、ソリューションプロバイダーを評価する際に、より良い意思決定ができるということです。
- 不正対策テストの評価では、テスト開始前に成功の基準を明確に定義しておく必要があります
- 不正対策ベンダーを評価するには、デモや一般的な性能主張だけでは不十分である
- 不正対策ソリューションのテストは、チームが重要となる具体的な指標に足並みをそろえたときに、より効果的に機能します
- ベースラインと結果がどちらも明確であれば、不正防止のROIを測定しやすくなります
マーチャント側での経験は、不正対策の指標に対する考え方を変える
この対話でもう一つ重要なのは、アンドリューがマーチャント側からソリューションプロバイダー側へと立場を移したことで得た視点です。これは、マーチャント側の不正関連指標はたいてい、はるかに「目の前のこと」として感じられるからこそ重要です。損失、承認率、顧客の摩擦、オペレーションの逼迫、チャージバック――どれも非常に現実的で、非常にはっきりと見えるものなのです。
一度プロバイダー側に回ると、視野は大きく広がります。そこでは、複数のクライアントやさまざまなユースケース、異なる成功の定義に加え、長期的に不正防止におけるクライアントとのパートナーシップを維持していくという課題も会話の対象になります。その結果、指標の捉え方はより複雑になります。なぜなら、すべての顧客が同じ成果を同じように重視しているわけではないからです。
そのため、チームが注意を払わないと、ソリューションプロバイダーの評価は複雑でややこしいものになりがちです。マーチャントは自社の環境に即した関連性を求めます。一方でプロバイダーは、大規模なパターン全体を俯瞰して見ているかもしれません。どちらの視点も有用ですが、それぞれを適切にかみ砕いて伝える必要があります。
- マーチャント側の不正指標は、しばしば目先の業務上の痛みとより直接的に結びついています
- ソリューションプロバイダーを評価するには、ベンダーのパフォーマンスが自社のビジネス目標にどのように結びついているかを理解する必要があります
- 不正防止におけるクライアントとのパートナーシップは、双方が「成功」の姿を共有して合意したときにより強化されます
- ベンダーとのパートナーシップにおけるベストプラクティスは、強いセールストークだけでなく、共有された期待に基づいています
誤検知、顧客からの信頼、そして評判も指標セットに含めるべきです
このエピソードでは、不正対策チームが軽視しがちな点についても重要な指摘がなされています。どれだけの不正を防げたかを問うだけでは不十分であり、その過程で正当な顧客がどのような体験をしたのかも問う必要があるのです。
そこで重要になってくるのが、誤検知の測定、顧客維持と不正の関係、そして不正が評判に与える影響です。なぜなら、不正対策プログラムは損失を減らせたとしても、優良なユーザーを過剰にブロックしたり、優良顧客をいら立たせたり、不必要な不信感を生んだりすれば、静かにビジネスを傷つけてしまうからです。これは大きな問題です。
不正検知のダッシュボードがグリーンに見えているときは、大した問題ではないように思えるかもしれません。しかし、不正防止の現場ではこれは非常に重要です。優れた不正対策のKPI戦略では、チームが防いだものだけでなく、意図せずに損なってしまったものも両方を把握する必要があります。
- 誤検知の測定は、補足的なものではなく、詐欺対策における中核的な指標です
- 多くのチームが認めている以上に、顧客維持と不正対策は密接に結びついています
- 不正行為による評判への影響は、不正による損失が抑えられているように見える場合でも大きくなり得ます
- 不正対策のKPI戦略は、保護、顧客体験、そしてビジネス上の信頼のバランスを取るべきです
優れた不正対策プログラムは、単なる報告ではなく、戦略として測定に取り組みます
この事例から得られるより大きな教訓は、不正対策の分析戦略はダッシュボードから始めるべきではなく、まず目的から始めるべきだということです。チームは何を改善しようとしているのか？どのようなトレードオフを受け入れるつもりなのか？どのような成果が、本当に優れた不正対策プログラムを定義するのか？
だからこそ、ここでは不正対策チームのベンチマーク、不正オペレーションのレポーティング、そしてテスト＆ラーニング型の不正対策プログラムが非常に重要になるのです。指標は、チームが学び、比較し、調整し、改善することを助けるべきものです。単にスライドを作るためのものではありません。指標を戦略として活用しているチームは、ベンダーからも社内の取り組みからも、はるかに大きな価値を引き出す傾向があります。
まさにそれが、アンドリューが指摘している転換点です。より良い測定が、より良い不正対策の判断を生み出し、そしてより良い不正対策の判断が、より強力なプログラムを生み出します。
- 不正検知の分析戦略は、利用可能なデータだけでなく、まずビジネス目標から出発すべきです
- 不正対策オペレーションのレポーティングは、学習と意思決定を支援するときに最も有用です
- テストと検証を繰り返す不正対策プログラムは、チームが成果を一貫して測定することで改善されます
- 不正対策チームのベンチマークは、生産性だけでなく、実際の有効性を反映した指標を用いることで、より効果的になります
このエピソードの大きなテーマは、詐欺対策のパフォーマンス指標は「あとから価値を証明する」ためだけのものではない、という点です。むしろ、何を達成しようとしているのかを明確にし、その達成度をきちんと測定できる詐欺対策プログラムを構築するためのものです。Andrew はその課題に対して実務的な視点を提示しており、とくにベンダー評価を行い、より良いテストを実施し、詐欺対策の取り組みを経営陣が本当に重視するビジネス成果につなげようとしているチームにとって有用な内容になっています。
