6 min
不正検知ルールについては日常的に話題に上りますが、そもそも「ルール」という言葉が実際に何を意味するのかを問う声は、ほとんど耳にしません。ルールは何のためにあるのか、誰が作成すべきなのか、どのくらいの頻度で見直すべきなのか。これまでのキャリアを通じて、不正検知ルールは大きく3つの種類に分けられること、そして多くのチームがそのすべてを同じ方法で管理していることに気づきました。この慣習は、気づかないうちに大きな損失をもたらします。その結果、必要以上に監視されるルールがある一方で、十分に監視されないルールも生まれ、担当すべきでない人に管理責任が委ねられたり、本来想定されていない役割をルールに期待したりすることになります。
今回のエピソードでは、戦略ルール、行動ルール、トレンドルールについて取り上げ、それぞれをどのように作成・評価し、誰が管理すべきかを解説します。ルールエンジンを管理している方や、不正対策チームの時間配分を担っている方にとって、業務を整理するための実践的な方法です。
このエピソードでお届けする内容：
- 3種類の不正検知ルールで、監視頻度、担当者、成功基準をそれぞれ変える必要がある理由
- 機械学習スコアに基づく不正検知ルールとしきい値に基づく不正検知ルールによって、対象ユーザーを承認、拒否、追加認証の各グループに分類する方法
- 戦略ルールセット内の1つのしきい値を変更すると、多くの場合ほかのしきい値も調整する必要がある理由と、それらのルールを一式として評価すべき理由
- 不正対策チームが作成する行動ルール（頻度ルールを用いた不正検知の例を含む）によって、特定の攻撃に過剰適合することなく、同じ手口を使う複数の犯罪グループを検知する方法
- 複合的な不正検知ルールが実際にどのようなものか。メールアドレスのリスク、新しいデバイス、国情報の不一致を組み合わせたデバイスフィンガープリント不正検知ルールの例も紹介します
- トレンドルールが当初は最も迅速かつ正確なツールである理由と、その有効性が急速に低下する理由
- 不正検知ルールのライフサイクルはどうあるべきか――より強固な防御策へ移行するまで、限定的なルールを暫定措置として活用する方法
- すべてのルールを同じように扱うと、不正対策ルールの優先順位付けにどのような問題が生じるか
次のような方は、ぜひこのエピソードをお聴きください：
- ルールエンジンを管理しており、目的に合った不正検知ルールを作成するための明確なフレームワークを知りたい方
- 不正対策チームを新設または再編しており、どのルールをどのチームが担当すべきかを決める必要がある方
- 戦略ルールをモデルのリリースプロセスに組み込むことで、不正検知ルールのデプロイを改善したい
- 攻撃を防ぐために限定的なルールを追加し続けており、誤検知が積み重なることを懸念している
- ベンダーのモデルに依存しており、しきい値を設定する際にベンダーへ何を確認すべきか知る必要がある
エピソードの要点と重要なポイント
戦略ルールは基本となる防御レイヤーです
戦略ルールは対象集団をセグメント化し、防御策の全体像を形作ります。どのセグメントを承認し、どのセグメントをブロックし、どのセグメントに認証や手動審査などの追加確認を行うかを決定します。通常は、機械学習モデル、AIエージェント、またはスコアカードによるスコアを基に適用されます。これらのルールは相互に関連しているため、1つのしきい値を変更すると、通常はほかのしきい値も調整する必要があります。個別に評価するだけでなく、ルールセット全体として測定することをお勧めします。精度はそれほど高くない傾向がありますが、安定性には優れています。通常は月1回の見直しで十分です。これらのルールはモデルのスコア分布と密接に結び付いているため、モデルと併せて設計・リリースする必要があります。理想的にはデータサイエンス部門が深く関与し、ベンダー提供のモデルであればベンダーのサポートを受けるべきです。
行動ルールが中核を成す
行動ルールは、パターンが新しい、モデル化するには規模が小さすぎる、または複雑すぎる、あるいは誤検知につながる行動を狙ったものであるなどの理由で、モデルや戦略ルールでは捉えきれない不正の類型を検知します。重要なのは、特定の攻撃ではなく、不審な行動や正当な行動を記述する点です。これにより、特定の不正グループに過剰適合することなく、同様の手口を使う別のグループも検知できます。典型的な例としては頻度・速度ルールがあり、リスクの高いメールドメイン、新しいデバイス、IPアドレスの国と登録国の不一致を組み合わせた複合ルールもその一例です。こうしたルールは戦略ルールよりも高精度であるべきで、そうでなければ維持する意義はほとんどありません。モデルより劣化は早いものの急激ではないため、週次または月次の見直しで十分です。また、ドメイン知識とデータスキルの両方が必要になるため、管理は不正分析チームが担うべきです。
トレンドルールは被害の拡大を食い止め、その役目を終えたら廃止すべきです
トレンドルールは、特定の攻撃、傾向、不正グループを対象とするため、意図的に適用範囲が狭く設定されています。一般的には、いくつかの使い捨てメールのドメイン、特定のカードBIN、配送先住所の一部、最低金額などを条件として列挙した、特定のパターン向けのブロックリスト型ルールです。導入当初は非常に高い精度を発揮しますが、不正行為者は条件の一部を少し変えるだけで回避できるため、精度は急速に低下します。そのため、攻撃が続いている間は、毎日から週1回程度の頻度で監視する必要があります。トレンドルールは不正対策業務に欠かせないツールの一つだと思いますが、あくまで一時的な対策として扱うべきです。より堅牢な防御策を導入するまでの時間を稼げる一方、見直さずに放置すると誤検知が積み重なってしまいます。
適材適所でツールを使い分ける
これは単なる分類作業ではありません。すべてのルールを同じように扱うと、監視する必要のないルールに労力を費やし、監視すべきルールの劣化を見逃し、担当を誤ったチームに割り当て、不適切な成功基準でルールを評価することになります。カテゴリごとに適切な見直し頻度、担当者、期待値を設定すれば、不正対策はより堅牢になり、拡張もしやすくなります。
最後に押さえておきたいポイント
このエピソードから一つだけ覚えておくなら、「ルールの良し悪しは、そのルールが目的に合っているかどうかで決まる」ということです。戦略ルールはスコアを具体的な対応へと変換し、行動ルールは不正に見られる行動パターンを捉え、トレンドルールは目の前で起きている不正を食い止めます。それぞれに適した担当者、監視スケジュール、期待値を設定すれば、不正対策は規模が拡大しても高い耐久性を維持できます。
リソースとリンク
私の、そして願わくばあなたにとってもお気に入りのテーマについて、まだ話し足りませんか？それなら、ニュースレター「The Saturday Fraud Strategist」をご購読ください。
つながる：Chen Zamir | LinkedIn
「The Saturday Fraud Strategist」主宰
フィンテック企業のよりスマートな不正対策構築を支援
『The Fraud Fighter’s AI Playbook』共著者
Episode transcript
Chen Zamir
00:07
We talk about fraud rules all the time, but what do we actually mean when we say rules? What are rules for? Who writes them? How should they be monitored? Here's the thing. During my career, I found out that there are actually three distinct categories of rules. But most teams treat them all the same. And what are these categories? Strategy rules, behavioral rules, and trend rules. Each designed differently, written by different teams, and with completely different roles to play in your fraud defenses. Mixing them up means you'll either over monitor some while under monitor others, assign ownership to the wrong teams, or worse, expect them to perform in ways they were never designed to. So, in this video, I'll break down each category and show you exactly how to handle them. Let's get into it.
Chen Zamir
00:56
Strategy rules segment your population and define the overall design of your fraud defense. Which segments get approved? Which segments get blocked? Which segments go through a step up like authentication or manual review? In most cases, these rules are written around the score calculated by a machine learning model, an AI agent, or if your organization is still living in the 80s, a scorecard that tells the result of other rules. A good strategy segments the population according to risk bands and ideally other general risk factors like payment method, transaction amount or user history. It usually looks something like this. If score is above 80 and the amount is higher than $100, then decline the payment. Keep in mind that strategy rules are usually interconnected, especially if you manage multiple segments. Changing a threshold in one rule would dictate mirroring changes in other rules in the same set. For example, if in that previous example I had a rule that sends to manual review payments with scores between 50 and 80 and I raise the upper limit to 85, I now need to change my decline rule we just saw to only start declining above 85. This also means you may want to measure these interconnected rules as a rule set and not only individually. Performance-wise as these are high level rules that operate on the entire population and mostly translate a score into a deterministic action. Accuracy tends to be quite low. However, this also means they're more resilient to degradation. Machine learning models tend to degrade much more slowly than rules. So you don't need to monitor them daily or weekly. A monthly cadence is usually more than enough. And from an ownership perspective, since strategy rules are tightly coupled to a model score distribution, it makes sense that they'd be designed, reviewed, and deployed as part of the model release process. Should a data science team write them? Perhaps. If it makes sense within your team's context. But even if fraud analysts write them, they should work very closely with the data science team to do so. And what if the model you use is supplied by a vendor? Then ideally you should request them to support you with the required data analysis and segmentation.
Chen Zamir
03:13
Behavioral rules detect typologies that bypass your fraud model and strategy rules. This can happen for a few reasons. That typology is new and didn't appear in the model's training set. It's too intricate or small to describe with a model. Or you're targeting false positive behaviors that models aren't really designed to catch. Regardless of the reason, the point of these rules is to describe suspicious, or legitimate behaviors, and not a particular fraud attack. And by doing so, your rules can catch different rings that have similar MOS without the need to constantly tweak them and overfeit them to one particular attack. A good example would be velocity rules. They describe a certain typology that can manifest in different attacks and by different fraudsters. Here's an example. If domain risk is high, and the device is new, and the IP country mismatches the account country, then block the account. Let's talk about performance for a second. Ideally, behavioral rules should be quite accurate. And in all cases more accurate than the strategy rules themselves. Otherwise, why bother with them? And while behavioral rules degrade faster than models, because they describe general typologies rather than specific patterns, they don't degrade that fast. Even if a fraud ring leaves your platform, the rule would still catch new fraudsters attacking you in similar ways. So from a monitoring perspective, you want to review your behavioral rules on a weekly or monthly cadence. And in terms of ownership, behavioral rules sit squarely with the fraud analytics team. As they require both deep domain expertise and data literacy.
Chen Zamir
04:54
Trend rules are designed to stop specific trends, attacks, or fraud rings. When nothing else works, when fraudsters bypass your model, strategy rules, and fancy behavioral rules, you need to bring the hammer down. These rules focus on a specific narrow pattern to maximize the effectiveness of your defenses. They usually look like this. If the email domain is tempemail24.com or gorilla.info or 10minute.net net, and the card bin is specific to this trend, and the shipping address has 1247 harbor somewhere in it, and the amount is higher than 50 bucks, then decline the payment. From a performance standpoint, trend rules tend to start off being very accurate as they're tailored to a specific attack. That means that on paper they should be your most accurate rules and by a wide margin, but they also degrade fast, very fast. It's often easy for fraudsters to tweak something in their behavior and bypass a trend rule. This means these rules should be monitored daily to weekly, especially if they're part of stopping an ongoing attack. And when it comes to the ownership question, I personally believe that trend rules should be within the tool set frauds teams have at their disposal when dealing with fraud attacks. However, you should consider your trend rules as a stop gap solution. The idea is they buy you time to deploy more substantial defenses that degrade more slowly, and that scale better. Allowing you to eventually get rid of them completely. Because if they are left unchecked over time they can really cause havoc by accommodating false positives.
Chen Zamir
06:37
Understand the differences between the three types of rules isn't just academic, it's operational. Because when you treat all rules the same, you waste resources monitoring things that don't need daily attention while missing degradation in rules that do. You assign ownership to the wrong teams and you harm your overall effectiveness by mismanaging the success criteria for each role category. But get this right and your fraud defense would be more resilient and easier to scale. Anyway, that's all for today. I'll see you next Saturday.
View full transcript
