--- title: AIのガードレール：AIへのプロンプト指示だけでは、拡大する不正に対処できない理由 source_page: https://www.sardine.ai/jp/media/fraudology/episodes/ai-guardrails canonical: https://www.sardine.ai/jp/media/fraudology/episodes/ai-guardrails format: text/markdown date: 2026-11-12T13:01:00.000Z description: AIのガードレールは、プロンプトではなくコードに組み込むべきです。AIの判断に制限が必要な理由、導入後のガバナンスの仕組み、そして不正利用対策が単なるブロックではない理由を解説… --- **Quick links:** [Human page](https://www.sardine.ai/jp/media/fraudology/episodes/ai-guardrails) · [Home](https://www.sardine.ai) · [Customers](https://www.sardine.ai/jp/customers) · [Blog](https://www.sardine.ai/jp/blog) · [Demo](https://www.sardine.ai/jp/demo) --- # AIのガードレール：AIへのプロンプト指示だけでは、拡大する不正に対処できない理由 **Published:** 2026-11-12T13:01:00.000Z AIのガードレールは、プロンプトではなくコードに組み込むべきです。AIの判断に制限が必要な理由、導入後のガバナンスの仕組み、そして不正利用対策が単なるブロックではない理由を解説… Fraudologyへようこそ。今回もお楽しみください。 アサフ・キプニスが初めてこの番組に出演したのは、Facebookを退職して間もない2023年のことでした。その際は、悪意のある人物がソーシャルメディアのプラットフォームをどう悪用しているのかについて、2回にわたって話を聞きました。その後、彼はGoogleやAIスタートアップで働き、自身のコンサルティング事業を立ち上げ、AIを活用した開発に多くの時間を費やしてきました。現在は業務時間の約90％をAIを活用した開発に充てています。だからこそ、不正対策の責任者たちから繰り返し聞かれる、ある問いを投げかけるのにふさわしい相手なのです。AIを制御できる状態を保ちながら活用するには、どうすればよいのでしょうか？ 今回は、AIのガードレールと、それをコードで強制的に適用する必要があるとアサフが考える理由について話します。また、不正利用対策が単なるブロックとは異なる理由、経営陣が不正対策チームをAIで置き換えられると期待すると何が起きるのか、そして導入後に着手するとAIガバナンスがはるかに難しくなる理由についても掘り下げます。さらにアサフは、調査ツールをどのように構築しているか、なぜAIを攻撃者と同じように扱うのか、そしてチャットボットだけでは事業を運営できないと考える理由も語ります。 今回のエピソードで取り上げる内容： AIが詐欺の手口よりもその実行スピードに大きな変化をもたらす理由と、通常業務もこなしながら対策にあたる担当者にとって、それが何を意味するのか。 不正利用対策が単なるブロックではない理由と、そう捉えるリーダーがAIによって対策チームは不要になると考える理由。 複数の調査の同時進行から、作成に数日かかるレポートを短時間のレビューで済ませられるようにすることまで、AIが不正分析担当者の対応力をどのように高めるのか。 不正対策チームでは、なぜメンバーが退職すると知識が失われるのか。そして、AIナレッジベースを活用して、彼らが培った知識をどのように引き継げるのか。 AIが「わかりません」と言わない理由と、チャットボットが検索エンジンとは異なる理由 なぜハルシネーションよりも誤った判断のほうが重大なのか、そしてなぜAIの出力を無条件に信頼してはいけないのか。 プロンプトではなく決定論的なコードが、非決定論的なAIをいかにして定められた範囲内にとどめるのか。スプレッドシートに関する注意点も含めて解説します。 AIエージェントの無秩序な増加から、アカウント乗っ取りの一貫した定義づけまで、導入後のAIガバナンスが難しい理由。 法務部門、裁判所、法執行機関から証拠を求められた際に、ブラックボックス型の意思決定では対応できない理由。 次のような方におすすめのエピソードです： 不正対策チームを率いている、またはその一員として働いていて、業務の一部にAIを活用するよう求められている方 経営陣が不正対策チームをAIに置き換えようとしているのではないかと懸念している方、またはその選択を検討しているリーダーの方 不正調査向けのAIエージェントを開発しており、どこにガードレールを設けるべきか知りたい方 法務部門、コンプライアンス部門、または経営陣にAIガバナンスについて説明する必要がある ガードレールをプロンプトではなくコードで実装すべき実践的な理由を知りたい ### エピソードノート AIが変えるのは詐欺の手口ではなく、そのスピードです Assafは、セキュリティ、トラスト＆セーフティ、不正対策の分野で13年の経験を積んできました。大手企業で学んだのは、規模への対応です。大手企業はあらゆる攻撃者にとって最初の実験台となるため、大規模な環境で何が機能し、ある変更が次の変更へと連鎖した結果、1年後に何が破綻するのかが見えてきます。リーダーが目の前の問題を、今測定できる問題だからという理由で解決しようとするときにも、同じパターンが見られるといいます。攻撃者側では、2019年から2020年ごろに産業化が始まったとAssafは述べています。AIがもたらすのは、主に規模の拡大です。攻撃者はツールをより速く開発して販売し、互いの手口を模倣できます。防御側にも同じように革新する自由はありますが、その間も日々の業務を続けなければなりません。AIが変えるのは不正のスピードであり、手口そのものではありません。 不正利用対策は、単にブロックすることではない Assafの主張は、私の記憶に残るものだった。不正利用への対策は、単にブロックすることではない。ブロックは簡単で、成果も数値化しやすい。チームが自分たちの仕事をブロックすることだと捉えると、経営陣も同じように見るようになる。経営陣にAIで何ができるかと尋ねると、真っ先に返ってくるのは単純作業の削減だ。ブロックすることが仕事なら、その仕事を減らそうとする。全部門に対し、業務の25％にAIを活用するか、人の稼働時間を削減するよう指示した企業からも、同じ話を聞く。そうした企業の中には、今やトークンの利用料金がかさみ、各チームに利用を控えるよう求めているところもある。Assafによれば、AIによる人員削減はCFOに最も売り込みやすい話だが、目指すべき方向は間違っている。AIは不正調査アナリストの対応力を高める。以前は作成に何日もかかっていたレポートが、今では短時間の確認だけで済む。それでも、それぞれ複数の調査を担当する6人のアナリストの仕事が尽きることはない。ブロックするには不正を見つける必要があり、見つけるには人が必要なのだ。 ゾンビ、知識、そしてそれを持つ人々 私は、不正対策に携わる多くの人に以前から話しているたとえを紹介しました。不正は、一度倒せば終わりのドラゴンではありません。むしろ、こちらが前回講じた防御策に適応し、さらに手ごわくなって戻ってくるゾンビのようなものです。アサフは、あらゆる失敗を自分の引き出しに加えています。個人ならそれでよくても、企業には、その学びを組織で共有する仕組みが必要です。彼は、ある部屋にいたとき、同僚が「そのユーザー名なら5年前に対応したことがある」と話すのを聞いた経験を語りました。こうした知識こそ、担当者が退職したり、AIに置き換えられたりすることで、不正対策チームから失われてしまうものです。継続的に更新されるAIナレッジベースなら、チームが学んだことを蓄積できます。私は、不正対策の責任者からよく聞く懸念も取り上げました。従業員は、自分の知識を共有すると、自分が代替可能な存在になってしまうのではないかと恐れているのです。アサフは、知識の抱え込みは今に始まった問題ではなく、組織文化の問題だと言います。企業が人材を採用する際に重視するのは、知識以上に判断力です。そして、次の攻撃を見抜くのは、その判断力なのです。 AIが「わかりません」と言わない理由 アサフは、人々がAIも人間と同じように考えると思い込んでいることに気づきました。人間は閉まったドアにぶつかれば、そこから学びます。ところがAIは、同じドアにまたぶつかるかもしれません。AIにとって文脈は、意味のつながりを持たない単なるデータだからです。私も、自分の経験から学んだことを付け加えました。AIは決して「わかりません」と言いません。以前、友人と一緒に、私たちがでっち上げた不正の手口についてAIツールに尋ねたところ、自信満々にその定義を説明してくれたのです。アサフは、チャットボットは検索エンジンではないと説明しました。彼は、ある話題について説明してほしいとは頼みません。調査して専門家の記事を探してほしいと頼むのです。すると、何も見つからないこともあります。私は情報源に不安を感じています。不正対策の専門家が持つ知識の多くは本人の頭の中にしかなく、公開されている情報の多くは、最後に売り込みで締めくくられるベンダーの投稿だからです。不正対策の責任者を解雇し、代わりにチャットボットに尋ねる企業は、検証できない回答を得ることになるでしょう。 ハルシネーションではなく判断の誤り、そしてコードが限界を決める理由 Assaf氏は、本当の問題はハルシネーションではないと言います。問題なのは、モデルが与えられた文脈に基づいて下す判断であり、約半分のケースで自分とは異なる結論に至ると指摘しています。AIの出力は非決定的です。確率に基づいているため、一貫性は保証できません。AIの出力は信頼できるのでしょうか。それだけでは信頼できません。彼が示す答えは、コードで制約を設けることです。イエスかノーかを求めるなら、コードに判断させ、そのコードをAIに書かせればよいのです。スプレッドシートについても警鐘を鳴らしています。大量のスプレッドシートをAIに渡すと、見えないところで判断が行われ、データが損なわれる可能性があります。まずはコードで解析し、ドキュメント化するべきだとしています。彼は、不正調査のためのガードレールを独自の実行基盤に組み込んでおり、AIが何かを削除しようとすれば、コードがそれを阻止します。だからこそ、彼はAIを脅威アクターのように扱っています。AIには制限が必要であり、それはスキルやプロンプトではなく、コードによって強制されなければなりません。彼の言葉を借りれば、チャットボットでビジネスを運営することはできないのです。 導入後のAIガバナンス Merchant Fraud Allianceで開催した私たちのAIブートキャンプに、AIガバナンスへの不安を抱えて参加したチームにどのような助言をするか、彼に尋ねました。彼の助言は変わりません。ガードレールとガイドラインをコードに組み込み、確実に適用することです。企業はAIを導入し、全員に利用クレジットを使うよう促し、誰もレビューしていないものを作ってしまいます。彼はこれを、ソフトウェアエンジニアにとって最悪の悪夢だと呼びます。ガバナンスには時間がかかります。モデルは、こちらの対策をすり抜けようとする敵のような存在だからです。壁を築けば、その下をくぐり抜けます。導入後にAIガバナンスに取り組み始めることは可能ですが、多大な労力が必要です。ある加盟店は、AIエージェントが乱立し、約27個のエージェントがそれぞれ異なる基準でアカウント乗っ取りを検知している状況を説明しました。どうすれば一貫した定義を設けられるのでしょうか。Assafはさらに、訴訟の証拠開示手続きで、その27個のうちどれが正しいのか問われる可能性があると指摘しました。法務部門や裁判所、法執行機関に証拠を示す必要があるとき、判断の過程がブラックボックスのままでは通用しません。 AIが失敗するたびに、その理由を問う 最後にアサフは、私も取り入れたいと思う助言をくれた。AIが失敗したときは、ただ「直して」と言って済ませてはいけない。なぜ起きたのかを問い、根本原因を分析することだ。私は、AIは私たちのように昨日の失敗から学ぶとは限らないと指摘した。アサフも、AIは痛みを感じないのだと同意した。教訓を導き出し、それをコードに落とし込むのは、人間でなければならない。 ### 重要なポイント 不正対策の責任者は、AIを導入する際も人間が関与する体制を維持すべきです。AIは不正の手口そのものよりも、不正が行われるスピードを大きく変えるためです。 不正利用対策は単にブロックすることではありません。自分たちの仕事をブロックすることだと捉えているチームは、経営陣にAIで代替できると思わせてしまいます。 AIがレポート作成などの煩雑な作業を担うことで、不正調査アナリストの業務能力が高まり、より多くの調査を実施できるようになります。 不正対策チームをAIに置き換えると、組織に蓄積された知識が失われます。継続的に更新されるAIナレッジベースでも、その知識を保持できるのは一部にとどまります。 企業が人を採用するのはその判断力を求めてのことであり、次の攻撃を見つけ出すのも、その判断力です。 AIは決して「わかりません」とは言いません。チャットボットの即答よりも、調査のためのプロンプト、専門家による情報源、検証可能な回答のほうが重要です。 ハルシネーションよりも誤った判断のほうが重大であり、AIの出力を無条件に信頼することはできません。 AIのガードレールは、プロンプトやスキルではなくコードに組み込むべきであり、イエスかノーかの判断は決定論的なコードで処理すべきです。 AIガバナンスは導入後にはるかに難しくなります。AIエージェントの無秩序な増加への対処に加え、アカウント乗っ取りなどの事象について、明確で統一された定義を設ける必要があります。 ブラックボックス化された意思決定は、法務部門や裁判所、法執行機関から証拠を求められた際に、その正当性を立証できません。 ### まとめ このエピソードから一つだけ学びを持ち帰るなら、AIのガードレールは方針を記した文書ではなく、設計上の選択だということです。プロンプトはモデルに適切な振る舞いを求めますが、コードはそれを強制します。何かがうまくいかないたびに「なぜ」と問いかけるアサフの習慣は、よい出発点になりますし、AI以外の分野でも広く役立ちます。早い段階で防壁を築き、モデルはその下をくぐり抜けようとするものだと想定し、次にどこへ防壁を築くべきかを判断できる人たちを大切にしてください。 エピソードの関連資料・リンク つながる：Assaf Kipnis | LinkedIn オーナー兼主任コンサルタント／アドバイザー：ASK Consulting つながる：Karisse Hendrick | LinkedIn Fraudology Podcastのホスト 受賞歴のあるサイバー詐欺対策の専門家 Eコマース不正防止コンサルタント スタートアップアドバイザー、基調講演者、 フォーチュン500企業の加盟店向けコンサルタント