業務やソフトウェア、製品の改善のために、機械学習（ML）や人工知能（AI）の活用が進んでいますが、AIやMLが安全かどうかはご存知でしょうか？
多くの場合、AIやMLは、長年にわたり続いてきた数々の問題の解決に役立ちます。もしあなたがデータサイエンティストなら、日々新製品が市場に出回り、プロジェクトの要件を満たすための選択肢が無限に広がる「黄金時代」のように感じられるでしょう。
新製品群には、新しいワークスペース・オプション、ツールキット、データ・オプション、クラウド・サービスなどが含まれ、AIの実装をより迅速かつ容易にします。一方、AIプロジェクトが普及するにつれ、データサイエンティストやサイバーの専門家は「私のAIは安全か」と疑問を持ち始めるようになりました。この疑問は簡単なようにも思えますが、一般的にデータサイエンスは謎に包まれています。
人工知能システムは、視覚認識、音声認識、論理推論、学習など、通常は人間の知性を必要とするタスクを実行します。機械学習は、アルゴリズムを使用し、明示的な指示に従わずに学習し適応できるコンピューターシステムを作り出し、昨今の組織におけるいくつかの学習システムの基礎になっています。
本稿では、多くのAIソリューションが「教師なし」ではなく「教師あり」であるにもかかわらず、これらの用語を互換的に使用して、解説します。
AI活用におけるセキュリティへの理解不足が明らかに
多くのデータサイエンティストと話すなかで、AI活用時にセキュリティへの影響が十分に理解されていないことが明らかになりました。たとえ優秀なデータサイエンティストでも、重要な問題に対する決定を下す「AIパイプライン」を人間の監視なしにまとめることが、どういったサイバー上の影響をもたらすのか、よくわかっていないことが多いようです。特に複数のプラットフォーム、ツールキット、データソースを使用し、かつ、チームメンバーが多くなると、リスクが拡大します。
また、サイバー専門家は一般的にデータサイエンスの領域を「ブラックボックス」とみており、これらの学習システムの安全確保という課題を十分に理解していないようです。多くの場合、AIは完全に謎の存在です。データサイエンスとサイバーの両チームは、お互いに相乗効果をもたらすコラボレーションが不十分であるにもかかわらず、リスクはもう一方のチームによって「カバー」されていると考えているケースが散見されます。
次章で、AIに関する一般的な課題とリスクを明らかにし、具体的な脅威のいくつかをさらに掘り下げ、さらなるガイダンスを提供していきます。
AIパイプラインへの脅威
データサイエンスとサイバーの溝を埋める方法について考えるとき、AIプロジェクトを開発する際に考慮すべきAIパイプラインへの脅威を確認することが重要です。MITREは、データサイエンティストとサイバー専門家のための参考資料として、重要な敵対的AIの脅威を文書化したATLASをまとめました。敵対的なAI脅威は、AIパイプラインを意図的に操作して不正確な結果を出します。ATLASは、より包括的なサイバーフレームワークを提供するMITRE ATT@CKフレームワークの一部で、近々発表されるNIST AIリスク管理フレームワークとEU AI Actのドラフトが発表されています（執筆当時）。これらは、敵対的なリスクとその他のAI関連リスクの両方に対処しようとするものです。いくつかの重大な脅威は、これらのガイドラインやその他のガイドラインから生まれるようです。以下にその例を紹介します。
データポイズニング
データポイズニングは、これらの重大な脅威の1つとして考慮すべきものです。データポイズニングとは、敵対者（攻撃者）が学習データを変更してパイプラインの結果を変更すること、モデルの動作を妨害することで、これはプロジェクトの結果に極めて大きな影響を与える可能性があります。
モデル盗用やモデル抽出
モデル盗用やモデル抽出は、敵対者がモデルそのものを盗もうと、クエリーを繰り返してモデルの挙動を観察することで起こる脅威です。新しいビジネスモデルや製品がこういった高価なモデルへの依存を強めるにつれ、モデル盗用は組織の競争力に大きなダメージを与える可能性を秘めています。
モデル回避
モデル回避は、検知システムを回避しようとする敵対者によるAIシステムに対する脅威で、これらは、スパムフィルタリングやマルウェア検出のようなシステムである可能性があります。ポイズニング攻撃と似ていますが、一般的に、これらの攻撃は推論（または予測／ポストトレーニング）段階でモデルに誤った分類をさせようとします。特定のシステムやパイプラインに関する知識があれば、こういった攻撃はより効果的になります。
モデルの反転またはデータ抽出攻撃
モデルの反転またはデータ抽出攻撃は、モデルの学習に使用された特徴を回復することを目的としています。これらの攻撃は、攻撃者がメンバーシップの推論を開始できるようになり、その結果、個人情報が漏洩する可能性があります。推論攻撃は、機械学習モデルの情報の流れを逆転させ、モデルによって明示的に共有されることを意図していない情報を提供することを目的としています。
これらの技術は、AI技術が主流になるにつれ、敵対者がより深く理解するようになりました。一方のデータサイエンスチームやサイバーチームは、認識、パイプラインの可視化、脅威の検知、緩和、対応を向上させる仕組みを構築していません。これは、より簡単に実現できるその他のセキュリティ脅威への対応を優先してきたためです。
しかし、AIへの投資が増え続け、組織のイノベーションアプローチの中心になると、攻撃が多くなる可能性があります。今こそ、こうした攻撃や、間近に迫った規制に備えるべき時です。これらのリスクを管理するためには、AIチームとサイバーチーム間のコラボレーションの改善、これらのリスクに対するより広範な認識、可視化と保護のためのツールの改善、組織がAIイノベーションの波を先取りできるような投資が必要となります。
KPMGは、AIセキュリティフレームワークの開発を支援するため、AIセキュリティのためのサイバーセンターオブエクセレンス（COE）を立ち上げたほか、組織がAIサイバー脅威に備えられるよう、支援するサービスを提供しています。
※本文中に記載されている会社名・製品名は各社の登録商標または商標です。
本稿は、KPMGインターナショナルが2022年に発表した「Is my AI secure?」を翻訳したものです。翻訳と英語原文に齟齬がある場合には、英語原文が優先するものとします。
全文はこちらから（英文）
Is my AI secure?
