第3回 AIシステムに対するセキュリティの脅威とは
今回は、視点を「AIを利用する側」から「AIを提供する側」に移し、AIシステムの開発や提供にあたってのセキュリティ上の脅威について解説します。
AIシステムの開発や提供にあたってのセキュリティ上の脅威について解説します。
前回（第2回）は、主に「AIを利用する側」の視点におけるセキュリティ上のリスクについて解説しました。
今回は、視点を「AIを利用する側」から「AIを提供する側」に移し、AIシステムの開発や提供にあたってのセキュリティ上の脅威について解説します。
AIシステムは、開発プロセスやシステムの挙動等の観点において、従来のシステムと大きく特性が異なります。本稿では、まず従来のシステムと比較したAIシステムの特性について解説し、この特性に起因したAIシステム特有の脅威について解説したうえで、それぞれの脅威の具体例を示します。
1.AIシステムの特性と特有の脅威
1-1.従来のシステム
従来のシステムは、要件定義や設計等でシステムの動作や振舞いを明確に定義し、そのとおりにシステムが振る舞うよう開発されます。システムへの入力データから、出力データを確実に予測可能であるため、すべての出力ケースにおいて結果の妥当性をテストすることができます。
【図表1：従来のシステムの特性】
出典：KPMG
1-2.AIシステム
AIシステムは、従来のシステムと比較し、（1）構築に大量の学習データが必要、（2）システムの動作は、仕様や設計によって確定的に決まるのではなく、学習データによって帰納的に決まる、（3）システムからのアウトプットが確定的に予測できない、という3つの主な特性を持ちます。
【図表2：AIのシステムの特性】
出典：KPMG
AIシステムのアウトプットは、訓練に使用した学習データの内容を基に生成されるため、AIシステムへのインプットとアウトプットを観測することで、AIシステム内部で使用されているモデルのパラメータや、学習データを推測できる可能性があります。また、AIシステムのアウトプットを事前に予測することは困難であり、また、AIシステムへのインプットに細工を施すことで、誤動作を生じる可能性もあります。
【図表3：AIシステム特有のリスク】
出典：KPMG
2.脅威の具体例
2-1.学習データの推測
「学習データの推測」とは、AIシステムに大量のデータを入力し、出力結果を分析することで、学習データが推測される脅威を指します。これを悪用されると、個人データの漏洩やプライバシーの侵害等につながる可能性があります。
【図表4：学習データの推測による想定被害】
出典：KPMG
2-2.モデルの推測
「モデルの推測」とは、AIシステムに大量のデータを入力し出力結果を分析することで、モデルで使用される各種パラメータが推測される脅威を指します。これを悪用されると、競合他社にモデルを複製され企業競争力が低下したり、攻撃者にモデルを複製され攻撃手法の開発に利用されたりする可能性があります。
【図表5：モデルの推測による想定被害】
出典：KPMG
2-3.意図的な誤動作
「意図的な誤動作」とは、AIシステムの学習データの汚染や、AIシステムに入力するインプットデータへの細工により、AIシステムを意図的に誤動作させる脅威を指します。これを悪用されると、自動運転車における衝突事故や医療ミス等、人の生命に甚大な影響を及ぼすリスクにつながる可能性があります。
【図表6：意図的な誤動作による想定被害】
出典：KPMG
3.まとめ
今回は、従来のシステムと比較したAIシステムならではのセキュリティリスクおよび具体的な被害シナリオについて解説しました。現在のAIシステムのセキュリティに関しては、対策の体系的な整理の途上にあり、実現性・再現性が低い理論上のセキュリティリスクと、危険性の高いセキュリティリスクが混在して議論されがちです。
そのため、自社が利活用するAIシステムにおいて、真に対策すべきセキュリティリスクを見極め、効率的かつ確実に対処していく必要があります。第4回では、本稿で言及した各セキュリティリスクにおける具体的な攻撃手法と、真に危険性の高いセキュリティリスクについて解説します。
執筆
KPMGコンサルティング
マネジャー 常盤 隼
