第1回 AIにおけるセキュリティとは
2022年にChatGPTが登場して以降、生成AI（Generative AI）は文書作成や画像生成、音声合成など、多岐にわたる分野で急速に普及しています。 その利便性や創造性が新たな可能性を切り拓く一方で、セキュリティリスクという新たな課題も浮き彫りになっています。
2022年にChatGPTが登場して以降、生成AI（Generative AI）は文書作成や画像生成、音声合成など、多岐にわたる分野で急速に普及しています。
2022年にChatGPTが登場して以降、生成AI（Generative AI）は文書作成や画像生成、音声合成など、多岐にわたる分野で急速に普及しています。
その利便性や創造性が新たな可能性を切り拓く一方で、セキュリティリスクという新たな課題も浮き彫りになっています。生成AIは、サイバー攻撃の手法として悪用される可能性や、偽情報の拡散、著作権の侵害など、従来の技術にはなかった脅威を抱えています。本連載では、AIの発展とそれに伴うセキュリティ上の課題について詳しく掘り下げ、その対策の方向性について解説します。
目次
1. AIの発展
2. AIのリスクと各国の規制
3. AIとセキュリティ
1.生成AIの発展
生成AIは、この数年で驚異的な進化を遂げてきました。その原動力となったのは、ニューラルネットワークの進化です。特に、Transformerアーキテクチャの登場は、自然言語処理や画像生成において革命的な変化をもたらしました。この技術を基盤としたGPTシリーズなどのモデルは、テキスト生成や翻訳、要約といった言語タスクで従来のAIを凌駕する成果を上げています。
さらに、生成AIの応用範囲は急速に拡大しています。例えば、OpenAI社が開発したDALL-EやStable Diffusionといった画像生成モデルは、ユーザが入力したテキストから高品質な画像を作り出すことを可能にし、また、音声生成の分野では、リアルタイムで自然な音声を合成する技術が進化し、エンターテインメント産業など、幅広い業種での活用が進んでいます。
【図表1：業種ごとの生成AIの活用】
2.AIのリスクと各国の規制
生成AIがさまざまな領域で活用される一方で、これらの技術革新は新たな課題をもたらしています。
生成AIが生み出すコンテンツの品質が向上する一方で、それがフェイクニュースやディープフェイクといった形で悪用されるリスク、生成AIが人間社会が持つバイアスやステレオタイプを増幅し、差別などの倫理的に問題のある応答を行うリスク、モデルの学習に用いられるコンテンツの著作権を侵害するリスク、一部のテック企業によるAI独占のリスク、AIの利用に伴う大量の電力消費による環境負荷リスクなど、多岐にわたるリスクが挙げられています。
【図表2：生成AIのリスク】
| 技術的リスク | |
|---|---|
| 誤判定 | AIシステムが誤った結果を出力したり、判断をしたりするリスク |
| 虚偽・ハルシネーション | AIシステムが事実と異なる、もっともらしい嘘を生成するリスク |
| バイアス・ステレオタイプ | 現在の社会に存在しているバイアスやステレオタイプをAIシステムが増幅するリスク |
| 安全性 | AIシステムが制御する機械（自動運転車など）の誤動作により、人命に影響を与えるリスク |
| セキュリティ （本連載の対象） |
AIシステムの脆弱性に起因するリスクや、攻撃者がAIを悪用するリスク |
| 社会的リスク |
|
| 民主主義への影響 |
AIが偽情報を拡散して、民主主義の信頼性を損なうリスク |
| 経済への影響 |
一部のテック企業によるAI市場の独占リスク |
| プライバシーへの影響 | AIシステムが個人データを大量に収集・分析し、プライバシーを侵害するリスク |
| 財産権への影響 | AIシステムにより、著作権などが侵害されるリスク |
| 雇用への影響 | AIの進歩による雇用喪失のリスク |
| 環境への影響 | AIの利用により大量の電力等が利用され、環境負荷が高まるリスク |
こうしたさまざまなAIのリスクに対して、各国や国際機関は、法規制を強化する「ハードロー」と、ガイドラインなどの罰則のない緩やかなルールで技術や産業の育成を重視する「ソフトロー」の組み合わせを模索しながら対応を進めている状況にあります。
例えばEUでは、AIを包括的に規制するハードローである「AI Act」を2024年5月に採択しています。日本においてはソフトローである「AI事業者ガイドライン」が2024年4月に経済産業省／総務省から公開され、ハードローとしては、2025年2月に、不正目的のAI開発や利用を規制するAI法案が国会に提出される見込みになっています。
【図表3：AIリスクに対する規制動向】
このように、AIの開発や利用に関する規制は、産業育成への影響も踏まえながら、今後、より具体な整備が進んでいくことになると考えられます。
また一方、こうしたAIの利活用に関する包括的なリスク対応だけでなく、生成AIのシステムとしての側面でのセキュリティリスクも、さまざまな業種で生成AIが活用されていくなかで顕在化しており、従来の組織のセキュリティに加え、生成AIシステムもカバーする対策の検討が必要になっています。
ここから先は、生成AIのシステムとしての側面から、セキュリティについて見ていきたいと思います。
3.生成AIとセキュリティ
生成AIのシステムにはどのような脆弱性が存在するのでしょうか。
生成AIの基盤ともいえる、大規模言語モデル（LLM）を利用して構築されたAIシステムに対しては、既にさまざまな攻撃が認識されています。
下図は、OWASP（Open Worldwide Application Security Project）から公開されている、LLMのアプリケーションに特化した10種類のセキュリティリスクがまとめられた「OWASP Top 10 for Large Language Model Applications」の全体像です。
【図表4：AIシステムに対する主な攻撃手法】
| リスク | 内容 |
|---|---|
| プロンプトインジェクション | 巧妙な入力によって大規模な言語モデル（LLM）を操作し、LLMの意図しない動作を引き起こす攻撃。 |
| 安全が確認されていない出力ハンドリング | LLMの出力を細かくチェックせずにバックエンドシステムに送る際にバックエンドの脆弱性を突き、意図しない結果を引き起こす攻撃。 |
| 訓練データの汚染 | セキュリティ、有効性、倫理的行動を損なう脆弱性やバイアスなどを潜り込ませるために、LLMの訓練データを改ざんする攻撃 |
| モデルのDoS | LLMが計算リソースを大量に消費するように仕向け、LLMを使ったサービスの停止や高コストを狙った攻撃。 |
| サプライチェーンの脆弱性 | LLMアプリケーションが使用するコンポーネントやサービスの脆弱性によって引き起こされる攻撃。 |
| 機微情報の漏えい | LLMは、その応答の中に意図せず機密データを含めてしまう可能性があり、不正なデータアクセス、プライバシー侵害、セキュリティ侵害につながる可能性がある。 |
| 安全が確認されていないプラグイン設計 | LLMプラグインにおいて、入力の安全性が確認されていない、あるいはアクセスコントロールが不十分なケースで、リモート・コードの実行などの結果をもたらす可能性がある。 |
| 過剰な代理行為 | LLMベースのシステムに与えられた過剰な機能、権限、または自律性に起因し、意図しない結果を招く可能性がある。 |
| 過度の信頼 | LLMに過度に依存したシステムやユーザは、LLMが生成したコンテンツが不正確または不適切なものであることに気づかず、誤った情報、誤ったコミュニケーション、法的問題、セキュリティの脆弱性に直面する可能性がある。 |
| モデルの盗難 | 独自のLLMモデルへの不正アクセス、モデルのコピー、あるいは流出させる攻撃。 |
これらの攻撃を受けることにより、AIシステムの意図しない動作による事故や、モデルそのものや機微データを含む学習データの漏えい、倫理的に問題のある応答の生成、攻撃者による悪用など、さまざまな被害が想定されます。
AIシステムに対しては、従来のITシステムにおけるセキュリティ対策とは異なる観点での対策が必要となり、また、AIの進展に伴ってこれらのリスクは急速に変化していることにも注意が必要です。
また、これらのリスクに対応すべき組織には、元となるAIのモデルを開発している組織だけでなく、ファインチューニング（元のモデルを特定の用途に適応させるための再学習プロセス）により追加学習を実施して外部に公開しているような組織や、これらを組み込んだシステムを提供している組織も含まれます。
AI事業者ガイドラインには、「AI開発者」「AI提供者」「AI利用者」の3つのエンティティごとに、必要となる対策が記載されていますが、自身がどのエンティティに該当するのか、また、そこで必要となる対策は何なのかを正しく理解し、AIのリスクを受容可能な水準に抑えつつ便益を最大化することが重要になります。
【図表5：AI事業者ガイドラインにおけるエンティティと役割】
本連載の第2回以降では、これらのリスクをより正確に理解するために、AIシステムに対する具体的な攻撃手法とその対策について解説していきます。
執筆
KPMGコンサルティング
パートナー 稲村 大介
