AI活用に求められるAIガバナンスとリスクマネジメントとは？

本稿は、国内外のAIのガバナンスに関連した動向について紹介するとともに、AI活用におけるガバナンスやリスクマネジメントのポイントについて解説します。

11 March 2019

ハイライト

AIガバナンス動向とポイント
AIリスクとコントロールのポイント

昨今、人工知能（AI）の技術進展に伴い、各企業・団体によりAI活用が検討・試行され、各種業務やサービスなど、ビジネスへのAI活用の事例が増えてきました。しかしながら、AIは従来のITシステムとは異なる点や、システム部門だけではなく現場部門が独自に導入するケースも増える中で新たなリスクも内在しており、これまでのITガバナンスやリスクマネジメントの枠組みでは対応が不十分である可能性があります。そのため、AIの活用が推進される一方で、AIに対するガバナンスやリスクマネジメントの必要性が議論されるようになっています。ビジネスにおけるAI活用は大きな利益をもたらす可能性を秘めており、ビジネスを成功させるためにAI特有のリスクへの対応は、AI活用時の重要なポイントとなりつつあります。
本稿は、国内外のAIのガバナンスに関連した動向について紹介するとともに、AI活用におけるガバナンスやリスクマネジメントのポイントについて解説します。
なお、本文中の意見に関する部分については、筆者の私見であることをあらかじめお断りいたします。

ポイント

各国及び国際的な枠組みにおいて、AIのガバナンスに関する議論が進んでおり、AI開発時や利活用時における原則やガイドラインが徐々に整備されつつある中、その対応準備が求められている。また、最新の動向を注視し、企業の導入状況に応じた原則や基準の適用判断も必要である。
企業がAIに対するガバナンスを構築する上では、特にAI技術の特性に大きく依存し、各国の議論対象として共通となっている「公平性」「倫理性」「説明責任」「透明性」について十分な検討を行う必要がある。
適用検討を行う場合は、AIで特有となるリスクも多いため、各種ガイドラインやAI Risk Control Matrix（AI RCM）などの網羅的なリスクマネジメントをサポートするフレームワークの利用が有効である。

I. AIガバナンス動向とポイント

1. 日本政府の動き

日本政府は「Society 5.0」において、「先端技術が社会に実装され、今までにない新たな価値を生み出し、多様な人々がそれぞれの多様な幸せを尊重し合い、実現でき、持続可能な人間中心の社会を目指す」としており、AIをその実現を支える重要な技術の1つと位置付けています。AIを有効に活用し、ネガティブな側面を回避・低減するための各議論が進められている中で、内閣府のAI社会原則検討会議が2018年12月に「人間中心のAI社会原則（案）」と題した文書を公表し、パブリックコメントを経て2019年3月に正式に公表する予定としています。その内容は「基本理念」「ビジョン」「人間中心のAI社会原則」「AI開発利用原則」で構成され、特に「AI社会原則」として社会（特に、国などの立法・行政機関）が留意すべき基本原則を提言しています。そのため、日本国内では本原則（案）に沿い、必要に応じた法整備や社会環境整備などが進む可能性があり、個別の企業・団体がAIガバナンスやリスクマネジメントを整備する上でも重要な検討事項になると考えられます。以下に2018年12月に公表された「人間中心のAI社会原則（案）」の概要を紹介します。

（1）基本理念

AIを人類の公共財として活用し、社会の在り方の質的変化や真のイノベーションを通じて、SDGs（Sustainable Development Goals）などで指摘される地球規模の持続可能性へ繋げることが重要であるとし、目指すべき社会として以下の3つを基本理念に掲げています。

人間の尊厳が尊重される社会（Dignity）
多様な背景を持つ人々が多様な幸せを追求できる社会（Diversity & Inclusion）
持続性ある社会（Sustainability）

（2）ビジョン（AI-Readyな社会）

AIを有効かつ安全に利用できる社会を構築すること、すなわち「AI-Readyな社会」への変革を推進する必要があるとしています。「人」「社会システム」「産業構造」「イノベーションシステム」「ガバナンス」の在り方について、どのような役割が期待されるか、どのような変化・対応が必要なのか、などの観点をビジョンとして提示しています。

（3）AI社会原則

前述した「AI-Readyな社会」を実現し、社会の中で適切で積極的なAIの利用を推進するために留意すべき基本原則を定めることが重要という考えの下、3つの基本理念を備えた社会を実現するために国や自治体をはじめとする社会全体で留意すべき「AI社会原則」として次の7つの原則を提言しています。

人間中心の原則
教育・リテラシーの原則
プライバシー確保の原則
セキュリティ確保の原則
公正競争確保の原則
公平性、説明責任及び透明性の原則
イノベーションの原則

（4）AI開発利用原則

開発者や事業者の間では、基本理念やAI社会原則を踏まえたAI開発利用原則を定め、遵守すべきと考えられており、政府は早急にオープンな議論を通じて国際的なコンセンサスを醸成し、ソフトローな枠組みとして共有されることが重要としています。内閣府に先んじて総務省により公表された「AI開発原則^※1」や「AI利活用原則^※2」や経済産業省から公表された「AI・データの利用に関する契約ガイドライン^※3」等もこのような枠組みの1つと考えられます。

2. その他の各国の動向

国際的な主導権を執るべく、各国でAIガバナンスに関する議論が活発に進められ、その内容が公表されています。代表的、特徴的なものとして、図表1に欧州、米国、シンガポールの取組みの一部を挙げます。また、ここで紹介していない国、団体等においても議論が進んでいます。各国、団体で地理的、文化的な違いからアプローチ方法や進展に多少の違いは見られますが、方向性は日本を含め概ね同じであり、各議論の対象テーマとして共通項が多く存在しています。特にブラックボックス化などのAI技術の特性に大きく依存する「公平性」「倫理性」「説明責任」「透明性」は、対象テーマとして大部分の議論に含まれ、AIガバナンスを考える上で重要な検討項目となっています。各議論が互いに内容を参照、共有しながら進められているため、現状では全体的にソフトローとしての枠組みとなっていますが、近い将来に国際的なコンセンサスが固まり、具体的な規制として登場する可能性があります。

図表1　各国における議論

欧州	名称	Ethical Framework for Good AI Society
	発行	AI4People 2018年11月対象：限定せず
	主な内容	AIの判断過程をわかりやすく説明する責任を企業に課す、判断にどのようなデータを使用したかの情報開示制度を整える、AIの仕組みや運用が倫理的かどうかを監査する機関を設ける、倫理的なAIの認証制度を設ける、等の内容を含む。AI活用にあたっての規制検討に積極的な点が特徴的となる。
米国	名称	アシロマAI原則
	発行	Future of Life Institute 2017年1月対象：限定せず
	主な内容	人間にとって有益なAIを実現するために、安全、透明性、責任、価値の実装、プライバシー、人間による制御等を含む23の原則を提示。国策としてAI活用を推進しつつ自律型兵器等の具体的なリスクに言及した議論を展開している点が特徴的となる（企業による自主規制も顕著）。
シンガポール	名称	FEAT原則（Fairness/Ethics/Accountability/Transparency）
	発行	MAS 2018年11月対象：金融機関
	主な内容	データの管理および使用に係る内部統制強化のため、AIDA（Artificial Intelligence and Data Analytics）による金融商品およびサービスを展開する企業に対して、責任ある使用に関する指針を提供。金融機関がAIDA使用にあたり、公平性、倫理性、説明責任、および透明性を促進するための一連の原則を含む。対象を限定し、金融機関に向けて発行された原則である点が特徴的となる。

3. AIガバナンス整備のポイント

前述したように、日本を含む主要国において現時点で具体的な規制を行っている国はありません。その状況で各企業のAIに対するガバナンス整備に際しては、以下の点が重要となります。

AIガバナンスについては検討段階であるため、常に各国の議論での最新状況を注視し、各企業の状況に照らして原則やガイドラインの適用を検討する。
AI技術の特性に大きく依存し、各国の共通の議論対象テーマになっている「公平性」「倫理性」「説明責任」「透明性」については重点的な検討を行う。

^※1AIネットワーク社会推進会議「報告書2017 -AIネットワーク化に関する国際的な議論の推進に向けて-」（2017.7.28）の中で公表
^※2AIネットワーク社会推進会議「報告書2018 -AIの利活用の促進及びAIネットワーク化の健全な進展に向けて-」（2018.7.17）の中で公表
^※3経済産業省「AI・データの利用に関する契約ガイドライン」（2018.6.15）

II. AIリスクとコントロールのポイント

1. AIのガバナンスとリスクマネジメントの重要性

AIの適切な利活用に向けてポリシー、組織体制、管理プロセス、基準、レポーティングなどのガバナンスを整え、その下で、係るリスクを管理していく必要があります。AIによる誤ったアウトプットが企業経営に与える影響を見極め、適切にコントロールしていかなければ、重大な判断ミスやインシデントに繋がる可能性があります。AIの戦略的活用とリスクマネジメントは今後の企業経営における両輪として認識すべきです。

2. AI Risk Control Matrix（AI RCM）

KPMGでは、AIの安全な開発利用に関するリスクとコントロールのフレームワークとしてAIに係るRCMを設計・定義しており、各国の議論を注視し、フレームワークの策定・更新を行っています。RCMではAIのリスクコントロールを図表2のように17の領域に分割し、それぞれの領域に対してのリスク（78項目）とAIの特異性レベル（Low～Highの3段階）を定義した上で、リスクに対応したコントロール（106項目）を整理しています。
AI RCMはAI活用に関するリスクを管理するための網羅的かつ総合的なアプローチとして、安全な開発利用とコンプライアンスへの指針の提供を可能にします。

図表2　RCMのリスクコントロール領域

3. AI特有のリスク

AI RCMでは、AIと一般的なITシステムを比べて、AIで特徴的なリスクとして30項目程度を挙げており、その中でも「公平性」「倫理性」「説明責任」「透明性」に関連の深い項目の一部を図表3に例示します。いずれの項目も、従来のITシステムではリスクとして検討されることが少ないものとなっています。このようにAI（例えばDeep Learningを用いたもの）の活用では、そのソリューション・技術としての特異性に起因して、従来のITシステムの状況とは異なる特有のリスクを抱えています。これが従来のITガバナンスやリスクマネジメントの枠組みのままでは、AIに対しての対応が不十分になる所以です。

図表3　AI特有のリスク（AI RCMから一部抜粋）

リスク	コントロール	原則
母集団が不完全または不正確なデータをAIソリューションが利用すると、誤った判断に繋がる。	AIモデルが正確な結果を生成するために十分なデータ（例えば人口に関して一定の期間、または十分なバリエーションをカバーする等）が提供されたことを合理的に保証するコントロールが存在する。	公平性
AIソリューションの判断結果が不正確または不適切となり誤った結果をもたらす（例えば、本来は必要なパラメータが判断結果に反映されないモデルを使用したり、AIソリューションのロジックや前提としている仮説が解決したい問題に適していない等の原因による）。	学習用データの偏り（バイアス）についてレビューを行い、テストによってそれを検証している。	公平性
	倫理的／政治的／民族的／人種／性別／文化的などのグループを扱う場合、その適切性や倫理・感情面を考慮するコントロールを整備している。	公平性倫理性
AIソリューションが利用するデータの質が悪い、あるいは不完全である場合、企業価値の遵守の観点から意思決定の質に影響を与える。	設計段階で、複数領域の専門家から成るチームが、AIソリューションまたはその判断が誤用・悪用される可能性のある方法について検討を行い、その防止策を講じる。	倫理性
AIソリューションは、特定の結果／決定／助言を導き出した方法を説明する機能がなく、人間の設計者でさえも完全に理解するには複雑すぎる。その結果、効果的なエンドツーエンドのコントロールの証明や、リスクの効果的な管理ができない可能性がある。	説明能力は、AIソリューションの要件に統合され、ソリューション全体の機能要件の1つとして含まれ、設計、構築、テストなどの他の制御領域にも適用される。説明能力として、AIソリューションに対して意思決定もしくは助言ができ、要求に応じて人間（領域専門家）がAIソリューションに異議を唱えられ、あるいは外部要件を満たすために生成データを確実に捕捉できるように実装されている。	説明責任
故意や過失による変更、またはAIソリューション自体による変更のいずれかにより、ソリューションの全体的な有効性が損なわれたことに気付かず、運用上、財務上の損失または風評上の損害に繋がる。	ビジネス目的と特定の機能要件に基づいたAIの学習性質を反映するさまざまなダイナミックかつ進化するテスト方法を使用し、ビジネスとITによるエンドツーエンドのAIソリューションに対する継続的なテストを整備している。	説明責任透明性
運用組織に引き渡された後に、ソリューションを効果的に運用し維持するために必要なIT知識が不十分な場合、効果のないAIソリューションとなるか、もしくは時間経過とともにAIソリューションに効果が出なくなる。さらに重大なインシデントが発生した際の意思決定が遅れる。	プロセス、テクノロジー、データ要件を含むソリューションとIT管理プロセスは、各AIソリューションのエンドツーエンドプロセスについて十分に文書化され、維持されている。	説明責任透明性
	変更の自動ロギングとレポート（例えば、決定ロジック変更の監査証跡など）により、ドキュメントを最新の状態に更新している。	説明責任透明性

前述の通りAIガバナンスの議論は進行中であり、国際的なコンセンサスが醸成していない状況でも、AIを活用する企業ではAIに係るリスクマネジメントは必要です。それらを高度化するためにもAIの特異性を理解し、特有のリスクを十分に検討する必要があります。

4. 今後予想される展開

企業においてAIが活用される範囲や重要性が加速度的に増大していく中、顧客や取引先に対して、ガバナンスの整備やリスクマネジメントの状況について、対外的に公表していく努力が求められます。今後何らかの認証制度や第三者が保証するような取組みへ発展する可能性もあるため、規制としての位置付けにも注意が必要です。

5. AIリスクマネジメントのポイント

AIのガバナンスやリスクについては、国際的な議論が進行中でもあり、基準や規制が明確ではない中で、そのリスクマネジメントは手探り状態となっている企業が少なくないと考えられます。ただし、先進的な企業においては、独自の対応方針を公表したり、ITベンダーから説明可能なAIや学習データの偏り（バイアス）を可視化し改善するようなツール等も登場し始めています。
AIはビジネスに本格的に活用されはじめて間もなく、発展中のソリューションであるため、そのリスクマネジメントのノウハウを有している企業は限られます。しかしながら、AIはビジネスに大きな利益や変革をもたらす可能性があり、今後ビジネスを成功させるためにAIのリスクマネジメントの重要性は拡大していくと予想されます。そのような状況でリスクマネジメントを実施していくためには次の点が重要になります。