新たな医療倫理としてのAI倫理 ～「エシックス」形成のための「対話」の重要性～

前回の記事「新たな医療倫理としての「AI倫理」」では、ヘルスケア領域におけるAIの利活用に伴う倫理的リスクについて概観するとともに、このようなリスクに対応するためには、AIの開発者、医療従事者等ヘルスケアサービスプロバイダー、患者等ユーザーを含めたステークホルダーが、倫理的基盤として拠ることのできる「エシックス」（＝AI倫理のうち、まだハードロー／ソフトロー等によって明文化された法規制が整備されていない領域における、社会的合意に基づく倫理）を形成し、技術の進展に合わせて変容させていくことが肝要であること、そのために重要なプロセスがステークホルダーによる「対話」であることについて取り上げました。
今回は、エシックス形成のための「対話」の詳細、対話の柱となる倫理的リスク、さらに、各ステークホルダーが対話において担うべき役割について考察します。

出所：KPMGジャパン作成

我々が考えるエシックス形成のための「対話」とは、ステークホルダー間において、AI利用に係る倫理的な側面に焦点を当てた議論が適切に行われ、AI利用に関する社会的合意が適切に形成されるためのプロセスを指します。双方向性を前提とするコミュニケーションには、「対話」のほかにも「議論」「討論」「会話」「意見交換」などがあります。「対話」に固有の特徴としては、非対立的で勝敗を決する必要はなく、相互理解や関係構築、合意形成などを目的として行われ、そのため論理以外の価値観共有が重視されることが挙げられます。AIの利活用においては、関係者のうちの一部が一方的に利益を得ることのないよう、関係者間での相互理解、合意形成が肝要であることから、「対話」という双方向コミュニケーションが求められることになります。
対話を通じ適切にエシックスが形成されるために特に重要なことは次の2点です。1点目は、AIを活用したサービスに関するすべての段階でステークホルダーが合意形成の場に組み入れられていることです。2点目は、サービスの開発段階のみならず、開発後の流通・運用のプロセスにおいても対話が継続され、実際の利用を通じて得られた医療従事者等ヘルスケアサービスプロバイダー、患者等ユーザーの声が適切に反映されることです。
こうした包摂的かつ継続的な対話の機会の確保により、リスクを事前に軽減するとともに、AI利活用の在り方を見直す仕組みを担保することが可能になります。
加えて、対話は、より質の高い「患者中心の医療」の実現にも寄与します。AIは、倫理的観点を適切に踏まえて開発・運用することにより、患者中心の医療において重要な、患者の尊重、協力的なケア、情報の共有、感情的・心理的サポートの実現に貢献し得るものです。バリューチェーンの各段階で患者等ユーザーの声を取り入れる仕組みを担保することは、患者中心の医療の増進につながるAI活用型サービスの実現を可能とします。
さらに、こうした対話プロセスを通じてエシックスが形成される過程で、患者等ユーザーの納得感・安心感、さらにはAIを開発・運用する事業者、医療従事者等ヘルスケアサービスプロバイダー、患者等ユーザーの間での信頼が醸成されることは、長期的にみて相互に良い影響をもたらすことでしょう。

ここでAI活用型サービスのバリューチェーンに焦点を当てようと思います。対話の柱となる倫理的リスクをバリューチェーンに沿って整理することが如何に重要か、また実際に対話による合意形成が重要となるタイミングはどのようなものかを検討します。
ヘルスケア領域におけるAI利活用による倫理的リスクとして、患者の健康に直接影響を及ぼす可能性があること、また、中でも「患者中心の医療」への影響が懸念されることの2点は特に重要です。想定される多様な倫理的リスクのなかでも、この2点は、サービスの開発者、提供者、利用者、そして行政を中心とするすべてのステークホルダーによる十分な対話による合意形成が求められます。

詳細は後述しますが、このように特に丁寧な対話による合意が必要である倫理的リスクは、バリューチェーンのなかでも、構想・設計フェーズ、R&Dフェーズ、運用フェーズ、そしてすべてのリスクに対するフィードバックを行うフォローアップ・モニタリングのフェーズにおいて生じる可能性が高く、これらのフェーズは対話を設定すべきタイミングとして最も重要といえます。この点を踏まえたうえで、バリューチェーンに沿ってリスクを整理します。

出所：KPMGジャパン作成

構想・設計のフェーズは、製品やサービスの方向性を決定付ける重要な段階です。製品開発の際に前提とする課題やその解決の在り方が、倫理的リスクの原因とならないよう、十分な検討が必要になります。このため、利用者を中心としたステークホルダーの視点が十分に組み込まれるよう、また、患者中心の医療が損なわれないよう、丁寧な対話の基に開発事業者が積極的に合意形成を図ることが求められます。具体的には、以下のようなリスクが挙げられます。

• 製品設計において設定する課題と社会的ニーズとの乖離
  製品設計時点で患者等の利用者に対する無意識のバイアスが組み込まれないよう、構想段階から留意する必要があります。ステークホルダーとの対話によって、社会的ニーズとの整合性の検証、構想に対する多様な視点を取り入れた倫理的レビュー、公平性・包摂性を意識した設計方針の策定等を行うことが重要です。
• 提供者（医療従事者等ヘルスケアサービスプロバイダー）と患者等ユーザー間のコミュニケーションの不適切な省力化
  AIの導入がコミュニケーションの不適切な省力化を引き起こすリスクは、患者中心の医療の観点からは特に重要であるため、構想の段階から慎重な検討が必要と考えます。患者中心の医療を実現するうえでは、患者等の価値観をステークホルダー全員が考慮すること、患者等による治療計画等への参加を担保すること、情報をステークホルダー間で十分に共有し理解を得ること、患者等のメンタル面も含めてサポートすることが重要な要素となります。これらすべての柱となるのが、医療従事者等ヘルスケアサービスプロバイダーと患者等ユーザーとのコミュニケーションです。AI利活用によりコミュニケーションの省力化が不適切な形で行われる場合、患者中心の医療が大きく損なわれ、患者等の満足度など主観的な要素のみならず、具体的な治療効果など客観的な要素の両面で悪影響が生じる恐れがあります。あくまでも、AI利活用により両者のコミュニケーションが実質的に損なわれないよう、また、患者等ユーザーの声やニーズが実際のケアに十分に反映されるよう、構想・製品設計の段階から留意される必要があります。

R&Dフェーズは、AI技術の具体的な機能や性能が形成され、後の運用や社会実装に大きな影響を及ぼす段階です。このフェーズにおいては、学習データやアルゴリズムの質が倫理的リスクを生じさせないよう、十分な検証が必要です。そのためには、多様なステークホルダーによる倫理的・社会的な観点からのリスク評価と合意形成が図られることが不可欠です。具体的には、以下のようなリスクが挙げられます。

• 不正確な結果出力等によるケアへの悪影響
  AIの予測や診断結果が不正確である場合、不適切な治療等につながる可能性があります。例えば、医師が患者1人ひとりに対して個別に判断を下す場合とは異なり、AIの判断の正確性は使用されるデータの質やアルゴリズムの設計に依存するため、こうした誤判断が系統的に、多くの患者に対し適用されるおそれがあります。開発時からの徹底した検証が必要です。
• データバイアスによって導かれる特定の利用者層への不公平な取り扱い・健康格差
  サービス開発に使用されるデータバイアスにより、特定のグループに不公平な取り扱いが生じる可能性があります。これは、AIが過去のデータに基づいて学習する際、そのデータに含まれる偏りがAIの判断に反映されることが原因です。例えば、主に人種や性別、年齢などでマジョリティ層の学習データを基盤としたAIモデルは、その他の属性・社会経済的背景を持つ人々に対して適切な解析・判断等を行うことができない可能性があります。このようなデータバイアスは特定のグループに対する医療サービスの質を低下させるとともに、社会集団内での健康格差を拡大する要因となり得ます。
• アルゴリズムのブラックボックス化による判断根拠の曖昧化
  AIのアルゴリズムのブラックボックス化によって判断根拠が曖昧である場合、患者等の提供者（医療従事者等ヘルスケアサービスプロバイダー）に対する不安や不信につながる可能性があります。提供者や患者等ユーザーが理解可能な形で判断根拠が提示されるような仕組みを設けることが望まれます。

AIを活用した治験においては、治験参加者の理解と同意（インフォームド・コンセント）の手続きが、従来に比べて一層複雑化する可能性があります。そのため、AIの果たす役割や判断の仕組みについて、治験参加者に対して明確かつ平易に説明したうえで、適切な同意取得のプロセスを整備することが求められます。

AIを活用した医療機器に関する認証制度は、依然として制度的整備の途上にあり、国際的な基準との整合性や、認証後の性能維持・評価に関する枠組みは十分に確立されているとはいえません。こうした状況を踏まえ、国内外の規制動向を継続的に把握しつつ、認証取得後も定期的な性能評価を実施することが重要です。さらに、将来的な制度改正や新たな規制要件に柔軟に対応できる体制の整備が求められます。

AIの性能に関する過度な表現を含む広告は、提供者や利用者に対して、誤解や過信を招くおそれがあります。そのため、広告においては誇張を避け、客観的かつ事実に基づいた情報提供を徹底することが重要です。あわせて、AIの限界やリスクに関する適切な説明を行い、関係者の理解を促進する体制の整備が求められます。

AI製品を活用したサービスの提供者である医療従事者等ヘルスケアサービスプロバイダーが、必ずしも当該技術に関する専門的知識を有しているとは限りません。誤使用による健康被害を未然に防止するためには、販売・流通段階における支援体制の整備が不可欠です。具体的には、利用者のリテラシーに応じた操作マニュアルの整備、適切なトレーニングプログラムの提供、さらには問い合わせ対応やトラブル発生時の支援体制の構築が求められます。

AIが医療現場に実装され、実際のケアに活用される運用フェーズでは、技術の使い方が患者等の体験や治療成果に直接影響を及ぼします。ヘルスケアサービスプロバイダーによって適切にサービスを活用する体制が整っていないことが、このフェーズでのリスクの原因となります。そのため、AIの活用方法に関するステークホルダー間の対話が極めて重要です。医療従事者等ヘルスケアプロバイダー、患者等ユーザー、AI開発者、提供機関などがそれぞれの立場から懸念や期待を共有し、AIの役割や限界、責任の所在、患者中心の医療との整合性などについて継続的に議論・合意形成を行うことが、AIの適切な運用と社会的受容の鍵となります。以下に、対話において議論されるべきリスクを整理します。

• AIが介在することによるケアの判断プロセスや責任の所在の不透明化
  「患者中心の医療」においては、AIを用いた判断のプロセスや、判断の責任の所在が不透明な場合に、ヘルスケアサービスプロバイダーへの信頼が損なわれる可能性があります。例えば、診断や治療の提案において、AIがどのように関わりその判断が導き出されたのかが患者等ユーザーにとって不透明である場合、医療従事者等ヘルスケアサービスプロバイダーに対する不安感につながり得ます。また、AIの判断が誤っていた場合、その責任の所在があらかじめ明確にされていなければ、患者等ユーザーの不信感が生じるのみならず、不利益がもたらされる可能性があります。
• AIの判断結果の過信による不適当な判断
  AIの判断結果は、高い精度や客観性が期待される一方で、その提案内容にバイアスや誤りが含まれる可能性も否定できません。ケアにおいて、AIによる情報はあくまでも補助的に用いられ、最終的な医学的な判断は提供者（医療従事者等ヘルスケアサービスプロバイダー）自身によって行われることが重要です。加えて、AIの示す判断結果が過度に重視された場合、患者の個別の背景・事情、また自己決定権が十分に考慮されない可能性が挙げられます。患者中心の医療の観点から、データ上最適とされる治療であっても、丁寧なコミュニケーションを通じ、患者等の背景や価値観が、治療方針等及び合意形成に適切に反映される必要があります。
• ヘルスケアプロバイダー-患者等ユーザー間のAIによるコミュニケーションの不適切な省力化
  構想・設計フェーズにおいても、リスクとして挙げた「AIによるコミュニケーションの不適切な省力化」は、運用段階においても留意される必要があります。製品自体に問題がなくとも、サービス提供者の利用のあり方によっては同様の問題を引き起こす可能性があります。例えば方針説明等の丁寧なコミュニケーションが重要である場面において、医師との対話の機会がAI活用のみによって省力化されてしまうと、十分な理解を得られないままに医療提供が進み、患者等ユーザーの不安・不信を生じさせる可能性があります。このため、AIツールは補助的な手段として活用され、患者等との対話や、個々の理解度や感情に寄り添った対応が十分に行われることが重要です。

AIは導入後も継続的に学習・更新されるため、新たなバイアスや不具合が生じる可能性があります。また、開発・導入当初は問題としては認識されなかった点が、社会的背景の変遷等とともにバイアスとして認知される可能性があります。この点を踏まえ、常に利用者・提供者からのフィードバックを反映し、透明性のあるアップデート体制を整備することが求められます。対話を通じたステークホルダーからの継続的な意見収集と分析、継続的な倫理評価と改善プロセスの導入、アップデート内容の公開と説明責任の履行等が求められます。

前章では、AI活用型のヘルスケアサービスについて、バリューチェーンの各フェーズにおいて生じ得るリスクと、対話による合意形成が特に重要となるタイミングについて整理しました。本章では、各ステークホルダーがリスク回避のために講じるべき対策と対話において求められる役割について検討します。

（1）AI開発事業者：開発責任者としてのバリューチェーン全体を通じたリスクへの配慮と継続的な対話の場の設定
開発事業者は、技術提供者としてのみではなく、開発製品の実装後の社会への影響に対して、主体的に責任を担うことが求められます。バリューチェーン全体を通じ、前章で詳述したリスクに配慮するのはもちろんのこと、継続的に対話の場を設定し、丁寧なリスク評価及び関係者との合意形成を行うことが不可欠です。また、こうした対話のもと、社会的信頼を築いていく姿勢が重要です。

（2）サービス提供者（医療者等ヘルスケアプロバイダー）：運用主体としての適切なAI活用のための体制整備及び対話を通じた実務者としてのフィードバック
サービス提供者には、運用主体としての責任を担うことが求められます。この責任には、AIの利用プロセスや責任の主体の明確化等への配慮を行うこと、また、患者中心の医療の理念が損なわれないよう、患者個人の価値観や背景事情への配慮、患者等による意思決定の尊重のもとにAIを活用すること等が含まれます。
具体的なアクションとしては、AIの導入時の事前検討の実施、導入後のモニタリング体制の構築、患者等からの意見収集の仕組みの整備などを通じて、継続的な改善を促進する体制を整備するとともに、適切なAI活用のための教育・研修の機会を設けることが望まれます。
また、サービス提供者は、ステークホルダー間での対話を通じ、AI製品の運用において得られた知見や現場での課題を、運用主体として、開発事業者に対して積極的にフィードバックする役割を担います。

（3）利用者（患者等ユーザー）：対話によるフィードバックとリテラシーの向上
利用者は、開発事業者や提供者が実施するリスクの回避策をより効果的にするため、サービスの受容者としてのみではなく、エシックス形成の主体として、積極的に対話の機会に参加することが重要なアクションになります。上記で整理したバリューチェーンの各段階における利用者へのリスクを理解し、対話の場で意見の表明やフィードバックを行うことで、より良いAI活用の在り方に貢献することができます。
また、AIを利用した製品の事前理解やリテラシー等の向上に努めることがさらなるリスク軽減のため重要となるでしょう。

（4）行政：制度的基盤の整備によるリスクの軽減と対話の場の確保
行政は、個別の製品開発の対話におけるステークホルダーには該当しませんが、制度的な枠組みを整備する立場から、適切に対話の機会を設ける仕組みを導入することがアクションとして求められます。AI技術の導入が社会全体に与える影響を俯瞰し、AIの利用が特定の集団に不利益をもたらすことのないよう、基盤を整備することが重要です。法制度やガイドラインといった枠組みの整備と技術の進展のスピードに差がある中で、各ステークホルダーによる対話の場を確保し、エシックスの形成を促すことは、技術革新と倫理的配慮の両立を図ることの一助となります。

出所：KPMGジャパン作成

これまで検討したとおり、AIのヘルスケア領域への導入は、医療の質と効率を向上させる可能性を秘めていますが、同時に様々な倫理的リスクも伴います。技術の発展の速さや法制度の進展スピードを踏まえると、これらのリスクに対処するためには、ステークホルダーによる社会的合意としてのAI倫理であるエシックス形成が不可欠であり、そのためには対話のプロセスが重要になります。
対話において、AI技術の開発・導入・運用に関わるすべてのステークホルダーが、それぞれの知見や経験に基づき、AIの利活用によって生じ得るリスクや対策について話し合うことが何よりも大切です。対話を通じ、技術の透明性や説明責任を確保し、患者中心の医療の理念を損なうことなくAIを安全かつ信頼できる形で社会に実装することが肝要です。対話はまた、AIを、単なる効率化の手段ではなく、患者等の尊厳とケアの質を高めるための支援ツールとして位置づけることを可能にします。
AIの進化や社会的背景等の変化のスピードに倫理が追い付くためには、あらゆるステークホルダーが、対話を積み重ねることが重要です。こうした営みは、ヘルスケア領域におけるAI技術の社会的受容を促進する鍵になるとともに、ステークホルダー間の信頼を醸成することにつながるでしょう。

あずさ監査法人
ディレクター　小柴 巌和
シニアアソシエイト　植田 真美