高リスクAI解説

2014年4月21日、EUでは「欧州連合AI規制法案」が公表され、2023年5月11日に当規制法案が域内市場委員会と自由人権委員会に採択されました。規制法案の採択は、今後の規制法案の全面実施を一歩前に進めたことになります。この採択に伴い、規制法案に関係する企業、機構はその内容、特に規則違反に関わる事項について十分な理解が必要です。本稿では規制法案で取扱われている高リスクAIシステムについて解説します（各国のAI規制動向と欧州連合AI規制法案の概要については、「各国のAI規制動向と欧州連合AI規制案について」をご参照ください）。

高リスクAIシステムは「欧州連合AI規制法案」における4分類AIシステムのなかで、最も中心的に記述されているAIシステム分類あり、これに該当すると判断されたAIシステムおよび当該システムが提供するサービスは、第三者適合性評価を受ける必要があるとされています。

高リスクAIシステムの定義は、付属書IIに書かれた製品のセーフティコンポーネントを使用目的とするものと、付属書IIIに定められたものが含まれます。付属書IIIの内容によると、高リスクAIシステムは、民間が使用できるもの（教育、雇用システム等）と公共、法執行で使用するものがすべて含まれます。

付属書IIIの定義に、現在世界市場で流通しているAIシステム例を当てはめると次のようになります。

付属書IIIの内容	AIシステム例
（1）生体認証や分類	リモート顔認証 リモート指紋・声紋・静脈認証
（2）重要インフラの管理や運営	建物ひび割れ・さび自動検知 ガス供給支援 水道管劣化状況自動分析
（3）教育または職業訓練	AI授業アシスタント AI作文採点
（4）雇用、従業員管理および自営業者の利用	人事評価支援 採用業務支援 エンゲージメント管理・離職防止 社会問合せ対応・管理
（5）重要な民間サービスおよび公的サービスへのアクセス	給付金支給判断支援 個人信用スコア評価 AI救急車配置支援
（6）法執行	犯罪リスク予測 犯罪者プロファイリング
（7）移民、難民および国境管理運営	AI嘘検知 難民適性判断支援
（8）司法および民主過程における管理業務	契約書点検AI 法律文書自動翻訳

A）機械指令、玩具安全指令、娯楽用船舶指令、昇降機指令、防爆指令、無線機器指令、圧力機器指令、ケーブルウェイ規則、個人用防護用品規則、可燃ガス規則、医療機器規則、生体外診断医療機器規則

B）民間用航空規則、二輪車・三輪車・四輪車の認証および市場監視に関する規則、農業林業用車両の認証および市場監視に関する規則、船舶用機器指令、鉄道システムの相互運用に関する指令、自動車およびトレーラー並びにシステム、部品等に関する承認および監視に関する規則、民間航空に関する規則

（1）生体認証や分類

a.リモート生体認証に用いるAIシステム

（2）重要インフラの管理や運営

a.道路交通、水道、ガス、熱および電力の供給の管理運営における安全コンポーネントに用いるAIシステム

（3）教育または職業訓練

a.教育機関または職業訓練機関へのアクセスの決定または人材の配置に用いるAIシステム

b.教育機関または職業訓練機関における学生の評価または教育機関への入学で通常行われる試験における志望者の評価に用いるAIシステム

（4）雇用、従業員管理および自営業者の利用

a.採用または人の選定、特に欠員の広告、応募のスクリーニングやフィルタリング、面接や試験の過程における候補者の評価に用いるAIシステム

b.昇進または雇用関係の契約関係の終了の決定、業務割り当て、上記の関係における対象者のパフォーマンスまたは行動のモニタリングまたは評価に用いられるAIシステム

（5）重要な民間サービスおよび公的サービスへのアクセス

a.公的補助やサービスの適格性の評価、または公的補助やサービスの付与、一部または全部取り消し、無効化のために公的機関またはその代理により利用されるAIシステム

b.対象者の金銭的な信用力評価、信用力スコアの設定に用いるAIシステム。ただし、小規模プロバイダが自己のために利用するためにサービス提供するAIシステムは除く

c.消防や医療救急を含む緊急時の初動対応の派遣または優先順位付けのために用いるAIシステム

（6）法執行

a.法執行機関により行われる、対象者の再犯リスクや犯罪被害にあうリスクの算定のために行う対象者の個人的リスク判定のためのAIシステム

b.法執行機関によりポリグラフや類似する手段として使われる、または対象者の心理状態を検出するために使われるAIシステム

c.ディープフェイクの検出のために法執行機関により利用されるAIシステム

d.犯罪捜査や訴追の過程における証拠の信頼性評価のために法執行機関により利用されるAIシステム

e.対象者に対するプロファイリングに基づく現実のまたは潜在的な犯罪の発生や再発生の予測や対象者や対象グループの個人的特性や特徴または過去の犯罪行動の評価のために法執行機関により利用されるAIシステム

f.犯罪の発見、捜査または訴追の過程で対象者をプロファイリングするために法執行機関により利用されるAIシステム

g.対象者に関する犯罪分析で、法執行機関に未知のパターンの特定や隠れた関係性の発見を詳細に行うことを可能とするべく、異なるデータソースやデータ形式で利用可能な、複雑な関連するまたは関連しない大規模データセットを検索するAIシステム

（7）移民、難民および国境管理運営

a.ポリグラフおよび類似した手段または対象者の心理状態を検出する

b.EU構成国家の領土に入ることを予定しているまたは既に入った対象者によりもたらされる安全上のリスク、非正規の移民によるリスクまたは健康リスクといったリスクの調査のため公的機関により利用されるAIシステム。

c.渡航文書の真正の確認、文書作成支援および特徴を確認することで真正でない文書を検出するために公的機関により利用されるAIシステム

d.難民申請、ビザおよび居住許可の判定および身分に対する申請を行う者の適格性に関する関連する異議申し立ての判定のために公的機関により利用されるAIシステム。

（8）司法および民主過程における管理業務

a.事実と法の調査と解釈および付帯的な事実に法適用を行うについて司法機関により用いられるAIシステム

あずさ監査法人
Digital Innovation部