公共分野における生成AIの利活用の深化

「公共分野におけるデジタル化の潮流」第12回の「公共分野における生成AIの利活用を取り巻く環境と課題」で解説したように、2025年5月のデジタル庁による「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」の策定、および同年6月の「デジタル社会の実現に向けた重点計画」における「ガバメントAI」構想は、生成AIを政府共通のインフラとして位置付ける国家戦略を明確にしました。

日本の公共分野における生成AIの導入フェーズは、制度設計やガバナンス構築といった「導入に向けた環境整備」から、行政課題の解決に資する「具体的な利活用」へとその重心を移しつつあります。

しかし、現場レベルでの実証実験や本格導入が進むにつれ、多くの組織が生成AIという技術特有の「扱いにくさ」に直面しています。そのため、公共分野で生成AIの持つポテンシャルを真に享受し、業務変革を実現するためには、単にツールを導入するだけではなく、生成AIが抱える限界を正しく理解したうえで活用するという視点が必要です。

本稿では、生成AIの利活用の効果を引き出すためには避けては通れない技術的限界を整理します。そのうえで、それらの限界を乗り越えるための手法や仕組みとして、プロンプトエンジニアリングを含む各種アプローチ、「検索拡張生成（以下、RAG：Retrieval-Augmented Generation）」と「コンテキストエンジニアリング」について、生成AIの利活用や実装に向けた示唆・ポイントを紹介します。

1．生成AIの実装フェーズへの移行と行政に関する業務への適用課題
2．生成AIの技術的限界とそれを乗り越えるための各種アプローチとは
3．生成AIの有用性を強化するための仕組み：RAG 
4．生成AIの実効性を最大化するためのフレームワーク：コンテキストエンジニアリング
5．生成AI利活用の価値最大化を目指し、「導入」から「深化」に向けて

生成AIの「行政に関する業務（以下、行政業務）」への適用には、民間企業以上に厳格な質的担保が求められます。行政サービスの公平性・一貫性はもちろんのこと、事後的な検証を可能にする回答根拠の確保や、要機密情報の徹底した管理などが求められます。ここで最大の障壁となるのが、生成AIが持つ「確率論的な挙動」です。操作に対して決まった挙動を示す従来のITシステムとは異なり、生成AIは確率に基づき入力に対する出力結果が変化するため、行政業務に求められる信憑性や再現性を高いレベルで保つことが困難です。

そのため、生成AI活用の成否は、単なるモデルの選定だけでなく、モデルの挙動を行政業務の特性に適合させるための工夫が必要です。 そこで、行政業務における質的担保を阻害するLLMの技術的限界と、それらに対応するための各種アプローチについて、（1）情報の保持性（2）再現性（3）整合性（4）信頼性の4つのカテゴリで分類していきます。

公共分野における行政業務への生成AIの利活用に役立つ視点として、前章で提示しているカテゴリ別のLLM特有の技術的限界と、それに対応するための各種アプローチについて、以下に解説します。  

行政業務では、法令、条例、事務マニュアル、過去の議事録など、参照すべき情報量が膨大になる傾向があります。

しかし、生成AIには一度に処理できる「入出力長の制限」があり、すべての関連資料をプロンプトに入力することは不可能です。また、仮に入力できたとしても、文章の中間部分にある情報が無視されやすくなる「中間情報損失」により、重要な条件や例外規定を見落とすリスクがあります。

上記のリスクを回避するためには、膨大な情報をそのまま入力せず、生成AIが取り扱いやすい単位に加工することが必要です。具体的には、長文の要点や文脈を維持しつつ圧縮する「要約」、文書を意味のある塊に分割する「チャンク分割」や、情報の重要度に応じて構造化する「情報の階層化」を行います。これらは生成AIの入出力長の制限を回避するとともに、処理単位を短くすることで中間情報の損失も防ぎます。また、生成AIは入力の先頭や末尾を重視しやすい特性があるため、重要な指示や制約事項については、プロンプトの先頭や末尾に配置する「重要情報の配置最適化」を行うことで、中間情報損失による認識漏れを低減できます。

「いつ、誰が利用しても、同様の結果になる」ことは、業務活用のツールとしての品質を均一化し、かつ行政サービスにおける公平性を担保するうえで、不可欠な要件です。

一方で、生成AIは確率論的に次の単語を予測する仕組みであるため、同一のプロンプトを入力しても、その都度表現や出力内容の形式が変化する「回答のブレ」が生じる可能性があります。窓口対応、審査支援や内部業務において、生成AIの挙動によって行政サービスの利用者への案内内容や業務への判断材料にばらつきが生じることは、公平性や業務品質の担保という観点から避けるべきリスクと言えます。

この「出力のゆらぎ」を抑制するためには、プロンプトの設計により生成AIの生成プロセスを制御するアプローチが有効です。具体的には、命令と入力情報を明確に分ける「構造化プロンプト」や、回答のフォーマットを定義する「構造化出力」により、出力の枠組みを固定化します。また、理想的な回答例をあらかじめ提示して模倣させる「One Shot/Few Shot」を活用し、かつシステム側で生成時のランダム性を制御するパラメータである「Temperature調整」を低く設定することで回答の安定性を高め、生成AIの回答内容の再現性や一貫性を確保します。

行政判断においては、複数の要件を順序立てて確認し、矛盾なく結論を導く論理的な整合性が求められます。

しかし、LLMは直感的な文章生成には長けているものの、複雑な推論を伴うタスクでは、前後の文脈と矛盾する結論を出したり、計算を誤ったりする「論理的矛盾」が生じる場合があります。特に、法令の適用要件や給付金の計算など、ステップごとの正しさが積み重なって結論となる業務において、論理の飛躍は致命的なミスにつながります。 

こうした矛盾を防ぐためには、AIに「いきなり答えを出させる」のではなく、人間のように順を追って考えさせる「思考の連鎖」のアプローチが活用でき、「ステップバイステップで考えてください」といった指示を与えることで推論過程を明示化させ、論理の飛躍が発生することを緩和できます。また、生成AI自身に出力内容を改めて入力として与え、その妥当性を評価させる「自己検証」のプロセスを組み込むことで、単一の生成では見過ごされ得る回答の矛盾や誤りを検知・修正させ、整合性を高めることが可能です。

行政が発信する情報には、法令や事実に基づいた正確性が求められます。誤った情報の提供は、行政サービスの利用者の不利益や行政への信頼失墜に直結するため、最も警戒すべきリスクです。

しかし、生成AIは学習データに含まれる確率的な結び付きに基づいて文章を生成するため、架空の制度や誤った手続きをあたかも事実であるかのように出力する「ハルシネーション」を引き起こす可能性があり、現在のLLMの仕組み上、それを完璧に防止することは不可能です。特に、行政特有の専門用語や最新の施策については、汎用モデルが知識を持っていないことも多く、この問題を緩和せずに本格的な業務利用をすることは困難です。

この課題に対する標準的なアプローチがRAGです。RAGは、生成AIの内部知識だけに頼るのではなく、信頼できる内部データベース（ガイドライン、マニュアル、Q&A集など）を検索し、その検索結果に基づいて回答を生成させる仕組みです。さらに、生成された回答が参照元の記述と合致しているかを、LLMによる評価（LLM as a Judge）などの「ファクトチェック」のプロセスを組み合わせることで、回答の根拠を明確にし、行政情報としての信頼性を高めることができます。

これら技術的限界へのアプローチのなかで、特にRAGは、情報の正確性と最新性が命題となる行政システムにおいて、事実上の標準アーキテクチャとなりつつあります。そこで次章では、このRAGの仕組みと行政業務における実装の意義について、より詳細に解説します。

行政業務への生成AI適用において、事実に基づかない回答を生成するハルシネーションは致命的なリスクです。このリスクを構造的に低減させて高い信頼性を確保するとともに、回答根拠の明示、最新情報の反映、機密情報の保護などによって、行政現場の生成AI活用を実務レベルに引き上げる核心的な技術がRAGです。

RAGは、生成AIが学習済みの知識（内部パラメータ）のみに依存するのではなく、信頼できる外部の知識源を参照して回答を作成する仕組みです。ユーザーの質問に対して、まず内部データベースを検索し、抽出された「根拠となる情報」をプロンプトに組み込んだうえで、生成AIに指示します。いわば、試験における「持ち込み資料の参照」をシステム的に強制することで、事実に基づかない捏造を低減させます。

RAGは、単にハルシネーションを低減させるだけでなく、以下の3点において行政システムにおいて必要不可欠です。

• 回答根拠の明示
  RAGでは「どのドキュメントの、どの部分を参照したか」を引用元として明示できるため、職員は原典を確認して事後検証を行い、行政に求められる説明責任を果たすことができます。
  
  
• 最新情報の反映
  生成AIモデル自体の再学習（ファインチューニング）には多大なコストと時間がかかります。しかしRAGであれば、参照先のデータベースを更新するだけで、最新の法令や制度改正を反映できます。制度変更が発生する行政業務において、この柔軟性はきわめて重要と言えます。
  
  
• 機密情報の保護
  外部の汎用モデルに行政の内部情報を学習させず、回答生成の瞬間のみセキュアな環境下で生成AIに情報を参照させる構成が可能なため、高いセキュリティレベルを維持できます。

行政業務における複雑な業務フローを生成AIで実現する場合には、プロンプトエンジニアリングやRAGといった単一の手法・技術を複数組み合わせ、文脈を最適化する「コンテキストエンジニアリング」の視点が参考になります。 これは、特定の技術を指すものではなく、ユーザーの意図、過去の履歴、外部知識、そして利用可能なツール群を有機的に結合させ、文脈の最適化を設計するための統合的なフレームワークです。

文脈の最適化を設計するためには、主に以下の要素を連携させることが有効です。

• プロンプトエンジニアリング（指示の明確化）
  役割定義、制約条件、出力形式を厳密に設計し、複雑なタスクの思考プロセスをガイドするインターフェース 
  
  
• RAG（外部知識の注入）
  最新かつ正確な情報をコンテキストに注入し、ハルシネーションを抑制する外部知識活用の仕組み
  
  
• メモリー機構（文脈の保持）
  申請手続きなどのマルチターン業務において、対話履歴やステートを保持し、一貫性のある対応を実現する記憶機能
  
  
• ツール・オーケストレーション（実行機能の拡張）
  データベース操作やAPI連携などの外部ツールを生成AIに操作させ、単なる回答生成から具体的な業務実行へと機能を拡張する仕組み

上記の要素を基に、生成AIの実装に向けてコンテキストの最適化を意識した設計をすることで、生成AIは単なるチャットボットから、組織固有のルールや手続きなど文脈を理解した「業務遂行エージェント」へと進化すると言えます。コンテキストエンジニアリングによってシステム的に業務品質を担保することは、生成AIの出力の修正作業にかかる時間を削減し、より高度な判断や業務対応への注力を可能にするなど、公共分野における業務改革を推進する一助となるでしょう。 

今後、公共分野における生成AIの利活用は、「導入」の段階から、その真価が実務のなかで厳しく問われる「深化」のフェーズへと移行していくと考えられます。

本稿で解説した技術的限界やコンテキストエンジニアリングは、生成AIを活用した業務改革を成功に導くための参考知識となります。生成AIを万能な「魔法の杖」として盲信するのではなく、その特性や限界、そして制御の仕組みを正しく理解する視点を組織として習得することこそが、生成AI活用の成否を決定付け、業務改革を実現する重要なポイントになると言えるでしょう。

利用者が生成AIの特性や仕組みを正しく理解し、適切に使いこなせるようになれば、ツールに対する抵抗感はなくなり、業務への適用範囲は自然と拡大していきます。また、生成AIの利用が定着し、活発になることで、効果的なプロンプトの書き方や活用ノウハウが組織内に蓄積し、結果として高い費用対効果を生み出すことへとつながると考えます。

「ガバメントAI」等の基盤整備が進むなか、生成AIを使いこなす利用者自身がその技術への理解を深め、日々の業務を支える確かな基盤として定着させていくことが重要です。この「利活用の深化」に向けた歩みこそが、単なる効率化を超えた本質的な行政サービスの変革と業務改革を実現すると考えます。

次回は、生成AIの利活用が「回答支援」から「業務遂行」へと進化していくなかで注目が高まる「AIエージェント」について取り上げます。AIエージェントは、行政業務において主体的に業務フローを実行する「自律型エージェント」として、今後の活用可能性が期待されています。

KPMGコンサルティング
シニアコンサルタント　Lee Dongyeon（イ ドンヨン）
コンサルタント　鈴木 爽太郎