LLMの業務利用上の課題と解決策としてのAIエージェント

OpenAI社が提供するChatGPT¹をはじめとしたLLMは、登場以降ビジネスの場でも活用が検討されてきました。業務効率の改善が期待される一方で、課題も現れており、活用しきれていない企業も多くあります。主な課題は以下のようなものです。

複雑な質問をLLMに入力した場合、LLM単独利用の場合は段階的なステップを経ずに、単純に「事前学習に基づいて、質問に対して最も適切と思われる応答を出力」することになります。

これは人間に例えれば「自分の記憶・学習に頼った直感」で応答するイメージに近く、その推論の過程はユーザーにはわかりません。

そのため事前に網羅的で完璧な学習がなされていない限り、ハルシネーションが発生するリスクに晒されることになるうえ、一見自然な文章にハルシネーションが混入することで誤りが見落とされる恐れがあることも課題とされています。

本来はそれぞれの思考のステップにおいて必要なデータを参照し、思考を積み上げた結果を応答することが望ましいですが、そのようなプロセスになっていない点が課題とされてきました。

LLM単独利用の場合、応答生成は独立して単発で行われます。

そのため、複数のデータを参照し、段階的に推論する必要がある複雑な処理の場合、複数回の入出力を繰り返す必要があり、ラリーが長くなってしまう点が課題とされていました。

またRAG（ Ret r i eval -Augmented Generation）のような検索機能の拡張を行っていない場合、参照できるデータは①LLMの事前学習データ、および②Few- Shot 3 プロンプトとしてユーザーが入力したデータに限定されることから、必然的にユーザーのデータ入力の負荷が大きくなり、業務効率化効果は期待より低くなりがちな点も課題とされていました。

前述の課題に対し、解決の手法として台頭したのがAIエージェントです。

AIエージェントは図表1のとおり、LLM の業務利用における課題を解決すると期待されています。以降はその概要および処理のプロセスについて解説します。

AIエージェントは『タスクを自律的に実行できるAI 』と表現することができ、その特徴は「Planning（計画）」、「Tool Use （ツール使用）」、「Reflection（見直し）」、「Multiagent（マルチエージェント）」にあります。

（1）Planning（計画）

AIエージェントはユーザーからの入力を受け付けたあと、その質問に応答するために必要なタスクに分解し、応答までの計画を生成します。これにより、前章で述べたようなLLMの即興的な応答を予防し、段階的な推論に基づく応答の生成を実現します。

（2） Tool Use （ ツール使用）

LLMの単独利用では、学習に用いていないデータの入力コストに関する課題などがありましたが、AIエージェントは「ツール」と呼ばれる外部機能の使用を通じてこれを解決しています。

ツールの例としては自社データベースの検索処理、算術などが挙げられ、応答生成にあたり必要なデータの収集・加工が可能なことから、ユーザーによる入力作業のコストを低減させる効果が期待でき ます。

さらにはAPIの利用を通じたECでの発注・ホテルの予約などもサポートできるとされており、従来のLLMとしての役割の高度化のみならず、新たなユースケースでの活用も期待されています。

（3） Reflection （見直し）

応答の生成過程で、精度の見直しを行える点も大きなメリットです。見直しには①エージェントが繰り返し推論することで応答をブラッシュアップする場合、②人が介入して修正する場合の2パターンがあり、後者はHITL （Human-in-the-Loop） とも呼ばれます。

特にHITLは失敗の許されない業務内でAIを活用するなかで、人の監督下で最大限AIを活用するという取組みとして注目されています。

（4） Multiagent（マルチエージェント）

これまで述べた特徴を持つAIエージェントは、複数体を利用することや、チームを編成することも可能です。ユースケースに応じて「リサーチャー」「レビュアー」「セールス」「ビジネスオーナー」のような役割を分担させ、それぞれ異なる立場から応答のブラッシュアップに貢献させることができます。

これらの特徴が複合的に役割を果たすことで、エージェント機構はLLMの活用効果をより高くしています。

前章で取り上げた4要素を活用したモデルケースで、AIエージェントが機能するプロセスを見ていきます。

図表2のとおり、①ユーザーから質問（以下、「プロンプト」という。ここでは、AIに対する指示のことを指す）が入力されると、②コーディネーターと呼ばれる親エージェントがユーザーの入力を解釈し、ゴールを推論したうえで、③ゴールの達成が可能と思われる子エージェントにタスク実行の依頼をかけます。その後、④依頼を受けた子エージェントはタスクへの分解・プラニングを行い、⑤必要に応じてツールの使用等が行われます。ツールを使用した結果、各エージェントはAPIの戻り値やSQL検索・ベクトル検索の結果を取得し ます。⑥各エージェントは情報の共有、相互レビューやディベートを行うことが可能であり、応答の質を向上させることもできます。

最終的には⑦プラニングを行った親エージェントのもとに生成された応答が戻り、見直し・タスクの完了判定が行われたうえで、⑧応答がユーザーに返されることになります。

以上が、エージェントが複雑な処理を実現可能とする仕組みです。

図表2からも想起できるように、複数のレビュイーを持つエージェントはもはや『1 部署を持つデジタル部長』とも表現し得る業務構造に対応しています。

人が同様の業務を行うとすれば、数日～数週間はかかるこのようなプロセスを数分で実施できる点が魅力となり、業務生産性の向上に向け、実務の現場での早期活用が期待されています。

ここではこれまで概観したAIエージェントの特徴・仕組みを前提として、業務での活用シーンについて見ていきます。

ユースケースの想起にあたり、開発ROI の観点から「本当にAIエージェントが必要なのか、LLM単独利用では要件が実現できないのか」という目線、およびR&D投資の観点から「エージェントに今後どのような貢献を期待するのか」といった検証目的を持つことが望ましいと考えられます。

上記をもとに、検討時に意識すべき観点の一例を提示します。

（1） AIエージェント開発の要否

LLMは単独での利用でも業務生産性の向上が期待できますが、エージェントの導入によりその効果は大幅に向上させることが可能です。一方で、個別のユースケースに対して十分に機能するエージェントを開発するためには、技術的課題もあることから一定のコスト負担が発生します。

ユースケースごとに「LLMの単独利用でも業務要件を満たせるか否か」という点を十分に検討し、あえて開発コストをかけてまでAIエージェントを開発すべきかを判断することが重要です。

（2） タスクの複雑性・入出力の多様性への対応可能性検証

エージェントの主な特徴の1つは、認識したゴールに対して自律的に計画を立て、多様なツールを組み合わせることで柔軟に追加の情報収集や予約・注文などのアクションまでが可能なことにあります。当該特徴はAIエージェントならではの強みであり、業務効果を期待して検証を進める理由とも換言できるため、どのように強みを活かすかを検討することは重要です。

短期的に収益に貢献しない場合にも、自社データ・アセットの活用の観点から、そのポテンシャルを検証しておく価値はあると考えられます。

（3） 思考プロセスの棚卸し

前述の複雑なタスクへの対応検証のなかで、「特定業務における応答生成に際して参照すべき情報」が体系的に整理されることで思考プロセスが透明になる点は、AIエージェントの導入を検討する利点の１ つです。

AI活用では、必ずしも期待した出力結果が得られないリスクがつきものですが、AIプログラムが実用水準に至らなかった場合にも、自社で有する知識とその“活かしどころ”を整理することはビジネスに寄与すると考えられます。

「AIエージェントを利用する」といった表面的なゴール設定を行うのではなく、「業務の遂行に必要なデータを整理した結果、思考プロセスが体系化され、AIによる効率化が実現可能となる」という心構えで臨むことが、知見の蓄積も含めたビジネスにおける検証成果の最大化につながります。

以降は個別にピックアップしたユースケースについて詳述します。

これまでもLLMまたはロジック分岐型システムによる「一問一答形式」のチャットボットはビジネスの場で利用されてきましたが、あくまでも簡易な問い合わせの一次受けとしての役割に留まり、本格的な対応はスタッフにつながれることも少なくありませんでした。

今回、AIエージェントの台頭により、無人顧客対応は当該顧客の過去の問い合わせ履歴・事例・現在の状況等も考慮して応答可能な総合的なサポートに進化し、応答生成過程の透明性も高めることができると考えられます。

またマニュアルや画面キャプチャの入出力もマルチモーダルに対応可能となると考えられ、複雑・多様な入力にも対応できるようになることから、より省力化効果が高まると期待されています。

さらにはツール使用の一環として、返品等の対応申請も行うことが可能となることで、もはや一人のカスタマーサポートとして十分に機能する可能性までを期待することができます。

上記のケースでは、多種データを参照しての応答生成は「入力の複雑性への対応」および「応答生成プロセスの透明性」を、承認プロセスを挟んだ返品対応は人が最終的な判断に責任を持つ「HITL」の思想を取り入れています（ 図表3参照）。

当例はLLMの課題を克服したAIエージェントに任せることができる業務に関するアイデアであり、その可能性を感じられるユースケースの一例となりますが、実際に業務運用に踏み込むにはプロセスの設計が必要になります。

次章では、AIエージェントの導入に向けた実装上の主要論点について言及します。

前述のとおり、AIエージェントの導入により実現可能となる業務効率化・新規ビジネスがある一方で、その実現には技術的・経験的な知見が必要となります。

以降はAIエージェントを実務に導入するためにどのような点を考慮すべきか、主な実装上の要点を取り上げます。

AIエージェントは大幅な生産性向上をもたらす可能性を有していますが、処理プロセスの計画をロジックベースではなくAI の判断に依存しているため、意図しない計画が実行され、期待する応答が得られないリスクがあります。

期待した効果を得るためには、計画精度を高めるための構成設計が重要になります。

（1） 適切なエージェントの配置

前掲の図表2 の処理プロセス③で依頼先のエージェントを選定していますが、エージェントの数・分担の仕方は精度に影響します。エージェント数が多すぎる、それぞれの分担の定義が曖昧などの状況下では依頼誤りの発生率が高くなるため、適切な分担かをユースケースに照らしたうえでエージェントの数・分担を設計する必要があります。

（2） 適切なツールのメタデータの記載

図表2の処理プロセス④でエージェントがタスク分解し、プラニングを行うためには、エージェント自身が利用可能なツールを理解しておく必要があります。

たとえば「24GBのVRAMを搭載した最も安いPCを購入したい」というユーザー要件（ プロンプト入力）があった場合、エージェントは以下の2 つを使えば要件を満たせると考えられますが、前提として当該ツールが利用可能であること、およびその機能を知らなければ適切な計画が立てられません。

• 性能要件を満たすPCを検索するツール
• 最も安いPCを検索し、最安値のサイトで発注するリンクを表示するツール

したがって、実装過程ではエージェント向けの情報として、ツールの提供する機能・利用シーンなどのメタデータを設定することになりますが、このメタデータがプラニングの精度に影響することになり ます。

十分に検討・検証を行って設定することが求められます。

（3） 適切なツールの分解粒度

前述のとおり、使用ツールの判定はプラニングに大きく影響を与えますが、ツール分解の粒度も重要です。

先の例では2つのツールを利用し、2ステップで結果を生成しましたが、2 機能を1つにまとめたツールを開発し、1ステップで同じ結果を出力することも可能です。

粒度を大きくするほどプラニング誤りのリスクを低減できる一方、プロンプトの細かな差異に応じた柔軟なプラニングはできなくなるため、ビジネス要件に鑑みて検討する必要があります。

本稿では、AIエージェントがビジネスにおけるLLM活用の課題をどのように克服し得るかについて解説するとともに、そのユースケースや実装上の論点を整理しました。AIエージェントは、LLMの限界を補完し、効率的かつ信頼性の高い業務遂行を可能にする技術として注目されています。

一方で、技術的課題や導入コスト、倫理的側面に配慮した慎重な検討が必要であることも明らかです。これらを乗り越えるには、単なる技術導入に留まらず、自社の業務特性や目標に即した計画立案が求められます。また、AIエージェントを通じて得られるデータや知見は、短期的な業務改善だけでなく、長期的な競争力向上の基盤にもなり得ると考えられます。

※ 本稿の内容は2025年2月時点の情報に基づくものです。適宜最新の情報を参照・ご確認ください。

1 ハルシネーションとは、AIによって生成される、虚偽または誤解を招く情報を事実かのように提示する応答のことです。
2 ChatGPTはOpenAI社の商標です。
3 Few-Shotとは、少量のサンプルを入力することで、文脈を学習したうえで応答させることです。

KPMGアドバイザリーライトハウス
データ戦略部
中山 政行／シニアマネージャー
清水 啓太／シニアコンサルタント
アドバンスドアナリティクス部
廣川 典昭／マネージャー