Microsoft HoloLens × AI ～製造現場の課題解決

海外企業を含めた製造業界全体の競争が激化しているなか、業界で生き残るためには、単純作業の自動化に加え、ヒトによる高品質でミスのない作業が必須と考えられますが、現実的にはヒトが介入する多くの作業において、様々なミスが発生する可能性をゼロにすることは不可能に近いと言えます。
現場でミスが発覚した場合に発生する工程の手戻りが製造現場の工数を肥大化させる深刻な課題となっており、また、熟練の職人の知識を形式知化して企業のアセットとして所有し、それらの情報を現場において適切に共有し活用する方法の導入が求められています。

製造現場では両手で作業を行う必要があることから、PCやタブレット端末が浸透し難いというデジタル化が遅れている背景を鑑み、KPMGはハンズフリーで作業可能なウェアラブルコンピューターであるMicrosoft HoloLensをインターフェースとして活用することに着目しました。製造現場における情報活用を推進するために、AIとヒトの長所を融合しつつ、現場の手戻りリスクの削減を可能とするソリューションを提案します。

本ソリューションで重要な役割を果たすMicrosoft HoloLensとは、マイクロソフト社が2016年より発売を開始したMR（Mixed Reality）を実現するスマートグラスの製品名です。Microsoft HoloLensは、VR（Virtual Reality）とは異なり、半透明のグラスを通して目の前の日常空間をマッピングしながら、立体的なホログラムを現実の物体に対してインタラクティブに表示することが可能です。また、デバイス上にWindows 10が搭載されており、ウェアラブルコンピューターと呼ばれることもあります。

本ソリューションでは、新人が製造現場で製品の組立作業を行う場合におけるユースケースとして、主に以下の機能を想定しています。

職人の暗黙知を形式知化
これまでマニュアル化することが困難であった製品の見た目の微妙な違い等を、現場の実際の作業部品の画像を取得し、それらが表している状態や留意点等の付加情報を専門家が継続的に追加してAIに学習させていくことによって、徐々に専門家の暗黙知的な職人技が形式知化していくことが可能になると考えられます。
→ Microsoft HoloLens × ヒトがAIの精度を向上させる。

目の前の部品の関連情報を視界上に表示
現場でMicrosoft HoloLensを装着することによって、収集した部品の画像データを膨大な部品の設計情報（CADデータ）と詳細情報を学習させたAIに問合せることが可能となり、Microsoft HoloLens上の視界に表示させた識別情報を基にして、新人でも適切な作業を行うことができます。
→ Microsoft HoloLens × AIがヒトの知識や経験不足を補い、適材適所の情報を提供し、作業漏れや検証漏れを防ぐ。

専門家へのビデオ通話による問合せ機能
部品が識別できなかった場合は、Microsoft HoloLens上での動画通話により専門家と視界を共有しながらの相談が可能です。また、専門家の相談結果をAIへフィードバックすることにより、精度の向上を図ることが可能となります。
→ Microsoft HoloLens × ヒトがAIの不足を補い、AIの精度を上げるための過剰なコスト増加を防ぐ。

なお、AIが判別できなかった場合のサポート情報や、作業者の　日常業務から収集される画像、また将来的には音声データ等も　収集し、専門家による付加情報を追加して学習を継続させることにより、Microsoft HoloLens × AIで表示可能なサポート情報が、現場作業者の隣で熟練の職人がサポートしてくれている状態に近い存在になっていくことが期待されます。

KPMGは、AIが人間の作業を全て代替することではなく、AIの得意分野と人間の得意分野を生かした活用方法を目指しています。AIとヒトが相互補完的に活用される仕組みは、相性の良い料理とワインがお互いを引き立てあうように、AIとヒトをマリアージュする理想的な活用方法と考えられます。AIはヒトの頭脳とは異なった長所と短所を持っているため、例えば学習を行うスピードや一度に処理できる演算の量や範囲等では一部の作業でヒトよりもはるかに良い性能を誇りますが、ヒトのように自ら問題定義を行うこと等は、ほぼ不可能に近いと言えます。

製造業の現場において、ヒトとAIがマリアージュするプラットフォームとはどのようなものでしょうか。AIを構築する際にも、利用する際にも、Microsoft HoloLensは理想的なデバイスの1つです。 KPMGでは、Microsoft HoloLensを利用することにより、ヒトが携わるあらゆる業務が効率化、または高度化できると考えています。

AIの精度向上に寄与

• バイアスのかからないリアルなデータが取得可能なため、見た目や音など職人の暗黙知とされていた情報も含めた高品質なAIを構築可能
• 作業者が実際に見聞きした情報（音声や動画）
• 作業者の動線情報（位置情報）

現場の利便性向上に寄与

• ハンズフリーで利用可能
• 空間認識機能により、現実の物体にデジタル情報を付与
• 社内の情報資産との連携が可能
• シースルーレンズであるため、ある程度危険を伴う場所でも利用可能