Emerging Trends

생성형 AI 운영에 필요한 높은 수준의 비용 부담을 해소하기 위해 딥시크와 같은 데이터 처리 부담을 줄인 AI 모델과 데이터 이동을 최소화해 인프라 부담을 줄이는 방법이 주목받고 있다. 온디바이스 AI는 이용자의 디바이스 내에서 소형 AI 모델을 사용해 외부 데이터 이동 없이 생성형 AI 서비스를 제공하는 방식이다.

챗GPT와 함께 생성형 AI 시대가 개막하며, 오픈AI의 GPT(Generative Pre-trained Transformer), 구글의 제미나이(Gemini) 등 AI 파운데이션 모델과 함께 생성형 AI 서비스의 보편화에 기여한 배경으로 클라우드 시스템의 보급이 거론된다. 대규모 언어 모델을 기반으로 한 AI 시대가 확장됨에 따라 AI 모델을 학습시키고, 추론의 과정을 통해 결과물을 낼 수 있도록 하는 인프라 확보 차원에서 클라우드의 역할이 더욱 강조되고 있다. 클라우드 시스템을 활용한 컴퓨팅 방식은 클라우드라는 인터넷 기반의 가상 컴퓨팅 공간에서 네트워크망을 통해 실시간으로 데이터센터 등 외부에 위치한 컴퓨팅 역량과 연동하는 특징을 지닌다. 이를 통해 자체 보유한 컴퓨팅 자원 이상을 활용할 수 있도록 하는 서비스 체계이다.

AI 서비스를 구성하는 AI 모델이 점차 대형화됨에 따라 클라우드 기반의 생성형 AI 운영과정에서 다량의 데이터가 소모되어 전력과 반도체 등의 컴퓨팅 역량 자원이 크게 소비된다. 생성형 AI 운용 과정에서 발생하는 인프라 부담을 줄이는 방식으로 최근 많은 주목을 받고 있는 방식은 온디바이스 AI이다. 

온디바이스 AI는 이용자가 요청사항을 디바이스에 입력하면, 디바이스 내에 탑재된 소형 AI 모델과 저전력 반도체 등 자체 데이터 처리 시스템이 구동되어 데이터의 외부 이동 없이 AI 서비스가 구현된다. 이에 온디바이스 AI를 기반으로 한 생성형 AI 서비스는 AI 모델의 분석 속도가 빠르고, 시스템 운영 비용도 비교적 적다. 또한 디바이스 외부로 이용자가 입력하는 정보를 내보내지 않는다는 점에서 개인정보 등의 민감한 데이터를 처리하기에 적합도가 높다.

온디바이스 AI의 장점을 활용하기 위해 다양한 기업에서 빠른 속도로 시장 확대 움직임을 보이고 있다. 삼성전자의 갤럭시 S 시리즈, 애플의 Apple Intelligence, 마이크로소프트의 Copilot+PC 등 글로벌 빅테크 기업이 앞다투어 온디바이스 AI 기능을 탑재한 디바이스가 출시했다. 삼성전자, SK하이닉스 등 대형 반도체 기업 외에도 딥엑스, 모빌린트 등 팹리스 반도체 기업에서도 온디바이스 AI 디바이스에서 활용 가치가 높은 저전력 반도체 기술 확보를 위한 노력이 이어지고 있다.

온디바이스 AI를 기반으로 서비스의 다양화를 구상하는 기업은 ‘SCALE[S (Semiconductor)-C(Cloud)-A(Ambient Computing)-L(Language Model)-E(Explainable AI)]’에 주목해야 한다. 먼저 온디바이스 AI는 디바이스 내 전력을 활용해 AI 모델을 운영하기 때문에 AI 서비스 운영과정에서 소비되는 전력 소모를 적게 유지해야 한다는 점에서 저전력 반도체 기술이 강조될 것으로 보인다. 이용자 주변에 있는 IT 디바이스가 이용자의 패턴을 자체적으로 학습해 디바이스가 알아서 필요한 서비스를 제공하는 ‘앰비언트 컴퓨팅’ 시장 속 기회도 주목해야 한다. 온디바이스 AI의 우수한 보안 성능은 개인별 데이터를 확보하고 분석하는 앰비언트 컴퓨터 환경을 구축하는 데 높은 활용 가치를 지닌다. 

또한 온디바이스 AI는 소형 AI 모델을 기반으로 서비스를 운영한다는 점에서, 소형 AI 모델 시장이 본격 확대될 것으로 전망된다. 소형 AI 모델은 스마트폰, 가전 등 AI 모델이 탑재되는 개별 온디바이스 AI용 디바이스에서 요구되는 결과값의 퀄리티를 높일 수 있도록 개발이 진행될 것으로 보인다. 마지막으로, 온디바이스 AI를 활용하면 이용자 개인이 보유한 디바이스에서 즉각적으로 AI 분석이 이뤄지게 되어 이용자와 AI 모델 간의 거리가 더욱 가까워진다. 이에 이용자와 더욱 밀착되어 서비스를 제공하게 될 AI를 안전하게 관리하고, AI 모델에 대한 이용자의 이해도를 높여 혼란을 방지할 수 있는 ‘설명 가능한 AI(Explainable AI)’ 기술 통제 방안에도 주안점을 둬야 한다.

* 아래를 클릭하면 칼럼에 관한 보고서를 확인할 수 있습니다.

  ‘생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI’  Click!