[Tech +]HCI New Trends 2022

안녕하세요. 반갑습니다. 머지리티 AR팀 개발자 Aca입니다.

오늘 여러분께 들려드릴 Tech 콘텐츠는 사람과 컴퓨터간 상호작용에 대한 분야 'HCI'에 대한 이야기입니다.

관심있는 분들께선 재밌게 봐주실 수 있는 내용이라 생각됩니다! 그럼 바로 시작해 볼게요! ☺️


Human-Computer Interaction 

New Trends 2022


HCI의 발전

Human-Computer Interaction (HCI)은 컴퓨터가 사무실과 가정에 보급되는 1980년대 개인용 컴퓨터의 출현과 함께 시작되었습니다. 초기 HCI는 데스크톱을 보다 유용하게, 사용하기 쉽게, 배우기 쉽게 만드는 데 중점을 두었다면 스마트폰, 사물 인터넷, 인공지능 등 다양한 기술의 발전과 함께 이 분야는 컴퓨터와의 상호 작용을 가능한 인간의 방식과 비슷한 방식으로 만들기 위한 중요한 도구가 되었습니다.

이번 머지리티 Tech 콘텐츠에서는 HCI를 위한 여러가지 방향과 기술, 그리고 이것이 가져올 생활의 변화에 대해 소개하려 합니다.

Zero UI

대부분의 사용자는 GUI(Graphical User Interface 그래픽 사용자 인터페이스)를 통해 매일 장치와 상호작용 합니다. GUI는 화면에 존재하며 정보를 전송하기 위해 마우스와 키보드를 사용하거나 탭하고 스와이프 하는 등 사용자 입력이 필요하죠. 이러한 일상적인 작업을 수행할 때 계속하여 화면을 클릭해야 하며 이러한 상호작용은 사용자에게 피로감을 넘어 부정적 경험까지 제공하기도 하지요. 

디자이너와 개발자는 이러한 문제를 해결하기 위해 더 자연스러운 쪽으로 새로운 방향을 제시하고 있습니다. 바로 인간-컴퓨터 상호작용 진화의 다음 단계인 Zero UI 입니다. Zero UI는 Fjord 디자이너 Andy Goodman이 2017년 SOLID 콘퍼런스에서 처음 사용한 용어인데요, 그가 말하는 Zero UI란 '우리의 움직임, 음성, 시선, 심지어 생각까지 모두 시스템이 환경을 통해 우리에게 반응하도록 하는 패러다임'을 의미합니다.

실제 일상으로 예시를 들어볼까요? 

저녁 7시에 친구와 식사를 하기 위해 우리는 앱에서 수많은 클릭을 통해 식당과 택시를 예약하고 오늘의 코디를 추천 받으며 친구에게 전화를 걸어 약속을 잡겠지요. 하지만 이제는 자연어 처리와 사용자 패턴 분석 등을 통해 음성이나 간단한 제스처만으로도 이 모든 작업을 해결할 수 있게 됩니다.

음성

음성은 이미 삼성의 빅스비, 애플의 Siri와 같은 인공지능 비서 서비스나 AI Speaker 등을 통해 점차 자리를 잡아가고 있지만 이를 통해 상호 작용하는 것은 해결해야 할 과제가 많기 때문에 모든 옵션에 사용되지는 않습니다. 음성의 인식률을 높이고 사람의 언어를 더 잘 이해하는 AI를 개발하는 등 지속적으로 발전시켜야 하지만 누구나 쉽고 빠르고 효과적으로 사용할 수 있기 때문에 미래엔 더 많은 분야에서 사용될 것임엔 의심의 여지가 없습니다.

핸드 제스처

Microsoft Kinect의 도입은 인체가 컨트롤러가 되는 자연스러운 인터페이스 구현에 큰 영향을 주었습니다. 뼈의 위치와 방향을 인식하면 포즈와 제스처를 식별할 수 있으며 이를 매핑하여 기계에 명령할 수 있습니다. 이와 함께 사용자의 손과 모든 손가락을 추적할 수 있는 센서도 제안되었습니다. 

예를 들어, Leap Motion 은 손가락 끝과 손바닥 중앙의 위치를 식별하고 IK Solver를 사용하여 손가락 관절을 계산하여 사용자의 양손을 추적할 수 있습니다. Wii는 사용자의 몸짓을 인식해 다양한 액티비티를 가능하게 합니다. 또한 많은 자동차 제조사들은 인포테인먼트(Infotainment) 기능을 쉽게 관리할 수 있도록 기존의 터치 스크린을 대체할 '손 추적 기반 대체 상호 작용 방식'을 제안하고 있습니다.

응시

응시는 매우 직관적이기 때문에 사용자에게 매우 이상적인 상호작용 방법입니다. 이것은 기본적으로 상호작용 수단으로 눈의 움직임을 추적할 수 있는 웨어러블 대화형 디스플레이 장치인 사용자 머리 장착형 디스플레이(HMD)의 사용을 필요로 합니다. 응시는 마우스를 대신하는 단순 입력 수단부터 시선이 많이 가는 곳을 분석하여 필요한 정보를 띄워주거나 응시하고 있는 곳을 더 선명하게 보이게 하는 등 다양하게 사용될 수 있습니다.

이 기술은 사람이 눈의 움직임을 쉽게 제어할 수 있으므로 사용자에게 매우 효과적이고 손쉬운 획기적인 기술이 될 것입니다.

AR / VR과 몰입감 있는 상호작용

이전까지 우리는 스크린에 있는 GUI와 상호작용 해왔지만 최근에는 AR / VR을 통해 경계가 있는 그래픽 요소가 확장되고 이를 직접 만질 수 있게 되었습니다. Google과 Apple은 ARCore, ARKit을 통해 다양한 AR앱을 제작할 수 있도록 프레임워크를 제공하였고 Microsoft는 HoloLens로 Facebook은 Oculus를 인수하고 사명을 Meta로 바꾸며 AR / VR 분야에 진출했습니다. 이처럼 AR / VR을 응용한 다양한 연구와 사례들이 생기고 있으나 몰입감, 멀미 등의 이유로 기존의 방식을 대체하지 못했지만 최근 공개된 다양한 기술을 통해 이를 해결해 나갈 것입니다.

Haptic 기술

몰입감을 올려줄 수 있는 방법 중 하나는 촉감입니다. 가상의 오브젝트와의 상호작용은 실제 터치를 했는지 사용자가 체감하기 어렵다는 특성상, 촉감까지 제공하는 것은 시청각과 함께 매우 중요한 상호작용 방법으로 알려져 있습니다. 현재 Facebook Reality Labs는 공압 벨로우즈를 사용한 bellow band와 진동 촉각 액추에이터와 손목 압착 메커니즘을 사용한 Tabsi(Tactile and Squeeze Bracelet Interface)를 공개하였고 Meta는 고속 미세 유체 프로세서를 이용한 햅틱 장갑을 발표했습니다. 또한 Moiin에서는 햅틱 기술이 포함된 모션 트래킹 슈트 X-1 suit를 공개하며 촉감을 통한 더욱 몰입감 있는 상호작용이 가능함을 알렸습니다.

텔레포테이션(Teleportation)
& 홀로포테이션(Holoportation)

실제 그곳에 있는 듯한 느낌을 주는 것도 몰입감을 줄 수 있는 좋은 방법이죠. AR / VR을 경험해본 많은 사용자들은 떨어지는 그래픽과 불편한 조작감 등으로 인해 몰입하지 못하거나 실망감을 갖곤 했지요. 하지만 앞으로의 기술 발전은 지금 눈 앞에 보이는 사물이 진짜인지 가짜인지 구분하기 어려워질 것입니다.

지난 3월, 미국의 유명 팟캐스트 더 인포메이션즈 411(The Information's 411)에 출연한 Meta의 CEO 마크 저커버그는 '차세대 오큘러스는 다른 장소로 이동하는 텔레포테이션(Teleportation) 경험을 제공할 것'이라고 말했습니다. 몸이 실제 장소에 이동하는 게 아니어도 현실과 구분할 수 없는 수준이라면 '순간이동'한 것과 다르지 않다는 것이 그의 주장입니다. 이를 위해서는 그래픽적 요소뿐만 아니라 현실과 가상의 지각에 혼돈을 줄 수 있는 청각, 촉각 등의 공감각적 몰입감이 부여되어야 하며 나아가서는 별개의 장치 없이 현실에서의 감각을 느낄 수 있어야 합니다.

홀로그램을 이동시킨다는 개념의 '홀로포테이션'은 이보다는 하위 개념으로 2016년 마이크로소프트가 공개한 영상을 통해서 알려졌습니다. 텔레포테이션이 사람과 사물을 새로운 공간이라고 인지할 곳으로 이동시키는 개념이라면, 홀로포테이션은 사람과 사물을 인지하고 있는 공간에 불러들이는 것입니다. 공개한 영상을 보면 카메라가 설치된 스튜디오에서 실시간으로 촬영된 사람이 MR 장치인 홀로렌즈(HoloLens)를 착용한 사람에게 보이는 방식이라는 것을 알 수 있습니다.

또한 미국 로스앤젤레스 소재의 스타트업 '포틀(PORTL)'은 홀로포테이션의 단점을 극복하고, 홀로그램을 현실적이라고 몰입할 수 있는 단계까지 끌어올렸다고 평가받고 있습니다. 포틀의 홀로포테이션은 '포틀 에픽(PORTL Epic)'이라는 전화 부스 형태의 장치에서 이뤄집니다. 실시간으로 촬영된 영상이 포틀 에픽에서 홀로그램으로 구현되는 방식이며 1:1 사이즈의 4k 고품질 영상의 전달 뿐 아니라 그림자 표현, 음성 등을 그대로 전달해 자연스러운 공간 이동을 가능하게 합니다. 다만 아직까지 피촬영자가 스튜디오 등에서 촬영해야 한다는 부분의 한계가 남아있긴 합니다.



HCI의 미래

과거에는 마우스나 키보드와 같은 물리적인 장치를 사용하는 것이 HCI 도구였으나 인터페이스의 직관성과 자연스러움을 저해하여 사용자가 컴퓨터를 활용하는 데 장애가 되었습니다. 따라서 시스템과 최대한 자연스럽게 상호작용할 수 있는 것이 이 분야에서 점점 더 중요해지고 있습니다. 또한 사용자 인터페이스가 디스플레이에 종속되지 않고 모든 일상 생활에 통합될 것이며 사용자에게 맞춰지고 유비쿼터스화 될 것입니다.

적응형 인터페이스와 지능형 클릭

AI의 발전을 통해 인터페이스는 점점 사용자의 행동과 주변 상황을 예측하여 간단한 움직임으로 상황에 맞는 동작을 선택할 수 있도록 진화해 갈 것입니다. 예를 들어, 집을 나와 조깅하는 상황에서 사물 인터넷은 집을 나갔다는 사실을 인지할 것이고 AI는 사용자가 집을 나가면 주로 음악을 듣는다는 패턴을 학습할 것입니다. 

이를 통해 사용자는 집을 나선 후 간단한 제스처만으로 음악을 틀고 볼륨을 조절할 수 있게 됩니다. 이처럼 앞으로는 하고 싶은 일을 하기 위해 메뉴를 클릭하는 대신 시스템이 그 일을 제안하고 간단한 클릭 제스처로 확인하는 '지능형 클릭'을 경험할 수 있습니다.

앰비언트 컴퓨팅

끝으로 앰비언트 컴퓨팅에 대해 소개하고 마치려 해요. '모든 것이 컴퓨터지만, 컴퓨터라는 걸 알아차리지 못하는 환경'이 바로 앰비언트 컴퓨팅입니다. 앰비언트 컴퓨팅은 컴퓨팅의 경계를 허물어서 컴퓨터를 인지하지 못하는 상태를 만드는 몰입형 상호작용의 최종 단계입니다. 이미 사물인터넷(IoT)을 통해 말 한 마디로 조명을 켜는 낮은 수준의 앰비언트 컴퓨팅을 경험하고 있지만 여전히 별도의 장치를 필요로 하고, 기기를 불러낼 단어를 말해야 합니다.


마치며

인류는 가까운 미래에 컴퓨터에 대한 인지 없이 자동으로 밝아지는 조명 아래서 요리하며 조리도구가 재료의 종류와 양을 파악해 나의 입맛에 맞게 조리하는 등 더 편리한 생활을 할 수 있을 것입니다. 사람이 컴퓨터에 맞추는 시대에서 컴퓨터가 사람에게 맞추는 시대로 변화하는 것이지요. 영화 '마이너리티 리포트'에 등장할 법한 일들은 머지 않은 미래에 우리 모두의 일상에서 일어날 것이고 새로운 라이프스타일의 중심에 머지리티가 함께할 것이라 믿습니다.

Contact us

일반문의 - official@mergerity.com

투자문의 - ir@mergerity.com
언론보도 – media@mergerity.com
파트너쉽 – partnership@mergerity.com

Social Media

3F, 211, Hakdong-ro, Gangnam-gu, Seoul, Republic of Korea  

 02-545-2091 | official@mergerity.com


Contact us

일반문의 - official@mergerity.com

투자문의 - ir@mergerity.com
언론보도 – media@mergerity.com
파트너쉽 – partnership@mergerity.com

Contact Info

official@mergerity.com

3F, 211, Hakdong-ro, Gangnam-gu, 

Seoul, Republic of Korea