원격 커뮤니케이션을 대면에 가깝게 할 수 있는 텔레프레전스(telepresence)의 기본적인 접근 방식은 영상 통화이다. 현재는 대형 고정세 액정 디스플레이가 저렴해졌고, 사람 크기와 같은 크기로 고해상도의 영상 통화가 가능해졌다. 그러나 앞으로 8K를 넘는 해상도의 영상 통화가 가능해진다고 해도 사람의 눈으로는 차이를 인식하기 어렵기 때문에 이 접근 방식으로 창출할 수 있는 공간 공유감(상대와 같은 공간에 있는 감각)은 한계에 근접했다고 할 수 있다. 실제로 단신 부임이나 자취 등으로 가족이나 연인과 떨어져 사는 외로움 때문에 우울증을 앓는 정신건강 문제가 영상 통화의 보급으로 해결된다고는 할 수 없다.

 

최근의 코로나19 시국에서는 외출 자제 때문에 직접 만날 수 없는 것이 원인으로 연인끼리 헤어지게 되는 ‘코로나 파국’이라고 불리는 문제나, 원격 강의로 대학을 다닐 수 없는 학생이 새로운 친구 관계를 구축하지 못하고 심한 고독감 때문에 자퇴해 버리는 문제도 발생하고 있어 사람들의 심신 건강을 유지하고 개선하기 위해 새로운 기술을 개발하는 것이 시급하다.

 

공간 공유감은 감성적인 지표로 기본적으로 설문조사로 평가되고 있지만, 공간 공유감이 저하됨에 따라 커뮤니케이션에 미치는 영향은 여러 가지 측면에서 검증되어 왔다. 우선 영상 통화에서는 대화의 화자 교대, 발화의 중복, 맞장구 빈도가 감소하는 것으로 알려져 있다. 이 현상은 상대방이 말하기 시작하거나 말을 끝내는 타이밍을 알 수 없어 생기기 때문에 음성 통화에서는 더욱 두드러진다.

 

대면 대화에서는 상대방이 말을 끝내는 타이밍에 즉시 말을 시작할 수 있지만, 그것이 어려워지면 1회의 발화 시간이 길어지거나 맞장구를 치기 어려워지거나 화자 교대가 원활하게 이루어지지 않게 된다. 영상 통화에서는 상대방의 행동이 보이기 때문에 음성 통화보다는 이 현상이 개선된다.

 

또한, 얼굴만 보이는 영상과 비교해 보여지는 상대방의 신체 범위가 확대되면 개선된다고도 알려져 있지만 대면 대화에는 미치지 못한다. 필자의 연구에서는 한 차례의 발화를 상세하게 분석해 상대방의 행동을 전달하지 못하는 원격 대화 미디어에서는 발화의 끊김이 증가한다는 것을 나타냈다. 이것은 상대방이 이야기를 듣고 있는 상태를 파악하기 어렵기 때문에 생기는 긴장감이 영향을 미친다고 생각된다.

 

다른 문제는 영상 통화에서는 상대 영상을 표시하는 디스플레이 위치와 사용자를 촬영하는 카메라의 위치가 다르기 때문에 당연히 아이 콘택트나 공동 주의가 일어나기 어렵다. 이 현상에 의해 영상 통화를 통한 공동작업에서는 상대방에 대한 호의적인 인상이나 지적인 인상이 저하된다고 보고되어 있다.

이에 반해 아이 콘택트가 생기도록 조정하는 것, 상대 영상의 실제 크기 표시, 입체시를 가능하게 함으로써 상대방과의 공간 공유감이 높아진다고 알려져 있다. 그렇지만 디스플레이 너머로 상대방을 본다고 하는 영상 통화의 성질 그 자체가 공간 공유감을 저하시키고 있을 가능성이 있다.

 

원숭이를 대상으로 한 실험에서는 상대방과의 거리가 가까운 경우와 먼 경우에 활성화되는 미러 뉴런이 다르고, 유리 너머로 대면하고 있는 상황에서는 상대방과의 거리가 가까움에도 불구하고 먼 경우와 마찬가지로 미러 뉴런이 활성화된다는 것을 알 수 있다. 즉, 디스플레이라는 유리 너머의 대화라는 인지가 공간 공유감에 악영향을 미친다고 생각된다.

 

필자의 지금까지의 연구에서는 거리나 디스플레이에 의한 공간적 차이를 넘어 상대방과 물체를 공유하거나 접촉할 수 있게 함으로써 사용자의 인지가 변화하고, 공간 공유감을 높일 수 있다고 생각해 영상 통화에 로봇을 결합한 다양한 원격 대화 시스템을 개발해 왔다. 이 글에서는 그 시스템들을 소개한다.

 

영상 통화＋물체 공유

 

영상 통화에서 서류 등을 공유하는 목적은 공동작업을 효율화하기 위해서이다. 미디어 공간에 관한 연구의 대부분은 디스플레이에 표시하거나 영상화된 서류를 책상 위에 프로젝터로 투영해 서류를 공유한다.

 

 

한편, 필자의 연구에서는 공간 공유감을 강화하기 위해 종이 서류를 물리적으로 공유하는 시스템(그림 1)을 제안했다. 이 시스템에서는 상대방을 표시하는 영상 통화용 디스플레이 뒤쪽에 로봇 암을 설치하고, 상대방이 서류를 내미는 손의 움직임에 맞춰 로봇 암이 서류를 디스플레이 뒤쪽에서 내보냄으로써 공간적 차이를 넘어 종이 서류를 받은 것처럼 느껴진다.

 

또한, 사용자가 서류에 쓴 내용은 디지털 펜에 의해 자동적으로 화상화되어 상대방의 프린터로 인쇄된다. 그리고 사용자가 서류를 디스플레이 아래의 틈새로 내밀면, 이번에는 그 손의 움직임에 맞춰 상대방의 로봇 암이 인쇄된 종이를 내보내는 것이다. 이러한 구조에 의해 대면으로 서류를 주고받는 인터랙션을 재현하고 있다. 이 시스템과 영상으로 서류를 공유하는 시스템을 비교해 공간 공유감이 강화된다는 것을 보였다. 또한, 손의 움직임에 동기해 종이를 내보내는 것이 아니라 리모컨을 통해 자동적으로 종이를 내보내는 시스템과도 비교한 결과, 동일하게 물리적인 종이를 공유하고 있음에도 불구하고 자동적인 종이의 송출은 공간 공유감을 강화하는 효과가 크게 떨어졌다. 이 결과는 물리적인 물체 공유에 상대방의 신체 동작이 동반되는 것이 공간 공유감에 크게 기여하고 있음을 보여준다.

 

 

종이와 같이 쉽게 복제할 수 있는 물체가 아니라 보다 입체적인 물체를 피험자에게 전달하는 시스템(그림 2)도 개발했다. 이것도 서류 공유 시스템과 유사한 구조로 되어 있지만, 기계적인 외관의 로봇 암이 아니라 상대방의 팔과 유사한 외관을 가지고 있는 것을 사용하고 있으며, 예를 들어 인형을 건네는 경우에는 인형과 함께 손도 공간적 차이를 넘어서 내밀 수 있다. 또한, 영상 통화용 디스플레이 아래에 인형을 내미는 영상을 표시하는 또 다른 디스플레이가 설치되어 있어 인형이나 손을 영상으로 제시할 수도 있다. 물체만을 물리적으로 공유하는 효과와 함께 인간의 신체를 동반해 공유하는 효과를 확인하기 위해 영상으로 인형을 공유하는 조건, 인형을 굴려 전달하는 조건, 인형을 손으로 건네는 조건의 세 가지를 비교했다. 그 결과, 인형을 굴려 전달함으로써 물체만 공유하는 경우에도 공간 공유감은 강화되었지만, 신체를 동반하면 그 효과는 더욱 높아졌다.

 

이러한 연구 결과로부터 물리적 물체가 공간적 차이를 넘어 공유될 뿐만 아니라, 그 공유가 상대방의 움직임에 의해 이루어지고 있다고 믿는 사용자의 신념을 형성하는 표현이 공간 공유감 강화에 효과적이라고 생각된다.

 

거울형 영상 통화＋물체 공유

 

일반적인 영상 통화에서는 상대방 영상을 표시하는 디스플레이는 원격지 사이를 가로막는 창문이며, 시스템은 창문 너머로 사용자들끼리 대화하는 상황을 시뮬레이트하고 있다고 할 수 있다. 한편, 거울형 영상 통화에서는 양쪽의 사용자를 동일한 영상으로 합성해 표시하는 것으로, 그 이름처럼 시스템은 거울 너머로 사용자들끼리 대화하고 있는 상황을 시뮬레이트하고 있다. 따라서 일반적인 영상 통화보다 공간적 차이를 느끼지 못할 가능성은 있지만, 거울에 비쳤을 상대방이 같은 공간에는 존재하지 않는다는 모순(물리적 모순)이 생긴다. 이 물리적 모순을 줄임으로써 공간 공유감이 높아진다는 가설 하에 여러 가지 시스템을 개발했다.

 

 

우선 상대방이 실제 공간에 존재하지 않는 것을 시각적으로 확인할 수 없도록 칸막이를 설치한다. 그리고 이 칸막이를 넘어 물리적으로 물체를 공유함으로써 칸막이 건너편 쪽에 상대방이 있다는 상상을 환기시키는 것이 기본적인 아이디어이다. 예를 들어 공유하는 물체(이하 ‘공유물’이라고 부른다)로 긴 의자를 설치하고, 그 발에 부착한 전자석에 의해 상대방이 옆에 앉았을 때의 진동을 재현하는 시스템(그림 3)을 개발했다. 공유물은 당연히 거울에 비칠 필요가 있기 때문에 원격지 사이의 양쪽에 설치해 거울 영상 상으로 연결되어 보이도록 위치를 조정한다.

 

이 시스템에서는 거울 영상 상의 상대방이 서거나 앉거나 하는 움직임에 긴 의자의 진동을 동기시킴으로써 그 진동이 상대방의 움직임에 의해 생기고 있다는 신념을 형성하고, 상대방이 칸막이 건너편 쪽에 존재하는 상상을 촉진한다. 즉, 긴 의자는 상대방의 존재를 촉각으로 전달하는 모달리티(modality)로서 기능한다고 할 수 있다.

 

 

공유물은 거울 영상 상에서 공간적인 연결을 시각적으로 보여주는 효과가 있으며, 상대방의 신체 동작과 동기해 움직이면 그 효과가 높아질 가능성이 있다. 앞에서 말한 긴 의자의 경우 진동 시의 움직임은 매우 작기 때문에 시각적으로 상대방 움직임과의 동기를 전달하는 효과가 작았던 것으로 보인다. 그래서 공유물로 회전테이블을 사용하는 시스템(그림 4)도 개발했다. 회전테이블의 축은 서보모터를 사용하고 있으며, 한쪽을 손으로 회전시키면 또 다른 한쪽도 동기해 회전하도록 되어 있다. 따라서 두 개의 회전테이블이 거울 영상 상으로 연결되어 보이도록 설치하면 사용자끼리 한 개의 회전테이블을 서로 조작하고 있는 것처럼 보인다. 또한, 두 개의 회전테이블의 동일한 위치·각도에 물체를 놓으면(그림 4의 악어 인형), 그 물체는 거울 영상 상에서 하나의 물체로 보이기 때문에 회전테이블을 통해 물체를 주고받고 있는 것처럼 느껴진다.

 

이 시스템을 사용해 회전테이블을 움직이지 않는 조건, 상대방이 손으로 움직이는 조건, 리모컨으로 조작하는 조건을 비교한 결과, 리모컨에 의한 공유에서도 공간 공유감이 강화됐으며 손으로 움직이면 공간 공유감이 더욱 높아졌다. 즉, 공간적 연결을 공유물의 움직임으로 제시하는 것은 효과적이며, 그 움직임이 상대방의 신체 동작에서 유래한 것이라면 그 효과는 더욱 높아진다고 할 수 있다.

 

영상 통화＋신체 접촉

 

앞에서 소개한 시스템의 대부분은 물체 공유를 통해 간접적으로 상대방의 신체 동작을 전달하고 있다. 그중에서 그림 2에 나타낸 시스템은 상대방의 신체를 로봇으로 재현하고, 그 신체 부위 자체가 공유물이 됨으로써 직접적으로 상대방의 신체 동작을 전달하고 있다. 공유하는 신체 부위에서 사람과 접촉하는 촉감도 재현하고 상대방과의 신체 접촉을 중개함으로써 공간 공유감뿐만 아니라 사회적 결합(상대방에 대한 친밀감)도 강화할 수 있다고 생각했다.

 

멀리 떨어진 장소에 있는 상대방과의 신체 접촉을 재현하는 원격 신체 접촉에 관한 연구가 많이 이루어져 왔다. 이들 연구에서는 상대방이 접촉한 것을 진동과 같은 촉각 자극으로 제시하는 디바이스가 제안됐다. 그 대부분은 음성 통화를 대상으로 하고 있으며, 그 촉각 자극은 상대방의 얼굴이 보이지 않는 것에 의한 비언어 정보의 결여를 보완하는 모달리티로서 사용된다. 따라서 촉각 자극에 인코드된 비언어 정보를 상대방이 올바르게 디코드할 수 있는지가 주로 평가되고 있으며, 원격 신체 접촉에 의해 공간 공유감이 높아지는지는 거의 밝혀지지 않았다.

 

이에 대해 필자의 연구에서는 사람 손의 촉감을 재현하는 로봇 핸드를 개발해 영상 통화와 결합하는 데 유용한 인터페이스의 디자인 및 그 효과를 검증했다. 우선 영상 통화 화면상에 상대방의 손을 표시하고 실제 공간에 있는 로봇 핸드와의 움직임 동기를 제시하는 디자인을 생각할 수 있다.

 

앞에서도 논의한 바와 같이, 물체 공유에 있어서는 공유물의 움직임과 조작자의 움직임이 동기하고 있다고 믿는 신념 형성이 공간 공유감 강화에 유효하기 때문에 영상 통화의 원격 신체 접촉에서도 동기를 명시하는 것이 유효하게 작용할 가능성이 있다고 생각했다. 그러나 화면상에 상대방의 손을 표시하게 되면, 상대방의 손을 대체하는 로봇 핸드와 중복되기 때문에 로봇 핸드를 상대방의 신체라고 느끼기 힘들 가능성도 생각할 수 있었다.

 

그래서 동기를 명시하는 디자인에 대해 상대방의 손목에서부터 끝을 카메라 화각에서 빼고 영상 상의 팔 연장에 로봇 핸드를 설치함으로써 영상과 로봇 핸드가 위치적으로 연결되어 보이는 디자인(그림 5)을 비교했다. 그 결과 동기를 명시하는 디자인보다 위치적으로 연결되어 보이는 디자인 쪽이 공간 공유감을 강화하는 데 효과적이라는 것을 알 수 있었다. 또한, 이 유효한 디자인과 일반적인 영상 통화를 비교해 로봇 핸드를 통한 원격 신체 접촉이라도 사회적 결합을 강화할 수 있다는 것도 알았다. 상대방 영상과 실제 공간의 로봇이 위치적으로 연결되어 보이는 것을 위치적 일관성이라고 부른다.

 

영상 통화를 대상으로 한 원격 신체 접촉의 선행 연구에서는 키스를 재현하는 디바이스가 제안되어 있다. 이 디바이스는 꽉 누른 입술의 움직임을 센싱해 또 다른 한쪽의 디바이스로 재현하는 것이다. 이 디바이스는 영상 통화와는 일체로 되어 있지 않으며, 위치적 일관성은 고려되어 있지 않다. 나중에 스마트폰을 장착해 사용하는 디바이스도 제안되어 있으며, 위치적 일관성이 개선되어 있다. 그러나 상대방의 영상은 스마트폰의 작은 화면에 축소 표시되기 때문에 치수적인 일관성은 없다. 신체 접촉을 재현하는 디바이스는 기본적으로 상대방의 신체 대용으로 기능하기 때문에 실제 사람 크기이다. 따라서 축소 표시된 영상 통화와 결합하면 치수적 일관성은 반드시 손상되게 된다. 이하에서는 위치적·치수적 일관성이 없는 것을 위치적·치수적 모순이라고 부른다.

 

최근에는 스마트폰의 영상 통화 애플리케이션으로 손쉽게 영상 통화를 즐길 수 있게 되어 가족, 연인, 친구 등과 같은 친한 상대방과의 대화에서 사용되고 있다. 그래서 스마트폰 영상 통화의 원격 신체 접촉 디바이스의 디자인을 검토하기 위해 위치적·치수적 모순이 공간 공유감이나 사회적 결합에 어떻게 영향을 미치는지 조사했다.

 

이 연구에서는 그림 6과 같이 스마트폰과 로봇 핸드의 위치 관계를 바꾼 두 가지 조건(분리형 : 위치적·치수적 모순, 결합형 : 치수적 모순만)과 스마트폰의 일반적인 영상 통화를 비교했다. 그 결과 공간 공유감은 위치적․치수적 모순이 있더라도 강화된다는 것을 알았다. 공간 공유감은 ‘상대방에게 손을 잡히고 있는 감각’과 양의 상관을 볼 수 있었다. 이 감각은 피험자에 의하면, 로봇 핸드가 사용자의 손을 잡는 움직임이 대화의 흐름에 맞게 되어 있기 때문에 느낄 수 있었던 것 같다. 대화 상대역의 실험자는 정동적인 발화나 문구 말미 등에서 강조하려는 의도로 강하게 쥐는 조작을 하고 있으며, 이 조작에 의해 로봇 핸드의 움직임이 상대방 손의 움직임이라는 믿음이 형성되었다고 생각된다.

 

한편, 사회적 결합은 치수적 모순이 있어도 강화되지만, 위치적 모순이 있으면 약화된다는 것을 알 수 있었다. 사회적 결합은 ‘상대방의 손을 잡고 있는 감각’과 상관되는 경향이 있어 위치적 일관성에 의해 상대방의 손을 잡고 있다고 시각적으로 느낄 수 있는 것이 효과적으로 작용할 가능성이 있다.

 

앞으로의 전망 : VR＋신체 접촉

 

지금까지 소개해온 시스템은 영상 통화에서 상대방과의 공간적 차이를 물리적인 물체를 주고받거나 신체 접촉의 재현을 통해 줄이고 공간 공유감을 높이는 것이다. 공간적 차이를 느끼게 하는 큰 요인은 상대방 영상을 표시하는 디스플레이이며, 시스템이 상대방과의 물리적인 인터랙션을 중개한다고 해도 상대방과의 대화는 어디까지나 유리 너머에 있는 것처럼 느껴진다. 거울형 영상 통화도 물리적 모순을 해결하기 위해 칸막이 건너편 쪽에 거울에 비치는 상대방이 있다는 것을 ‘상상하게 하는’ 시스템이며, 칸막이에 의한 공간적인 차이는 역시 생기고 있다.

 

디스플레이를 사용하는 영상 통화에 대해, 최근에는 HMD(Head Mounted Display)를 이용하는 영상 통화가 연구되고 있다. 그 방법은 다양하지만, 상대방이나 자신도 같은 공간에 표시되기 때문에 높은 공간 공유감을 얻을 수 있을 것으로 기대된다. 예를 들어 가상공간에 사용자의 아바타를 표시하는 것을 들 수 있다. 그러나 아바타의 외견이나 행동의 리얼리티에 의해 공간 공유감이 변화된다는 것이 시사되고 있다. 같은 가상공간에 존재함으로써 상대방 아바타와의 공간 공유감은 높아지지만, 당연히 리얼리티가 낮은 아바타는 상대방 본인과 대면하는 감각은 저하된다.

 

가상공간뿐만 아니라 실제 공간에 있는 상대방과의 대화에도 HMD는 사용되고 있다. 사용자의 머리 움직임에 동기해 스테레오 카메라를 갖춘 로봇의 머리부를 원격 조작함으로써 원격지에 있는 상대방과 직접 대면할 수 있다. 그러나 이 시스템은 기본적으로 한 방향이며, 상대방에서 보면 사용자의 모습은 로봇이다. 가령 양방향으로 사용하더라도 양쪽의 사용자가 HMD를 장착하고 있기 때문에 상대방의 얼굴을 볼 수 없다.

 

HMD를 통한 원격 대화에서도 상대방의 얼굴을 볼 수 있도록 장착자 얼굴의 사실적인 CG 모델을 구축하는 기술이 제안되고 있다. 이것을 이용하면 가상공간에서 서로 상대방의 얼굴을 보면서 대화할 수 있게 된다. 그러나 상대방과 함께 존재하는 장소가 가상공간이라도 실제 공간에서 대면하는 것과 동등한 공간 공유감을 얻을 수 있는지는 밝혀져 있지 않다.

 

 

사용자가 존재하는 실제 공간에서 상대방의 물리적인 이동을 가능하게 하기 위해 원격 이동 로봇에 부착된 QR 코드의 위치에 상대방의 아바타를 표시하는 방법도 제안되고 있다. 이처럼 실제 공간의 로봇에 HMD의 영상을 비디오 시스루로 중첩함으로써 물리적인 이동뿐만 아니라 실제 공간의 물체 조작이나 신체 접촉도 가능해지고 또한 공간 공유감을 더욱 강화할 수 있는 가능성이 있다. 그 반면 추상적인 캐릭터든 사실적인 CG 모델이든 상대방의 모습이 CG로 표시되는 것과 HMD의 착용감 등 부정적인 영향이 있을 가능성을 배제할 수 없다.

 

 

현재 필자는 사람 손의 촉감을 재현하는 로봇 핸드(그림 5, 6의 시스템으로 개발한 것)와 손의 위치가 맞도록 CG 캐릭터의 아바타를 표시하고 서로 접촉할 수 있는 시스템을 시제작하고 있다. 앞으로 HMD를 통한 원격 대화에서 신체 접촉의 효과를 검증하기 위해 신체 접촉 유무의 요인, 상대방 모습을 표시하는 공간의 요인(영상 통화 : 디스플레이, HMD : 가상공간/비디오 시스루), 아바타의 외견 리얼리티 요인 등이 공간 공유감이나 사회적 결합에 미치는 영향을 조사할 예정이다.