이번 글에서는 빅데이터 분석이 발달하면서 화두가 되었던 2012년을 기점으로 어떠한 진화의 양상을 보여주고 있는지에 대한 내용을 다뤄보고자 한다. 이를 위해 진화 개념을 개관하고 진화의 배경과 현재 2.0을 기점으로 1.0과 3.0을 비교하여 논의해 본다.
 

빅데이터 분석의 진화

빅데이터 분석의 진화를 웹의 진화 관점에서 관찰해보자. 인터넷은 웹1.0에서 웹2.0으로 진화해 왔다. 웹1.0이 인터넷에서 문자, 영상, 음성 등을 표현할 수 있는 신기술 수준이었다면, 웹2.0에는 참여ㆍ공유ㆍ개방 철학이 담겨 있으며, 페이스북 등의 서비스 플랫폼 개념에 대한 논의였다.
2005년 ‘웹2.0 컨퍼런스’에서 팀오릴리(O’reilly)는 새로운 가치를 창조하는 웹 트렌드로 ‘플랫폼으로서의 웹(Web as a Platform)’을 제시했다. 이후 노바 스피백(Nova Spivack)은 웹3.0을 거론했는데, 그에 따르면 웹3.0은 보다 실행적인 기능적 플랫폼 기반의 서비스를 제공하고, 보다 지능적인 서비스를 제공한다.
웹3.0 환경에서는 지금까지 불가능했던 수없이 많은 지능이 자기증식 과정을 거쳐 사람과 사람, 사람과 사물, 사물과 사물 간에 현실과 가상세계를 언제나 실시간으로 연결시키는 만물이 통하는 서비스를 실현하는 다차원적 웹 플랫폼이 된다.
이러한 웹의 진화 환경을 보면 미래 인터넷이 어떠한 방향으로 진화해 나갈 것인지를 가늠할 수 있게 된다. 즉, 미래 웹은 현실 세계의 물리공간과 상호 연동하면서 더욱 지능화되고, 각 개인이 처한 상황에 따라 스스로를 추론해 제공할 수 있는 상황인지적 환경으로 진화될 것으로 기대된다.
2007년 1월 ‘세계경제포럼(WEF)’에서는 ‘웹 2.0을 넘어’라는 주제로 데이터의 이용 편의성을 획기적으로 증진시킬 웹3.0시대에 대한 논의가 있었다. 이 논의에서 웹3.0 인터넷은 온라인에서 얻을 수 있는 엄청난 양의 정보를 개인들이 손쉽게 활용할 수 있도록 도와주는 가이드 역할을 할 것으로 전망된 바 있다.
이를 빅데이터와 연계해보자. 인터넷서비스의 중심인 웹의 진화와 마찬가지로 개인화, 실감화, 지능형 UI가 점차 가능해지면서 처음에 고려했던 빅데이터 분석도 점차 진화하게 된다. 빅데이터의 원년이 된 2012년 빅데이터 개념과 특성은 빅데이터 기술에 초점이 맞추어져 있었다.
위키피디아의 개념 정의만 보아도 빅데이터는 기존 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술 모두를 의미한다.
빅데이터 분석 기법은 빅데이터의 분석, 활용을 위한 빅데이터 처리 기법이며, 크게 분석 기술과 표현 기술로 나뉘는 경향이 있다. 분석 기술 내지 기법들은 기존 통계학과 전산학에서 사용되던 데이터마이닝, 기계학습, 자연언어처리, 패턴인식 등이다.
특히 소셜미디어 등 비정형 데이터의 증가로 인해 빅데이터 분석 기법 중에서도 텍스트 마이닝, 오피니언 마이닝, 소셜네트워크 분석, 군집분석 등이 주목을 받고 있다. 이러한 다양한 분석기법들은 다시 그 수준별로 구분되어 기본분석과 심층 분석으로 나뉘는 경향이 있다. 가장 기초가 되는 리포팅과 관련한 기본분석은 마치 산수와 같은 더하기 빼기 등의 집계 통계이며, 이를 그래프로 보여주는 영역이다.
한편, 심층 분석은 빅데이터가 이슈가 되면서 텍스트마이닝 분석을 여기에 해당시킨다. 특히 영향력 분석 같은 소셜네트워크 분석 등은 기존에 없던 분석이라 심층 분석으로 불리며, 네트워크 중심인물과 확산, 도달 정보 등 소셜미디어에서 흩어진 데이터들을 분석하는 기법이다.
챈들러(Chandler)는 더욱 다양해지는 데이터에서 추가적 인사이트(Insight) 기회가 제공되게 하려면 더욱 강력한 분석기법들이 결합되어야 한다고 강조한다. 챈들러는 4가지 분석 기법 유형을 나열했는데, 빅데이터 진화 과정을 잘 설명해 주는 구분이라 소개한다.
그가 제시한 4가지 분석 기법 내지 기능은 기존의 서술적(Descriptive) 분석 기능, 처방적(Diagnostic), 예측적(Predictive), 그리고 예방적(Prescriptive) 분석 기능이다. 이중에서 예방적 기능은 의사결정을 지원하며, 더욱 진화하면 의사결정의 자동화(Decision automation)까지도 가능하게 할 것으로 기대된다. 빅데이터 분석이 왜 진화할 수밖에 없는지 살펴보고, 빅데이터 분석 1.0, 2.0, 3.0으로의 진화과정을 살펴보자.
 

빅데이터 분석 진화의 배경

그림 1 Davenport가 제시한 빅데이터 분석의 진화

한국 내에서는 빅데이터라고 여겨지는 소셜 데이터 기반의 소셜 버즈분석을 해보는 것이 한 때 유행이었다. 하지만, 실제로 기업과 관련된 버즈를 모아봐야 결국은 ‘빅’이 아닌 ‘스몰’ 데이터였다는 푸념이 이어진다. 이미 알고 있는 것을 숫자로 확인하는 수준이라는 것이다.
한편, 지금도 쏟아지고 있는 새로운 데이터 소스의 등장으로 넘쳐나는 데이터를 경험했다. 그리고 이러한 데이터 소스의 확장은 이미 한 두 해의 이야기가 아니다. 데이터 웨어하우징, 비즈니스 인텔리전스(Business Intelligence, 이하 BI) 및 OLAP 등은 20여 년 전에는 없었다. 하지만 이는 이미 보편화되었는데, 이에 공헌한 것은 다름 아닌 이를 이용한 기업 사례들이다.
이 사례들은 가치를 보여주었고, ROI를 입증했을 뿐만 아니라, 기업의 비즈니스 방법이 어떻게 발전할 수 있는지 잘 보여주었다. 그런데 데이터를 생산하는 소스나 그 형식이 더욱 새롭고 다양해지면서, 이제 해야 할 일은 새로운 데이터 소스 활용을 통해 비즈니스 가치 창출 방법을 입증할 수 있는 또 다른 기업사례들을 만들어 가는 것이다.
하지만, 이제는 데이터 양 자체에 주목하기 보다는 새로운 정보를 최적화함으로써 비즈니스에 긍정적 영향을 끼칠 수 있는 실제적인 빅데이터 분석방법을 새롭게 모색하는 것이 더욱 중요해진다. 그 어느 때보다 이용할 수 있는 데이터양과 다양성이 증가하는 상황에서 기업들은 이전의 분석기법에만 만족하고 그저 손 놓고 있지는 않을 것이다. 이것이 빅데이터 분석의 진화가 필요하게 된 배경이다.

1.0에서 2.0으로

딜로이트 애널리틱스 연구소의 고팔크리쉬넌(Gopalkrishnan) 등은 빅데이터를 수집하는 수준에 머무르지 않고 기업의 의사결정 과정에 빅데이터 수집과 분석을 적극 통합해내는 빅데이터2.0으로 나아갈 때 기업이 원하는 가치를 얻을 수 있다고 주장한다.
이들에 의하면, 빅데이터2.0을 규정하는 요소는 크게 3가지다. 첫 번째는 고객 행동에 영향을 미치는 것(Shaping customer behavior)이다. 1.0에서는 단순히 고객 소리를 분석해 호불호 판단에 그쳤다면, 2.0에서는 기업의 전략 수단이 고객 행동에 미치는 영향을 분석해 고객 행동을 통제할 수 있어야 한다.
두 번째는 신상품과 서비스를 창출하는 것(Creation of new product or service)이다. 기업이 데이터 분석을 통해 얻어낸 인사이트는 내부 효율성 제고 이상으로 추가적 기회를 만들어낼 수 있는 가능성을 가지고 있다. 마지막은 데이터를 보는 생태계적 시각(Ecosystem view of data)이다. 빅데이터 분석 가치는 기업 외부에 널려있는 데이터를 공격적으로 결합해 인사이트를 넓혀가는 데 있다.
이상에서 말하는 빅데이터2.0 시대는 이미 도래했다. 실제로 빅데이터를 활용하여 엄청난 수익을 내는 회사가 증가하는 추세를 보여주는 수치가 있다. IBM은 빅데이터 관련 상품과 서비스로 2012년부터 매해 1조 이상 매출을 올리며, HP도 빅데이터 관련 상품으로 7천억 이상 매출을 기록했다. 빅데이터 저장, 사용, 분석을 위한 인프라 구축으로 1.0 기반이 마련되었고, 이제 2.0시대가 열린 것이다.
이러한 빅데이터 2.0시대, 벤처비트(Venture.com)의 메라(Mehra)는 또 다시 3가지 이슈들을 언급한다. 첫 번째는 ‘속도(Speed)’이다. 기하급수적으로 커지는 데이터를 빠르게 분석할 수 있는 기술이 무엇보다 중요해진 것이다.
최근에는 대부분 빅데이터 분석 서비스 제공 업체들이 인메모리 프로세스(In-memory Process)처럼 데이터를 신속히 처리하는 제품을 제공한다고 홍보하는 모습을 여기저기서 접하게 된다.
두 번째 이슈는 ‘데이터의 품질’이다. 1.0시대 빅데이터를 논할 때는 데이터 품질이 큰 이슈 사항이 아니었다. 그러나 데이터 발생량의 폭발적 증가로 데이터 품질이 중요한 이슈로 떠오른다. 데이터가 처리, 분석되어 어떠한 결정에 도달하는 속도는 이미 인간의 두뇌로 따라갈 수 있는 범주를 넘어섰다.
마지막 이슈는 ‘응용 프로그램’이다. 빅데이터를 분석해 비즈니스에 반영하고 싶은 기업 수요는 증가하였으나, 기술적 문제로 인해 빅데이터 활용 기업은 미미하다. 벤처들이 데이터 분석을 위한 특별한 인프라나 데이터과학자 채용 없이도 상용화된 앱으로 빅데이터 분석을 할 수 있다. 이를 활용하는 일반 기업들은 자사 고객의 연결된 정보를 여러 채널을 통해 통합적으로 분석하고 고객이 원하는 제품과 서비스를 제공해 더 많은 이익을 기대할 수 있다.
최근 블룸버그TV(Bloomberg TV)에 따르면, 아시안 그룹 CEO인 스티브 샤인(Steve Shine)은 ‘블룸버그 웨스트’라는 TV 프로그램 인터뷰에서 빅데이터2.0 시대는 기업, IoT, 소셜미디어, 서비스로서의 소프트웨어(SaaS; Software as a service) 등 4대 축을 중심으로 진행될 것으로 주장했다.
눈 여겨 볼 축은 IoT와 SaaS이다. IBM은 2013년 연례보고서에서 2015년까지 지구상에서 데이터를 생산하고 전달할 수 있는 유닛이 1조 개를 넘어설 것이라고 분석했는데, 유닛이 바로 사물(Thing)이다. SaaS를 빅데이터 분석의 진화 관점에서 살펴보면 3.0으로의 진화 방향을 가늠하게 될 것이다.

2.0에서 3.0으로

그림 2 UPS ORION의 실적(2013년 5월 기준)

빅데이터 분석 이론가인 데이븐포트(Davenport)는 빅데이터 분석 진화과정을 1.0, 2.0 외에 3.0으로 구분하여 설명하면서 구글과 야후, 이베이, 아마존 등은 이미 데이터 및 분석 기반으로 고객을 위한 신규 서비스를 창출하고 있다고 언급했다.
데이븐포트에 의하면, 분석1.0은 내부 데이터나 구조화된 스몰 데이터가 활용되는 단계로 시기적으로 보면 1954년 UPS의 데이터 분석에서 2009년까지이다. 데이터 소스는 작고 정형 데이터이며 주로 내부 데이터이다. 분석 업무는 서술적 분석(Descriptive analytics) 내지 리포팅(Reporting)이다.
분석모델의 생성은 ‘일괄(Batch)’ 프로세스이며, 작업에는 종종 수개월이 소요된다. 계량 분석가는 비즈니스 인력 및 ‘밀실’ 의사결정 인력에서 제외되었고, 분석의 전략적 중요성도 미미하다. 기술적으로 분석1.0의 데이터 환경은 기업 데이터 웨어하우스(Enterprise data warehouse)와 데이터마트(Data mart)이다.
UPS의 데이터분석 시스템 ‘오리온(ORION; On-Road Integrated Optimization and Navigation)’의 성과는 그림 2와 같다. UPS는 빅데이터에 그다지 익숙하지 않은 기업이지만 데이터분석 시스템을 준비해나갔고, 결국 1980년대 초에 화물 운송 추적시스템을 도입했다.

그림 3 분석2.0의 데이터 환경

그 이후 2013년 5월 시점에 이 회사가 하루에 추적하는 화물의 수는 1,630만개(880만 고객)에 달하고, 고객의 일일 배송 추적 요청은 평균 3,950만 건에 이르렀으며, 16페타바이트 이상의 데이터를 저장하고 관리한다. 이 기업은 연간 매출 약 540억 달러의 운송 및 물류 대기업으로 성장했는데, 주된 경영 목표는 ‘효율성’이다.
이를 위해 수천 대 트럭 센서 데이터 분석이 가능한 각 운전자에게 가장 효율적인 화물 배달 경로를 제공하는 시스템인 오리온이 구축된 것이다. 이는 트럭 부품이 언제 고장 날 지 예측하는 등의 예방 보수 계획과 각 운전자의 후진 및 U턴 횟수 관찰을 통해 관리자가 추가적 교육을 실시하는데도 활용된다.

표 1 분석 1.0, 2.0, 3.0 요약 [출처: Davenport(2013a)]

그림 4 ORION 시스템을 이용하는 최적화된 루트 지도

오리온의 알고리즘은 이미 오래 전부터 랩(Lab)에서 개발되기 시작했다고 한다. 2003~2009년 다양한 UPS 사이트에서 테스트되었고, 2010~2011년 8개 사이트에 오리온을 시험 운영한 후 2012년에 6개 베타 사이트에 배치되기에 이른다.
필수적 데이터를 수집하기 위해 UPS 운영 연구진들은 2008년 향상된 GPS 추적 설비와 자동차 센서를 설치하여 텔레매틱스 기술도 실험하기 시작했다. 이러한 일련의 기술적 통합이 UPS로 하여금 차량 이동경로와 퍼포먼스, 그리고 운전자의 안전 관련 데이터를 찾게 하는데 일조하게 된다.
데이븐포트와 뒤쉐(Davenport & Dyche)에 따르면, 최근 UPS가 수집하고 있는 빅데이터 대부분은 46,000대 이상의 화물 운송 차량에 장착된 텔레매틱스 센서에서 생성된 것들이며, 화물 트럭에 관한 데이터에는 운행 속도, 방향, 제동, 동력 전달 성능에 관한 정보가 포함되어 있다고 한다.
또한, 이 데이터들은 일상 성능을 모니터링 할 뿐만 아니라 운전기사들의 운행 노선을 획기적으로 개선하는 데에도 사용된다고 한다. 오리온은 온라인 맵 데이터를 본격적으로 활용해 배송 기사의 집배 및 전달 시스템을 실시간 변경할 수 있게도 해준다.
배송 기사 한 명이 매일 1 마일씩 운행 거리를 단축해도 이 회사는 3천만 달러를 절약하는 셈이다. 이 외에도 UPS는 데이터와 분석 기술을 활용해 매일 2천여 건에 달하는 항공기 운항의 효율성을 극대화하는데도 주력하고 있다.
다음은 분석2.0이다. 이는 2005~2012년 기간으로, 구글과 야후, 이베이 등을 중심으로 하둡 기반의 빅데이터 플랫폼을 만든 시기이다. 데이터소스는 내부보다 외부 소스가 더 많아지고, 비정형적 특성을 갖는다.
데이터 저장은 하둡을 실행하는 대규모 병렬 서버에 저장해 전반적인 분석 속도가 빨라졌고, 시각적 분석도 중요해지며, 데이터 과학자는 밀실 작업에 만족하지 않고, 점차 신제품 제공에도 참여하면서 비즈니스 운영에 일조하기 시작한다. 기술적으로 분석2.0 데이터 환경은 위의 그림 3과 같이 하둡 기반 비정형데이터 시대인 셈이다.
이는 현재에도 지속되고 있다. 포브스 지의 콘라드(Konrad)에 의하면, 오랜 구축 기간을 거쳐 2012년 오리온 베타 서비스를 시작한 UPS는 최적화된 루트 지도를 통해(그림 4 참조) 운송 거리 530만 마일 절감, 엔진 유휴 시간 1,000만 분 감소, 246만 리터 연료 절감, 탄소 배출량 6,500톤 이상 감소 등의 효용성 관련 효과를 얻게 되었다.
마지막으로 데이븐포트가 말하는 분석3.0은 분석 자체가 전략적 자산인 시대를 말한다. 2013년부터 시작되었다고 관찰되는데, 빅데이터 분석과 전통적 분석이 함께 활용되기 시작했으며, 온라인 업체뿐만 아니라 업종을 총 망라한 모든 유형의 기업들이 데이터 주도형 경제에 참여하기 시작하는 단계이다.
즉, 분석의 잠재성을 활용하고자 하는 업종이나 기업이면 누구나(은행, 제조업체, 보건의료 기관, 소매업체 등) 빅데이터를 활용해 고객을 위한 데이터 기반 서비스를 개발하고 내부 의사결정을 지원할 수 있게 되는 시기가 된다. 데이븐포트가 제시한 분석 1.0, 2.0, 3.0을 시기, 문화, 분석 유형, 데이터, 기술, 그리고 조직 및 역량별로 요약하면 표 1과 같다.
분석3.0 시대, 즉 본격적인 데이터 기반 경제 시대에는 일반 기업들로 하여금 빅데이터 분석을 어떠한 기술적 장애요인 없이 자유롭게 활용하게 하는 것이 관건이 된다. 즉, 이들로 하여금 자사의 경영 효율성 제고 외에 다양한 신규 비즈니스모델들을 개발할 수 있도록 빅데이터 인프라와 분석 및 소프트웨어가 서비스(SaaS)로서 제공되어야 한다.
따라서 이제 막 문을 두드리기 시작한 빅데이터3.0 시대는 곧 빅데이터 기반의 SaaS 시대가 열리는 것을 의미한다.

송민정  교수(성균관대학교 휴먼ICT융합학과)