KT 넥스알 이동환 팀장
국내사례로 보는 빅데이터 기술과 접근방법
빅데이터의 본질은 데이터를 활용해 통찰력을 얻고 이를 바로 비즈니스로 구현할 수 있는 데이터 주도형 기업으로 발전하게 하는데 있다. 이번 글에서는 실제로 비용감소, 매출 증대 등과 같은 비즈니스 목적을 기반으로 빅데이터 기술을 도입한 공공, 통신, IT, 금융 등의 사례를 공유하고 빅데이터 기술과 접근방법을 소개한다.
빅데이터 접근 방법
빅데이터를 3V(Volume, Velocity, Variety), 4V(추가 Value) 관점이 아닌 최근 각광받고 있는 오픈소스 기반의 빅데이터 솔루션의 개별 모듈이나 기술들이 각 기업·기관에 필요한 기술인지, 당면 과제를 해결할 수 있는 기술인지를 봐야 한다.
최근 뉴욕 까르띠에에서 강도 사건이 발생했다. 차가 많은 뉴욕 도심으로 강도 차량이 도주했다. 비슷한 시기에 유사한 패턴의 12개 강도 사건이 발생했다. 통신사에서 통화 데이터 로그(Log)를 받아 사건 발생 시간대에 통화했다는 가정 하에 도주 경로 기지국에 대한 정보를 매칭시켜 용의자 두 명을 체포했다. 이것이 바로 데이터를 3V, 4V 폴더에 가둬두는 것이 아니라 업무적인 부분으로 빅데이터를 활용하겠다는 관점이다.
예전에는 내가 가진 모든 데이터의 로그나 메타데이터(Metadata)는 의미 없는 데이터였다. 하지만 지금은 스마트폰으로 사진을 하나 찍더라도 나의 위치정보, 시간, 언어, 관심사 등을 프로파일링 할 수 있게 되다보니 예전에 의미 없던 데이터를 모았을 때 새로운 인사이트(Insight)를 발견하게 되고, 기업·기관은 파악하고 싶은 고객에게 좀 더 가까이 다가갈 수 있게 되었다. 이것이 빅데이터의 흐름이다.
이처럼 국내 경제성장률이 정체되어 있어 신규 고객 유치를 통한 수익 확대, 생산 비용의 절감, 최근 이슈가 되고 있는 내부 통제 및 보안성 강화, 신규 비즈니스 및 시장 발굴 등 기업의 당면 과제가 무엇인지를 생각하고, 이런 과제를 해결하기 위해 빅데이터가 필요한지 관점의 전환이 필요하다.
빅데이터 구축 사례
영화 <머니볼>에서는 재정이 어려운 야구 구단이 최저 비용으로 최고의 선수 영입이 해결해야 할 문제였고, 새로운 평가척도로 선수를 분석해야 한다는 문제해결의 새로운 접근 방법이 선수 스카우트에 적용되어 ‘데이터 고급분석’이 이뤄졌다. 독일의 무선 서비스 제공 회사 T-Mobile의 경우, 고객 이탈률 개선을 위해 그동안 활용하지 않았던 신규데이터나 위치정보를 활용하는 등 빅데이터 솔루션을 접목시켰다.
최근 국내에서는 마일리지 기반으로 보험료를 할인해주는 혜택이 등장했는데, 이는 미국의 자동차 보험회사인 Progressive가 운전패턴에 따른 보험료 인하 서비스 형태로 먼저 시행했다. GPS 데이터를 수집해 빅데이터 활용에 접근한 케이스다. 이처럼 많은 글로벌 기업들이 ‘해결해야 할 명확한 과제를 정의’하고, ‘문제해결의 새로운 접근 방법’으로 빅데이터를 활용하고 있다.
KT 넥스알은 100명 이상의 빅데이터 경험이 풍부한 오픈소스 전문가를 보유하고 있는 빅데이터 전문기업이다. 2007년부터 국내의 다양한 산업에서 기업의 빅데이터 프로젝트 구축의 경험을 보유하고 있으며, 차세대 빅데이터 통합 플랫폼과 빅데이터 고급 분석 솔루션을 갖고 있다.
KT 넥스알은 NDAP(NexR Data Analysis Platform) 솔루션으로 빅데이터 비즈니스를 해오고 있다. NDAP은 하둡(Hadop) 기반의 빅데이터 플랫폼 소프트웨어로 빅데이터 시스템을 구축하고 데이터 분석을 하는데 필요한 모든 기능을 제공한다.
사례를 살펴보면, 간혹 감에 의존한 비즈니스를 하는 기업이 있다. 이런 경우 비즈니스의 목적이나 실적이 불확실해질 수 있다. 보통 기업들이 BI(Business Intelligence), DW(Data Warehouse) 등을 이용한다.
대표적인 외국사례로 골드만삭스가 있다. 골드만삭스의 DW 사이즈는 100TB 정도이다. 우리나라 제1금융권 및 기업에 100TB가 넘는 기업도 많다. 골드만삭스는 하둡 기반으로 약 150HB의 데이터를 DW에 담아 분석한다.
KT의 경우, 기존에 CD-R에 데이터를 담았을 때 3개월 동안 40TB 정도만 담았다. 하지만 3G, LTE가 들어오면서 몇 배 많은 데이터가 모이게 되었고, 오라클을 기반으로 데이터를 담아뒀는데, 5년 기준 약 700~800억 원의 비용이 발생할 것으로 예산이 책정되었다.
그래서 KT는 NDAP 빅데이터 솔루션을 도입하게 되었다. 기존의 전통적인 방식은 데이터가 수집단계에서 밀리게 되면 수백만 원 정도의 서버를 계속 증설하는 방식이었다. 하지만 NDAP 솔루션 도입 이후 반영구적으로 데이터를 담을 수 있게 되었다.
최근 금융권에서도 빅데이터 도입을 추진하고 있는 추세다. KT 넥스알이 금융권과 프로젝트를 진행해본 결과, 카드 승인 거절률 개선에 효과가 있었다. 카드사의 수익은 고객이 카드 결제 시 수수료를 받는 것인데, 카드가 승인 거절되면 사용자들은 다른 카드를 꺼내 결제를 하게 된다. 1년에 2.4%의 승인 거절률이 있었는데 원인을 파악하고, 분석된 데이터를 통해 해결 방안을 도출해 내는 것을 하둡 기반으로 실행했고, 승인 거절률 약 50%를 줄일 수 있었다. 
차세대 빅데이터 플랫폼 NDAP
KT 넥스알의 NDAP는 차세대 빅데이터 플랫폼으로써 BI와 OI(Operational Intelligence)관점으로 다양하게 활용될 수 있다. 첫째, BI 관점에서 KT나 하둡을 통해 모여진 내외부 로그 데이터를 데이터 과학자들(Data Scientists)이 자유자재로 핸들링하면서 새로운 인사이트를 발견해낼 수 있도록 하는 것이 글로벌 트렌드다.
둘째, KT 넥스알은 공공 비즈니스도 많이 하고 있는데, 정부 3.0의 슬로건은 ‘개방’과 ‘공유’다. 각기 부처 데이터를 효과적으로 가져와 데이터를 매시업(Mashup)하고, 인사이트를 도출하는 것에 포커스를 두고 있다.
대표적인 것이 정부통합전산센터(대전, 광주)이다. 약 43개 정부 부처의 데이터를 갖고 있다. 시범사업으로 소방방재청 데이터 등을 모아 보안 등의 인프라적 부분을 많이 해결했고, 이를 분석해서 새로운 인사이트를 도출하는 부분도 내부적으로 완료된 상태이다.
서울시와 빅데이터 업무협약을 맺고, 서울시가 현재 해결해야 할 과제가 무엇인지 검토한 결과, 치안 문제가 주요 해결과제로 남아 있었다. 따라서 안전하게 귀가할 수 있는 방법을 빅데이터로 접근하게 되었고, 처음에는 택시의 GPS 데이터 활용 방법도 나왔다.
KT의 아이디어는 CD-R의 위치정보와 유동인구의 데이터를 분석해 심야버스를 배치할 수 있는 루트를 만들었다. 저렴한 비용으로 효과적으로 현안을 해결할 수 있는 사례였다.
셋째, 제조사례이다. 삼성, LG, 현대자동차 등의 국내 기업이 글로벌 기업으로 성장하면서 공장과 라인을 늘리는 등 제품 생산에 많은 비중을 두고 있다. 도요타의 리콜 사태가 발생한 이후 품질 공정에 대한 점검이 아닌 실시간으로 품질을 확인하고자 하는 니즈가 발생했다. 이 부분에 IT를 투자하면 비용이 많이 들고 관리/분석에도 많은 노력이 필요하다. 
휴대폰 제조 부품을 만드는 공장이 있는데, 데이터가 계속 늘어나면서 1년에 1~2억 원을 IT에 투자했다. 라인에서 떨어지는 각종 테스트공정 과정에서 수백 개의 지표에서 수십 가지의 결과값이 나온다고 한다.
이 부분에서 데이터를 전처리하는데 2~3시간이 걸리고, 하루치 넘는 것은 데이터 분석에 많은 시간이 걸리는 어려움이 있었다. 이 부분을 KT 넥스알이 비즈니스를 한 결과, 테스트공정에서의 비정형 데이터를 전처리를 거쳐 분석할 수밖에 없었던 것은 비정형 데이터가 다중구조로 되어 있어 어려움이 있었기 때문이었다.
이 데이터를 키 밸류(Key Value) 방식을 통해 빠르게 처리하다 보니, 전처리를 거치지 않고 바로 데이터를 받아서 2초 내에 분석할 수 있었다. 이것은 데이터가 많고, 복잡한 차원의 문제가 아니라 빅데이터의 요소 기술들을 업무의 니즈에 맞도록 활용하는 것이 ‘진정한 빅데이터’라는 의미인 것이다.
넷째, 보안에 활용할 수 있다. 최근 들어 개인정보 유출 등이 문제가 되고 있다. 국내에는 많은 수의 보안 기업들이 있다. 그럼에도 불구하고 보안이 뚫려 발생하는 피해가 자주 있다. 요즘 각광 받는 것이 코릴레이션(Co-Relation) 분석이다.
각종 보안 로그들을 통합해 담아두게 되고, 이를 기반으로 하여 데이터를 연관시켜 분석하는 것이 트렌드이다. 기업들은 개인정보 유출 사고가 발생하는 것 자체에 대해 생각하는 것이 아니라 여러 가지 데이터를 수집해 정해놓은 룰을 기반으로 세팅한 뒤에 분석함으로써 오·남용을 막고, 선제적 대응을 할 수 있도록 빅데이터 플랫폼을 기반으로 구축하고자 한다.
이밖에도 기업들이 스마트 기기와 업무를 연동하는 경우가 있는데, 여러 경로를 통한 기밀문서 유출의 우려가 있어 사내 로그 모니터링에 NDAP를 활용할 수 있다. 특히 퇴직자들에 의한 보안 관련 문제에 NDAP 빅데이터 분석을 활용해 내부통제를 가능하게 한다. 또한 NDAP 솔루션은 M2M에도 활용 가능하다.
