빅 데이터 비즈니스

빅 데이터 비즈니스

스즈키 료스케 지음

더숲 / 2012년 3월 / 237쪽 / 14,900원



제1장_ 빅 데이터 비즈니스란 무엇인가



거대한 조류 '빅 데이터 비즈니스'

2010년대 정보통신 분야의 커다란 조류 중 하나로 '빅 데이터 비즈니스'의 시작이 예상된다. 빅 데이터는 "사업에 도움이 되는 인사이트를 도출하기 위해 고해상, 고빈도로 생성되는 다양한 데이터"라고 정의된다. 또한 빅 데이터 비즈니스는 "빅 데이터를 활용하여 사회·경제적 문제를 해결하거나 사업의 부가가치를 향상시키고 지원하는 사업"을 말한다. 빅 데이터를 키워드로 하는 IT 활용이 화두가 된 배경에는 2001년 이후 IT를 기반으로 하는 전자화 및 자동화가 크게 발전하여 처리와 분석에 이용할 수 있는 데이터가 엄청나게 취득 및 축적되었다는 점이 자리하고 있다.

'소비자 동향과 같은 데이터를 취득하여 생성하고 이를 통해 인사이트를 도출하여 사업에 반영하자'는 생각은 수십 년 전부터 존재하여 왔다. 하지만 이런 일이 아무리 의미가 있더라도 2000년대 초반 '모든 국민에게 GPS 단말기와 전자 결제 시스템을 제공하고, 그 모든 데이터를 축적할 수 있는 거대한 서버를 마련해 데이터를 분석하자'는 주장을 하기에는 너무나도 벽이 높았다. 하지만 최근 10년 동안 IT 활용에 대한 투자가 진행되면서 대량의 데이터가 부수적으로 혹은 저절로 축적되었다. 데이터의 취득과 생성에 관한 모든 것을 처음부터 만들어야 했던 2001년과는 상황이 크게 달라진 것이다. 사용할 수 있는 데이터가 많아졌기 때문에 발 빠른 사업자들은 데이터를 활용하여 사업의 고도화와 효율화를 실현할 수 있는 경쟁 환경에 이미 돌입한 것이다.

빅 데이터를 활용하는 사업자는 크게 두 종류가 있다. 빅 데이터를 활용하여 본 사업의 부가가치를 증대하거나 효율화를 꾀하려는 이용사업자와, 그러한 사업자를 지원하려는 지원사업자이다. 사업자의 종류와 상관없이 빅 데이터를 활용한 비즈니스의 미래는 결코 장밋빛 세상만은 아니다. 빅 데이터의 활용이 진행되면 사회의 효율화와 최적화는 실현되겠지만 사업자의 입장에서 보면 그것은 심화된 경쟁 환경 속에서 이루어진 것이다. 이용사업자도 지원사업자도 격심한 경쟁에 직면하는 것이 불가피하다. 그렇다고 빅 데이터 활용을 배제한 채 사업을 진행한다면 심화된 경쟁에서의 패배감과 시장에서의 퇴출만이 기다리고 있을 뿐이다.

빅 데이터란 무엇인가

빅 데이터가 지녀야 할 특징은 크게 세 가지로 정리할 수 있다. 첫째, '고해상'이다. 기존에는 한데 묶어서 다루어왔던 현상을 각각의 요소로 분해하여 대응할 수 있는 데이터여야 한다. 예를 들어 '모든 클릭의 배경에는 무엇이 있는가?'라는 관심에 대응하기 위해서는 당연히 데이터의 해상도가 높아야 한다. 둘째, '고빈도 생성'이다. 취득이나 생성 혹은 처리 대상이 되는 데이터의 사이즈가 크지는 않더라도 매우 높은 빈도로 생성된다면 이것은 기존에는 불가능했던 실시간 정책의 실시를 가능하게 한다. 셋째 '다양성'이다. 정형적인 수치 데이터, 텍스트 데이터에 그치지 않고 웹 서비스를 이용한 유저의 기록, 방범 카메라 영상, 디지털 사이니지(Digital Signage: 기업의 마케팅, 광고 효과 및 고객의 실질적인 경험을 유도할 수 있는 커뮤니케이션 툴)를 보는 사람의 얼굴 사진, 위치 정보, 각종 센서에서 연계하여 활용하는 것도 요구된다. 데이터 자체의 특성과 더불어 데이터 활용에 있어서도 하나의 데이터 소스를 수백 명의 직원이 수백 가지 관점에서 분석하려는 요구가 늘어나고 있다는 점도 유의해야 한다.

IT 업계 4강의 거대 데이터 쟁탈전

빅 데이터 활용을 선도하는 사업자 중에는 빅 데이터에 필요한 기술적 기반을 새롭게 구축해가는 사업자가 많이 있다. 이들은 이용사업자나 지원사업자와 엄격히 구별되어 자체생산업자라고 불린다. 대표적인 자체생산업자로는 구글, 아마존 같은 웹 사업자가 있다. 이용사업자는 일반적인 제조, 유통, 금융 등의 사업을 전개하는 회사이며, 지원사업자는 시스템 통합이나 통신 같은 IT 서비스 제공 사업자이다.

2010년 5월 구글 CEO 에릭 슈미트는 인터넷 업계에서 가장 교묘하게 플랫폼 전략을 실시하는 사업자로 구글, 아마존, 페이스북, 애플을 4강으로 꼽았다. 그렇다면 이들 4강은 어떤 식으로 데이터를 활용하고 있을까? 구글은 검색 서비스로 소비자의 일반적인 관심 사항을 제어하고 있으며, 그 데이터를 다양한 매체(동영상, 블로그, 사진 등)로 보유하고 있다. 아마존은 상품의 구매 데이터 및 구매에 도달하기까지 동선 데이터, 신용카드 번호와 같은 결제 정보 등 어마어마한 양의 데이터를 보유하고 있다. 아마존은 "데이터는 왕이다(Data is King)."를 표방하면서 물품뿐 아니라 디지털 콘텐츠의 판매도 크게 늘리고 있다. 페이스북은 다량의 소셜 클럽 데이터를 확보하고 있다. 이 데이터를 근거로 하면 그 사람이 밝히지 않은 취미나 기호 혹은 그 사람의 의견이 누구에게 영향을 미치는지도 알 수 있다. 애플은 소비자와의 접점을 매력적인 디바이스로 제어하고 있다. 아이튠스 스토어를 통해 결제 정보를 보유하고 있고 디지털 콘텐츠를 중심으로 한 기호 정보와 구매 실적 데이터를 보유하고 있는 것도 애플만의 특징이다.

이용사업자가 빅 데이터 비즈니스에 착수해야 하는 이유

이용사업자들 사이에 빅 데이터를 활용하려는 분위기가 고조되고 있는 이유를 '제1의 벽'과 '제2의 벽'이라는 관점으로 정리해보자. 제1의 벽이란 전자화, 자동화가 되어 있는지 여부를 구분하는 벽이다. 아직까지 비효율적인 절차, 즉 서류와 도장이 사내를 돌아다니는 회사는 제1의 벽을 넘지 못한 것이다. 제1의 벽을 넘어선 사업자는 다음 과제로 무엇을 생각할까? 대부분 "전자화, 자동화를 이루기는 했는데 뭔가 새로운 부가가치를 창출할 수 없을까?"라는 고민에 빠져 있다. 눈앞에는 막대한 데이터가 생성되어 축적되어 있는데, 그냥 쌓여 있을 뿐이다. 이를 활용하여 새로운 부가가치를 창출하는 사업자는 많지 않다. 즉 IT를 활용한 제2의 벽(인사이트 도출의 벽)에 직면해 있는 상황이다. 앞에서 언급한 아마존은 제2의 벽을 뛰어 넘은 좋은 예이다.

빅 데이터는 기업에서 이노베이션을 실현하기 위한 견실한 방법이다. 스티브 잡스 같은 경영자나 신규 사업을 일으킬 만한 뛰어난 인재가 없는 기업은 우직하게 다양한 정책을 시행하면서 혁신을 이룩해야 한다. 그 방법론 중 하나가 빅 데이터의 활용이다. 기본적인 사고방식은 '개별적이고 즉각적이고 다면적인 검토를 거친 부가가치를 제공'하는 것이며, 이용사업자의 각 업무 단계에서 효용을 기대할 수 있다. 예를 들어 제품 개발 단계에서는 제품의 이용 상황에 관한 데이터를 취득함으로써 개발 단계 때 주안점을 명확히 할 수 있다. 마케팅 부문에서는 구매 이력, 매장이나 사이트 내에서의 동선, 기호, 소득 수준, 며칠 전 친구가 SNS 사이트에서 권했던 브랜드 등을 종합적으로 감안한 마케팅 활동이 가능해진다.

왜 지원사업자는 빅 데이터 비즈니스에 뛰어 들었는가

지원사업자는 이용사업자가 제2의 벽을 뛰어넘을 수 있도록 지원한다. 똑같은 IT 활용이라도 두 가지 벽을 넘는 데 요구되는 행동의 범위는 전혀 다르다. 인사이트 도출을 목적으로 하는 지원에서는 기존 전자화 및 자동화를 지원하던 때의 업무처럼 시스템 사양을 결정하거나 이를 정확하게 실행하는 것만으로는 부가가치를 만들어 낼 수 없다. 따라서 지원사업자는 지금까지 구축해 온 행동상의 범위를 바꾸어야 한다. 지원사업자가 빅 데이터 비즈니스에 뛰어들어야 하는 이유는 다음 네 가지 이다.

첫째, 전자화 및 자동화에 대한 이용사업자의 IT 투자가 전반적으로 거의 다 이루어졌다. 둘째, 클라우드의 영향으로 정보통신기술 시장 전체가 축소 경향을 보이고 있다. 대부분의 사업자들이 정보 시스템과 관련된 비용을 줄이기 위해 클라우드를 이용하고 있기 때문이다. 셋째, 하드웨어 성능이 크게 향상되었다. 특히 계산 능력을 나타내는 프로세서, 저장 용량을 나타내는 스토리지, 서버 간 통신 성능의 비용당 성능 향상이 두드러지고 있다. 넷째, 빅 데이터 활용을 지원하는 상품과 기술 개발이 활발하게 이루어지고 있다. 예를 들면 대용량 데이터를 축적하여 활용하기 위한 데이터웨어하우스, 데이터를 분석 가능한 상태로 만들기 위한 마스터 데이터 매니지먼트 관련 기술이나 서비스 등이 있다.

제2장_ 빅 데이터 비즈니스의 효용과 그 활용의 예



이용사업자의 관점에서 본 빅 데이터 비즈니스의 효용

빅 데이터 비즈니스에 필요한 전자화, 자동화가 성숙 단계에 이르렀음을 상징하는 것이 2000년대 후반 주목을 끈 클라우드이다. 오늘날 클라우드는 빅 데이터 비즈니스의 요람 역할을 담당하고 있다. 초기 투자나 환경 구축 과정을 거치지 않고도 대용량 데이터를 축적하여 처리할 수 있는 환경을 제공하기 때문이다. 그래서 클라우드를 이용하는 신생 사업자가 얻을 수 있는 효용이 매우 크다. 데이터를 분석해야 한다는 의지는 있는데, 정작 분석을 위한 계산 자원과 투자 예산이 부족한 경우가 많기 때문이다.

빅 데이터에서 인사이트를 도출한다는 것은 데이터에서 어떤 경향이나 법칙을 이끌어낸다는 의미인데, 그 작업을 컴퓨터로 실현시킬 수 있는 기술, 즉 기계학습도 클라우드 서비스로 제공되기 시작했다. 구글이 제공하는 Prediction API 등이 이에 해당한다. "휴대전화, 오픈 소스 소프트웨어, 클라우드의 등장으로 신생 사업자의 사업 의지를 가로막는 장벽이 극적으로 낮아지고 있다."는 말에서 드러난 것처럼, 신규 사업으로 인터넷 서비스를 시작하는 데 필요한 IT 환경은 클라우드 서비스의 등장으로 매우 간단해졌다.

클라우드 이용이 증가하면 빅 데이터 활용의 밑거름이 된다고 생각하는 이유는 한 가지 더 있다. 클라우드 이용이 활발한 환경에서는 서버에 엄청난 양의 데이터가 집약적으로 축적되기 때문이다. 데이터를 수집하는 일은 빅 데이터를 활용하기 위한 기본적인 환경 정비 작업이다. 예전에는 클라우드를 '네트워크 너머에 있는 거대한 계산 자원이나 데이터 축적 장소'라고 생각했다. 전자책 서비스는 서버에 있는 대량의 전자책 데이터에서 유저가 필요로 하는 것을 꺼내 언제 어디서나 이용 가능한 형태로 제공하는 서비스이다. 하지만 빅 데이터 비즈니스에서 클라우드의 역할을 생각할 때는 부가가치가 클라우드로 올라가는 현상에 주목해야 한다. 즉 다양한 데이터가 단말기를 통해 네트워크를 거쳐 클라우드로 집약되는 현상이다. 예를 들어 전자책 서비스에서 '누가 어떤 시점에 전자책을 읽고 있는가?' 하는 이용 동향을 수집할 수 있다. 아마존은 전자책 단말기에 밑줄 긋기 기능을 추가하고 그 부분을 공유할 수 있는 서비스를 함께 제공하는데, 이와 같이 '어디가 재미있는가' 하는 것도 단말기에서 클라우드로 끌어올려야 할 데이터다.

데이터 활용이 이용사업자에게 어떠한 효용이 있는지 다음 사례들을 살펴보자. 신제품을 개발할 때 제품의 이용 현황에 관한 데이터를 대량으로 취득하여 축적시킨 후 분석하면 그 다음 제품을 개발할 때 적절한 과제를 설정할 수 있다. 예를 들어 자동차 회사 포드의 연구 부문은 보다 스마트한 미래 자동차를 만들기 위해 이상적인 조종성과 높은 연비를 유지하고자 구글이 제공하는 클라우드 컴퓨팅 서비스를 이용한다. 시시각각 수집되는 운전 데이터와 어떤 곳에서 운전하고 있는지에 대한 데이터, 유저가 어디로 향하려 하는가 등을 실시간으로 예측하기 위해 구글의 기계학습 기반도 이용하고 있다. 또한 하이브리드 자동차를 운전하다가 환경 보호 규제가 적용되는 지역에 들어가는 경우, 전기 동력으로 자동 전환이 이루어지게 하는 등의 대응도 실시할 예정이라고 한다.

마케팅을 목적으로 한 데이터를 활용할 수도 있다. 개인의 취미나 기호, 행동 이력 등에 관한 데이터를 대량으로 취득하여 분석하면 고객에게 보다 상세한 상품 추천이나 최적화된 광고를 내보낼 수 있다. 미국 최대 온라인 DVD 렌탈 사업자인 넷플릭스는 2006년 '넷플릭스 프라이즈'라는 상금 100만 달러의 '추천엔진' 콘테스트를 개최했다. 추천엔진이란 '영화 <스타워즈>를 높이 평가한 사람은 <백투더퓨처>도 높이 평가하리라고 예상한다.'와 같은 법칙을 발견하는 기능이다. 넷플릭스는 50만 명의 고객, 1만 8천 편의 영화에 대한 평가를 게시하고 게시하지 않은 300만 건의 평가를 예측하게 했다. 그 결과, 자사에서 개발한 추천엔진을 훨씬 능가하는 정밀도로 예측이 가능해졌다. 이것은 대량의 데이터를 보유하고 있는 사업자가 예측 알고리즘을 도출하는 데 불특정다수의 힘을 빌린 사례이다.

'실시간성'과 '피드백 대상'에 따른 효용의 정리와 해석

빅 데이터 활용의 목적은 개별적이고 즉각적이며 다면적인 검토를 거친 부가가치를 제공하는 일이다. 이 관점에서 빅 데이터 활용의 효용을 생각한다면, 피드백 대상과 실시간성이라는 두 방향에서 정리할 필요가 있다. 피드백은 빅 데이터를 처리 및 분석하여 얻은 부가가치의 피드백 대상이 개별적(유저 개인 등)인지, 아니면 계열 전체(한 서비스 이용자 전체)인지에 따라 달라진다. 휴대전화 유저의 위치정보를 활용한다고 가정하자. 한 유저의 현재 위치를 파악하여 해당 위치에 최적화된 정보를 그 유저에게 발신하는 것은 개별 피드백이다. 반면 어떤 이벤트가 시작될 무렵에 그 참가자들이 이벤트 장소에 모여 있듯이 어느 시간대나 어느 지점에 비슷한 속성을 지닌 사람들이 많이 모여 있는 것을 파악하여 옥외광고를 통해 이벤트 관련 정보를 흘리는 식의 대응은 계열 전체를 대상으로 하는 피드백이다. 실시간성은 활용하는 데이터가 스토크(과거 축적)형인지, 플로(실시간)형인지에 따라 달라진다. 과거 1년 동안 이용했던 전철 노선 데이터에 근거해서 운행 지연에 관한 정보를 최적화하여 발신하는 것은 스토크형이고, 지금 막 지나가고 있는 장소나 가려고 하는 장소에 근거하여 최적의 정보 발신을 하는 것은 플로형이다.

기존에 <전체 피드백 X 스토크형> 조합으로 데이터를 활용하고 있던 것들 중에는 <개별 피드백 X 플로형> 조합이 기술적으로 가능해지면서 정책의 수준을 높여가는 사례가 있다. 판매 상품 중 인기 상품을 분석하는 경우, 기존에는 품목별 판매 실적 정보를 일정 기간 동안 수집하고 정기적으로 분석하여 상품 선정 여부나 진열에 활용하는 것이 일반적이었다. 하지만 실시간으로 개별적인 데이터를 활용할 수 있다면 매장의 재고 상황이나 특정 상품에 대한 고객 관심도를 근거로 그 고객에 대해 최적화된 상품을 추천할 수 있다. 인터넷 광고 분야에서는 이미 <개별 피드백 X 플로형>의 데이터 활용이 진행되고 있다. 만약 여러 개의 신차 정보 사이트와 자동차 대출 사이트를 열람하는 유저가 있다면 그는 머지않아 자동차를 구입할 가능성이 높다. 이러한 유저의 주거지 근처에 있는 자동차 판매업자가 주말에 예정된 신차 전시회의 안내문을 유저에게 보내는 식의 광고가 이루어지는 것이다.

빅 데이터 활용을 촉진하는 서비스 모델과 비즈니스 모델

빅 데이터를 취득 및 활용할 때 유저에게 부담을 주어서는 안 된다. 유저가 마음 편하게 기꺼이 데이터를 제공하게 만들고 그 데이터를 수집하여 처리하고 분석한 뒤 적절한 피드백을 실시하여 기기나 서비스의 매력을 한층 높일 수 있는 선순환을 창출해야 한다. 여기서는 선순환을 창출하는 네 가지 개념을 소개한다. 첫째, 통신의 은폐는 유저가 통신 서비스를 이용할 때 비용 등의 부담에서 해방되어 마음껏 통신을 이용할 수 있도록 하는 장치다. 즉 "통신 서비스 이용에 동반되는 비용의 은폐" 혹은 "동반되는 계약이나 설정, 조작에 동반되는 부담의 은폐"를 의미한다. 둘째, 제로 클릭 서비스는 유저가 서버에 데이터를 보낼 때 아무런 조작을 하지 않아도 되는 장치다. 제로 클릭 서비스는 통신의 은폐와 함께 제공되며, 사람들이 갖고 있는 단말기에서 서버로 데이터를 수집하는 데 큰 효과를 발휘한다.

셋째, 속도에 의한 중독은 유저를 확보하기 위한 정책으로 특히 로딩 시간 단축 서비스를 설계할 때 거론되는 개념이다. 넷째, 유휴 시간과 유휴 자산 활용은 유저가 시간적으로나 비용적인 부담을 느끼지 않고 서비스를 수용하게 만드는 정책이다. 최근 이용이 확대되고 있는 디지털 사이니지의 경우를 보면 "광고를 보여주고 싶은 유저가 얼마나 디스플레이 앞에 멈춰 서 있을 것인가?"를 생각해서 광고의 길이를 최적화한 후 발신할 수 있다. 엘리베이터 안에 설치된 디지털 사이니지는 '1층에서 5층으로 가는 사람이 다수를 차지하는 경우'와 '1층에서 20층으로 가는 사람이 다수를 차지하는 경우'의 유휴 시간이 다르기 때문에 각 유저에게 제시하는 콘텐츠의 길이도 달라지게 된다.