데이터의 보이지 않는 손

데이터의 보이지 않는 손



야노 가즈오 지음

타커스 / 2015년 6월 / 254쪽 / 15,000원



시간은 자유롭게 쓸 수 있는 것인가



인간의 행동에는 법칙성이 있는가 / 시간은 생각대로 자유롭게 쓸 수 있는 것인가: 내가 이 책에서 가장 먼저 다루고자 하는 주제는 ‘사람의 행동에는 과학적인 법칙성이 존재하는가’ 하는 것이다. 이 물음이 중요한 이유는, 이에 대한 대답이 빅데이터를 활용하면 사회와 경제를 과학적으로 컨트롤할 수 있는지에 대한 답과 연결되기 때문이다. 그런데 여기에서는 인간의 행동에 어떤 법칙이 존재하는지 논하기에 앞서, 우선 시간 사용이라는 측면에 초점을 맞추어 이야기를 풀어가고자 한다. 즉 인간은 시간을 사용함에 있어 자신의 의지에 따라 자유롭게 사용하는가, 아니면 어떤 법칙에 따라 사용하는가에 초점을 맞추기로 한다. 왜냐하면 시간을 어떻게 사용하느냐가 일에서든 생활에서든 관점에 따라 가장 중요한 요인이 될 수 있기 때문이다. 뒤에 서술하겠지만, 우리는 센서 기술을 토대로 인간의 시간 사용법에 관한 데이터를 대량으로 측정함으로써 이 물음에 대한 중요한 답을 하나 얻어냈다.

만물을 지배하는 에너지보존법칙은 인간도 지배한다: 물리학에서는 물체의 운동은 뉴턴의 운동방정식으로, 전자기현상은 맥스웰방정식으로, 양자현상은 수뢰딩거방정식으로 설명한다. 그런데 이런 방정식들은 모두 똑같은 하나의 현상을 나타낸다. 어떤 변화가 일어나도 에너지 총량은 항상 일정하다는 에너지보존법칙에서 파생한 것이다. 이 방정식들이 모두 자연현상을 수학적으로 표현한 기본 식이며 보존 법칙, 특히 에너지보존법칙에서 파생한 식이라고 한다면, 자연계에 존재하는 에너지야말로 자연현상을 과학적으로 이해하는 데 핵심 개념이 된다는 것은 의심할 여지가 없다. 그런데 사실 이 에너지 개념은 오늘 우리가 시간을 쓰는 방식에도 적용된다. 우리가 하루에 쓸 수 있는 에너지의 총량과 그 배분은 특정 법칙에 의해서 제한되며, 그 때문에 우리는 우리 뜻대로 시간을 쓸 수 없다는 것이다.

인생의 조감도, 라이프 태피스트리: 우리 연구팀은 지난 10년 동안 손목밴드형 웨어러블 센서(라이프 현미경이라고 부름) 기술을 이용하여 신체 움직임, 타인과의 만남, 위치 등 인간의 행동을 24시간 내내 1/1,000초(1㎳) 단위로 측정하여 기록해 왔다. 우리는 실험 참가자 12명에게 이 웨어러블 센서를 착용하도록 하고 각각 4주 동안 모두 9천여 시간에 걸쳐서 팔의 움직임을 가속도 센서로 측정하여 기록했다. 사람이 몸을 움직일 때는 팔도 저절로 움직이기 때문에 센서가 측정한 기록은 팔의 움직임에 투영된 생활의 그림자라고 볼 수 있다. 움직임이 단순할 때, 예를 들어 자고 있는 동안에는 팔을 거의 움직이지 않다가 간혹 몸을 뒤척일 때에만 움직이고, 깨어 있을 때에는 팔을 움직이지 않은 적이 거의 없었다. 따라서 가속도 기록을 보면 언제 자고 언제 일어나 활동했는지 알 수 있다.

사람은 깨어 있을 때에는 하루 평균 1분당 80회 정도로 팔을 움직인다. 걷고 있을 때에는 1분당 240회 정도로 팔을 움직인다. 반대로 컴퓨터로 인터넷을 보고 있을 때에는 1분당 50회 이하로 움직임이 줄어든다. 이를 통해 알 수 있는 특징은 사람이 어떤 행동을 할 때마다 1분 동안 팔을 움직인 횟수가 다르다는 것이다. 이 점에 주의해서 내가 팔을 움직인 기록을 살펴보면, 과거 어느 때 내가 무엇을 했는지가 제법 선명하게 드러난다. 그리고 장기간 지속적으로 데이터를 수집하면 마치 두루마리 그림을 보듯이 내 삶을 한눈에 들여다볼 수 있다. 우리는 24시간 감지된 움직임을 그래프로 나타내고자 움직임이 활발할 때에는 빨간색으로, 적을 때에는 파란색으로, 중간 정도일 때에는 중간색으로 표시하여 이 그래프에 ‘라이프 태피스트리’라고 이름을 붙였다. 실제 데이터를 살펴보자. 참가자 4명의 365일 24시간 일상을 라이프 태피스트리로 조감할 수 있다. 언뜻 봐도 알 수 있는 것은 사람마다 생활 패턴이 다르다는 점이다. 움직임이 거의 없는 수면 시간대가 날마다 규칙적으로 나타나는 사람이 있는가 하면, 완전히 들쭉날쭉 불규칙적으로 나타나는 사람도 있다. 사람마다 성격, 직업, 가족 구성이 다른 만큼 각자의 사정에 따라 생활 패턴도 다양한 것이다. 시간대별 활동을 들여다보면 그 차이는 더욱 분명해진다. 이처럼 활동 내역은 사람에 따라 다르며, 같은 사람이라 해도 날짜별로 또는 시간대별로 다양하다. 그래서 사람들은 자신이 그날 그 시간에 그 행동을 한 것에 대해 자신의 생각과 취향에 따라 마음 가는 대로 한 것이라고 믿는 것이다.

팔을 움직인 횟수를 세어보면 놀라운 법칙성이 드러난다: 그런데 정말 그럴까? 이것을 확인하기 위해서 동일한 데이터를 라이프 태피스트리가 아니라 그래프로 그려보자. 참가자 12명의 팔의 움직임을 기록한 데이터를 하루치 이상 모아서 통계 낸 것을 분포도 그래프로 그리면 일정한 범위에서 깔끔한 직선이 그려진다. 이것이 우연인가 싶어서 다른 사람의 데이터도 모두 그래프로 그려보았더니 참가자 12명 모두 2주간 데이터 통계가 U분포로 나타났다. 실험 참가자들은 자신의 의지대로 자신의 행동을 결정한다고 믿고 있었다. 하지만 그 믿음과 보편적인 U분포는 양립할 수 없다. 왜냐하면 각각의 행동은 유형에 따라 서로 다른 특징적인 움직임을 보이기 때문이다.

예를 들면 프레젠테이션을 하고 있을 때는 150회/분 정도, 인터넷을 보고 있을 때는 30회/분 정도로 팔의 움직임이 다르다. 그렇기 때문에 자신의 의지에 따라 이런저런 행동을 선택하고 하루 중 어느 때에 어떤 행동을 하기로 계획했다면, 그 선택에 따라 움직임의 통계분포가 마땅히 달라져야 한다. 그날 어떤 일을 했느냐에 따라 사람마다 분포도가 달리 나타나야 하며, 매일 통일된 U분포가 나올 수 없다. 하물며 하는 일도 다르고 성별과 연령도 다른 사람들이 마법에 걸린 양 모두 똑같은 U분포로 24시간 움직이고 있다는 것은 놀라움을 넘어 기이한 생각까지 들게 한다.

사회현상을 지배하는 우하향 그래프의 수수께끼: 이러한 보편적인 ‘우하향’ 통계분포는 인간행동과 사회ㆍ경제현상을 깊이 있게 이해하기 위한 열쇠이다. 통계학 책을 보면 정규분포를 전제로 서술한 내용이 많다. 그런데 현실 사회의 빅데이터에 등장하는 통계분포는 우하향하는 U분포가 압도적으로 많다. 나는 그 이유를 알기 위해 책과 문헌을 뒤져보았지만 어디에도 해답이 없었다. 답답한 상태가 계속되다가 나는 최근에 와서야 시뮬레이션과 해석을 통해서 납득할 만한 해답을 찾아냈다. 우리가 보통 감각으로 잘 의식하지 못하는 ‘반복의 힘’이 사회를 움직이고 있는 모습이 보이기 시작한 것이다.

교환을 반복할수록 편중이 나타난다: 빅데이터에 보편적으로 나타나는 우하향하는 U분포의 본질을 시각적으로 설명해보겠다. 먼저 세로 30칸 X 가로 30칸(합계 900칸)이 쳐진 바둑판을 그린다. 여기에 구슬 7만 2천 개를 무작위로 바둑판에 놓는다고 하자. 이렇게 하면 한 칸에 구슬이 평균 80개가 들어가게 된다. 여기서 바둑판 전체 칸이 하루를 나타낸다고 하자. 그러면 한 칸은 하루 중 1분이 되고, 900개인 칸은 하루의 활동 시간인 900분(15시간)에 대응한다. 그리고 칸에 놓인 구슬 개수가 1분당 팔을 움직인 횟수가 된다. 한 칸에 구슬이 평균 80개가 들어간다는 것은 1분 동안 팔을 80회 움직인다고 가정하는 것이다. 실제 활동 시간과 팔을 움직인 횟수는 사람이나 상황에 따라 제각기 다르겠지만, 이 숫자는 실제 사람이 팔을 움직인 횟수와 비슷하다(이 숫자를 바꾸어도 결과에는 영향이 없다).

구슬이 흩어져 있기는 해도 칸마다 평균 80개가 들어 있다. 이 통계분포가 바로 정규분포이다. 여기까지는 구슬을 임의로 배치했기 때문에 각 칸의 구슬 개수는 독립적으로 정해졌다. 즉 칸과 칸 사이의 구슬 교환은 없었다. 이제 칸과 칸 사이의 구슬을 교환시켜보자. 칸 2개를 무작위로 골라서 한쪽 칸에 있는 구슬 1개를 다른 쪽 칸으로 옮기고, 이 과정을 반복하자. 원래 임의로 구슬을 배치했기 때문에 칸을 무작위로 골라서 다른 칸으로 구슬을 옮겨도 결과는 변하지 않으리라고 생각할 것이다. 하지만 구슬의 교환을 10만 번 반복한 결과를 보면 교환을 반복할수록 구슬 분포가 얼룩무늬로 변해갔다. 사실 이러한 교환에 따라 생겨난 얼룩무늬야말로 현실 사회의 빅데이터에서 보편적으로 나타나는, 우하향하는 U분포이다.

결과적으로 우하향하는 U분포에서는 소수의 칸에 구슬이 몰려 있다. 상위 30%의 칸에 전체 구슬의 70%가 몰렸다. 그런데 구슬의 분포가 얼룩무늬로 나타난 것은 칸 사이에 빈부의 차가 생겼다고 비유적으로 표현할 수 있다. 구슬이 많은 부유한 칸과 별로 없는 가난한 칸이 자연스럽게 생긴 것이다. 이런 결과를 낳은 것은 구슬의 반복적인 교환이다. 흥미로운 점은 어떤 칸이든지 동등한 ‘기회’가 있었는데도 결과적으로는 특정 소수 칸에 구슬이 몰렸다는 사실이다. ‘공평한 기회’가 주어져도 ‘불평등한 결과’가 생긴 셈이다. 공평한 ‘반복적인 교환’은 필연적으로 이러한 불공평을 초래하는 것이다.

우리는 어떤 사물과 사건이 그렇게 된 데에는 원인이 있다고 생각하기 쉽다. 부자에게는 분명 평범한 사람에게는 없는, 무언가 남다른 점이 있을 거라며 그 이면에 숨은 원인을 캐고 싶어 한다. 그러나 실제로는 교환을 여러 차례 반복하면 뚜렷한 원인이 없어도 편중이 생겨난다. 자원(이때는 구슬)이 한쪽으로 쏠리는 현상은 결코 능력이나 노력 때문이 아니라 ‘교환의 반복’ 때문에 생긴 통계의 힘이라는 사실을 잊지 말아야 한다. 이 ‘반복의 힘’을 배경으로 한 ‘자원 배분의 편중’이야말로 폭넓은 인간행동과 사회현상을 설명하는 중요한 개념이다. 이를 이론화한 것이 U분포이다.

팔을 움직이는 것은 자원을 교환한다는 뜻: 이것은 무엇을 의미할까? 칸이 30 X 30=900개인 바둑판 전체를 하루라고 가정하면 한 칸은 활동 시간 1분에 대응한다. 1분마다 무엇을 할지는 여러 사정에 따라 달라지겠지만, 무엇을 하느냐에 따라 팔의 움직임이 정해진다. 그리고 그 움직임에 따라 1분당 팔을 움직인 횟수가 정해진다. 한 칸에 구슬이 10개 있으면 1분당 팔을 10회 움직였다는 뜻이다. 우리는 하루에 900분이 넘는 시간을 보내는 동안 약 7만 회의 팔 움직임을 각 1분, 1분에 나누어 배분한다. 만약 우리가 각 시점에서 어떤 행동을 할지 완전히 무작위로 정한다면 구슬의 분포는 마땅히 정규분포로 나타나야 하고 그 중심값은 70,000/900이 되어야 한다. 그러나 실제로는 ‘얼룩무늬’의 우하향하는 U분포가 나타났다. 이 분포의 본질은 칸과 칸 사이에 구슬이 반복적으로 왔다 갔다 했다는 점이다. 따라서 하루를 구성하는 900개의, 각 1분이라고 하는 구성 요소(칸) 사이에도 총 7만 회의 팔의 움직임이라는 자원이 반복적으로 ‘교환’된 것으로 볼 수 있다. 여기서 교환의 대상은 각 시간대의 팔의 움직임이다. 하루에 팔을 움직이는 전체 횟수가 약 7만 회로 제한되어 있을 때 우리는 팔의 움직임을 우선순위에 따라 조정한다고 볼 수 있다.

예를 들어 오전에는 활동량(팔의 움직임)을 억제하고, 오후에는 고객 응대에 집중하는(팔을 활발하게 움직이는) 경우가 있다. 또는 11시까지 서류 마감을 끝내고(팔을 활발하게 움직이고) 그 뒤에는 휴식(팔을 적게 움직이는)하는 경우도 있을 것이다. 팔의 움직임이라는 유한한 자원을 우선순위가 낮은 시간에는 보존하고 우선순위가 높은 시간에 할당하는 것이 ‘팔 움직임의 교환’이다. 아마도 우리는 무의식중에 우리의 행동 하나하나를 수없이 조정할 것이다. 최적의 선택을 메일, 매분, 매시 실행하고 있는 것이다. 우선순위에 따라 팔을 수없이 조정하며 움직이고 있다는 증거가 바로 우하향 U분포이다.

이제 이 장에서 던진 첫 물음으로 돌아가자. 인간은 물질과 마찬가지로 정해진 법칙에 따라 행동하는 것일까. 우주의 모든 변화는 에너지의 교환으로 일어나는데, 인간의 행동만이 ‘의지’와 ‘취향’과 ‘정’에 따라 정해지는 것일까. 인간만이 유독 특별한 존재일까. 결론을 말하자면, 인간의 행동도 특별하지 않다. 인간의 행동이 원자 운동이나 자기장 같은 엄밀한 의미의 에너지로 정의될 수 있는 것은 아니다. 그러나 팔의 움직임 횟수 분포는 원자의 에너지 분포와 같은 식으로 나타난다. 이것은 우연이 아니다. 이런 일치는 양쪽이 모두 유한한 자원을 반복적으로 ‘교환’한 결과로서 나타난 것이기 때문이다.

물질 속에서는 분자 사이에 열에너지의 교환이 반복적으로 이루어진다. 한편 인간은 팔의 움직임을 시시각각 교환한다. 유한한 자원이든 에너지든 명칭은 달라도 그 본질은 같다. 에너지는 유한한 자원의 일종이며, 자원의 특별한 예로 볼 수도 있다. 사실 신체 움직임이란 우리가 어떤 행동을 일으키는 유일한 기초 자원이라고 할 수 있다. 앞의 시뮬레이션에는 자원을 구슬로 상징화했다. 인간행동의 복잡한 시스템을 임의적인 ‘구슬 교환의 반복’이라는, 더 이상 단순화시킬 수 없는 모델로 설명했다. 이로써 겉으로 드러나는 거시적인 현상과 그 이면에 숨은 미시적인 현상(반복)을 서로 연결할 수 있다.

미시적인 요소를 몰라도 거시세계를 예측할 수 있다: 통계역학은 기체의 팽창과 같은 거시적인 현상을 기체를 구성하는 수많은 미시적인 분자 간 충돌의 ‘반복의 힘’으로 설명한다. 이 ‘반복의 힘’을 이론화함으로써 거시적인 현상도 예측할 수 있게 되었다. 제임스 맥스웰, 루트비히 볼츠만, 조지아 기브스, 알베르트 아인슈타인을 거쳐 기본 이론 체계가 구축되었으며, 이 이론을 바탕으로 우리 주위의 흔한 물질부터 우주까지를 규명하게 되었다. 여기서 발견된 중요한 원리가 바로 ‘교환의 반복이 많아지면 미시적인 세부 내용을 몰라도 거시적인 현상에 대한 예측과 제어가 가능하다’는 것이다. 나는 이것을 ‘다수 교환의 원리’라고 이름 붙였다. 교환의 양이 충분히 큰 경우에는 교환에 관한 몇 가지 규칙만이 중요하지 개별적인 교환의 세부 내용은 몰라도 된다는 원리가 발견된 것이다.

U분포의 통계란 거시와 미시를 연결하는 이론이다. 미시적인 움직임 하나하나에서 중요한 것은, 무엇이 구슬(자원)이고 그 구슬은 어떤 법칙에 따라 교환되고 있느냐 하는 점이다. 구슬 사이의 교환이 없을 때에는 고전 통계학의 정규분포가 되고, 교환이 있을 때에는 U분포가 된다. 이때 구슬이 상징하는 개인의 삶과 사회에 작용하는 자원은 원자 세계에서 에너지가 한 것과 같은 역할을 수행한다. 미시적인 에너지의 반복적 교환이 자연현상을 만든다. 마찬가지로 매초, 매분 일어나는 미시적인 팔의 움직임의 반복적인 교환이 사회현상을 만들어내고 이 사회현상에 대해서는 과학적인 예측이 가능해진다.

시간 사용은 정해진 법칙에 따른다: 인간 행동이 자원교환법칙(물리학에서 에너지보존법칙의 일반화에 해당됨)의 지배를 받는다고 한다면, 물이 낮은 곳에서 높은 곳으로 흐르지 않는 것처럼, 특정 상황에서 일정한 제약을 받는다. 그것은 시간 사용법에도 적용된다. 예로 지금 컴퓨터로 원고를 쓰고 있다고 가정하자. 어느덧 마감 시간이 코앞에 닥쳐왔다. 나는 얼마 동안 계속 원고를 쓸 수 있을까.

원고를 쓸 때 1분당 움직이는 횟수는 일정한 범위에 들어오는데, 이 범위를 활동대역이라고 한다. 원고를 쓰고 있을 때에는 1분당 평균 60회 정도로 팔을 움직이는데, 활발하게 움직이면 70회, 적게 움직이면 50회가 나온다. 이때 움직임의 활동대역은 50~70회/분이다. 이에 따라 1분당 평균 60회씩 계속 움직인다고 가정하고 하루 움직임의 통계를 그래프로 그리면 어떻게 될까. 평균값 60회/분을 중심으로 하여 좌우 대칭으로 종 모양을 이루는 정규 분포가 된다. 그런데 이것은 U분포가 아니므로 허용되지 않는다. 현실에서는 이런 일이 결코 일어나지 않는다고 단언할 수 있다.

사람들 앞에서 프레젠테이션을 할 때는 1분당 120~180회(평균 150회) 정도로 팔을 움직인다. 그렇다면 프레젠테이션을 5시간 하고 원고를 3시간 쓰는 것이 가능할까. 그것도 불가능하다. 움직임의 통계분포가 U분포가 되지 않기 때문이다. U분포는 우하향하는 그래프로 그려지기 때문에 활발한 움직임을 정적인 움직임보다 더 오래한다는 것은 있을 수 없는 일이다. U분포에서는 활발한 움직임일수록, 정적인 움직임보다 항상 적은 시간 동안 나타나게 된다. U분포를 따르려면 프레젠테이션하는 시간을 훨씬 줄이든지, 원고 쓰는 시간을 훨씬 늘려야 한다. 한편 하루 중 원고 쓰기와 프레젠테이션만 하면 사용하지 않는 빈 활동대역이 생긴다. 50회/분 이하, 70~120회/분, 180회/분 이상인 활동대역에 해당하는 시간은 내가 미리 예정하지 않더라도 U분포에 따라 당연히 시간이 할당된다.