예측의 힘

예측의 힘

차경천 지음

올림 / 2013년 12월 / 192쪽 / 13,000원



1 그것은 예측한 대로 되었다_ 예측의 힘



박태환, 올림픽 금메달을 딸 수 있을까?



2008년 3월 한 신문사에서 특집기사를 준비한다며 필자에게 연락을 해왔다. 2008년 베이징올림픽 수영에서 박태환 선수가 우리나라 최초로 금메달을 딸 수 있는지 예측해보자는 것이었다. 당시 박태환 선수를 향한 국민적 관심과 지지는 상상 이상이었다. 그런데 문제가 있었다. 예측에 필요한 자료를 구하는 것이 만만치 않았다. 박태환 선수의 최근 훈련 기록은 보안사항으로 외부에 일절 공개되지 않고 있었다. 할 수 없이 인터넷을 통해 국제수영연맹이 기록으로 보유하고 있는 자료를 찾았다. 박태환의 기록뿐만 아니라 경쟁자인 미국의 마이클 펠프스와 호주의 그랜트 해켓의 기록을 찾아내어 그들이 2004년 그리스 아테네올림픽 이후 200m, 400m, 1500m에서 거둔 성적을 정리·비교했다. 그런데 통계적인 분석을 하기에는 여전히 데이터 수가 너무 적었다. 게다가 찾아낸 기록도 25m 수영장과 50m 수영장이 따로 있었다. 체육과학연구원에 문의해보니 베이징올림픽에서는 50m 수영장을 사용하므로 25m 수영장에서 나온 기록은 제외하고 분석하라는 답변이 돌아왔다. 그렇지 않아도 데이터가 부족한 상태에서 25m 수영장에서 나온 기록을 빼기란 여간 아까운 것이 아니었다. 이때 아이디어를 냈다. 25m일 때는 턴을 많이 하니까 기록이 좋아진다. 이것은 따로 반영하고, 200m, 400m, 1500m 기록은 모두 50m당 기록으로 환산하여 모형을 만들기로 했다.



필자는 데이터를 수집하고 나면 항상 그림을 그려본다. 데이터를 이해하기 위해서다. 박태환과 펠프스, 해켓의 기록 그래프를 보면서 이런 생각을 했다. 박태환의 금메달 예측을 위해서는 3가지를 알아야 한다. 첫째는 생애 최고 기록, 둘째는 그 기록을 달성하는 시점이다. 마지막으로 얼마나 빠른 속도로 이전 기록을 갱신하는가 하는 것이었다. 이 3가지를 반영한 모형을 궁리했다. 족히 100번은 모형을 바꾸고 다시 만든 것 같다. 그렇게 해서 결국 박태환의 기록 약 98%를 설명하는 모형을 개발해낼 수 있었다.



실제 기록과 모형을 통해 추정한 기록의 차이, 즉 오차가 작을수록 좋은 모형이라고 할 수 있다. 모형이 좋으면 그만큼 정확한 예측이 가능해진다. 같은 모형으로 펠프스와 해켓의 기록도 예측했다. 그 결과 박태환은 400m에서 금메달을 딸 가능성이 높은 것으로 나타났다. 하지만 200m에서는 펠프스와의 경쟁에서 승산이 없어 보였다. 한 가지 재미있는 사실도 확인할 수 있었는데, 바로 수영선수의 전성기에 관한 것이었다. 모형에서 예측한 것에 따르면 박태환의 경우 최고 기록을 낼 수 있는 나이는 19.21세였다. 평생 수영선수들을 지도해온 코치들이 공통적으로 말하는 전성기인 20~21세와 거의 일치하는 결과였다. 이럴 때 필자는 묘한 쾌감을 느낀다. 해당 분야에 문외한인 필자의 분석 결과가 오랜 전문가들의 식견과 상통하는 순간의 짜릿함이란 경험해보지 못한 사람은 모른다.



2008년 5월경 필자는 예측 결과를 가지고 기자들과 함께 태릉선수촌을 방문했다. 400m 결승전이 열리는 8월 10일을 3개월여 앞둔 시점이었다. 몇 차례의 검문을 통과한 후 박태환 선수의 노민상 감독을 만날 수 있었다. 그런데 막상 만나고 보니 결과를 설명하기가 어려웠다. 새벽부터 시작해서 하루 평균 18km의 엄청난 연습량을 소화하고 있는 박 선수에게 차마 당신의 전성기는 이제 6개월 정도 남았다는 말을 꺼낼 수가 없었다. 노민상 감독도 금메달에 대한 부담감 때문인지 필자가 분석한 결과를 듣고 싶어 하지 않는 눈치였다. 기자들이 한참을 설득하고 난 후에야 노 감독은 혼자서만 듣겠다며 선수촌 주차장의 잔디밭으로 나와 앉았다. 설명을 다 듣고 난 노 감독이 필자에게 물었다.

“어떻게 하면 좋을까요?”

“400m에 집중하고, 200m는 선수 기록을 갱신하는 것을 목표로 하시지요.”

“저도 그렇게 생각합니다!”



8월 10일 일요일 아침이 되었다. 필자는 누구보다 가슴을 졸이며 박태환 선수가 출전하는 400m 결승전을 지켜보았다. ‘금메달’이었다. 기대하지 않았던 200m는 은메달까지 땄다. 얼마나 기뻤는지 모른다. 금메달도 금메달이지만, 예측 결과에 따라 전략적으로 조언한 것이 적중했다는 사실이 너무도 기뻤다. 필자가 보기에 박태환 선수는 분명 행운아다. 올림픽에 출전하는 선수들 가운데 각고의 노력을 기울이지 않는 사람은 아무도 없을 것이다. 하지만 4년에 한 번씩 열리는 올림픽이 자신의 전성기와 절묘하게 맞아떨어지는 경우는 결코 흔치 않은 일이다.



정확도 99% 위스키 시장 예측



우리나라 사람들은 술을 많이 마시기로 이름이 나 있다. 위스키 소비량이 세계 최고 수준이다. 이러한 한국의 위스키 시장에 위기감이 감돌던 2012년, 한 회사로부터 필자에게 시장 전망에 대한 의뢰가 들어왔다.



위스키 시장을 위협하는 최대의 적은 무엇일까? 우선 강력한 유흥업소 단속이나 접대비 한도 규제 등이 시장을 위협할 수 있다. 규제가 심하면 시장은 위축되기 마련이다. 위조 방지를 위한 전자태그 부착 의무화도 시장 내 유통에 미묘한 변화를 불러일으킨다. 와인이나 막걸리 열풍도 위스키 시장에는 악재라고 할 수 있다. 그리고 마지막으로 스크린골프다. 직장인의 회식 문화는 시대의 흐름에 따라 많은 변화를 거쳐왔다. 예전 같으면 1차로 음식점에서 식사를 한 다음 2차로 단란주점이나 바에 가서 위스키를 마시는 것이 예사였다. 그러던 것이 최근에는 스크린골프나 PC방에서 시뮬레이션 게임을 하는 문화로 바뀌어가고 있다. 사회적으로 술을 권하던 분위기에서 웰빙을 강조하는 분위기가 고조되는 현상도 한몫을 하고 있다고 할 수 있다.



필자는 분석을 위해 그러한 정책적 이슈와 시대적 추세, 위스키 가격, 연말이나 연초의 회식 문화, 주가와 경제성장률이 시장에 미치는 후행효과(Lagged effect, 시점이 지나서 효과가 발생하는 현상) 등을 감안했다. 더불어 12년산과 17년산 위스키 간의 대체 또는 경쟁 효과도 참작했다. 이들 사이에도 엄연한 가격 차가 존재하기 때문이다. 그리고 예측모형을 만들기 위해 3년간의 월별 판매자료를 수집하고, 수요에 영향을 미치는 정책이나 마케팅 전략을 선별하여 이를 변수로 만들었다.



예측 결과가 나오면 마지막으로 정확도를 측정하게 되는데, 실제값과 얼마나 차이가 날 수 있는지를 계산하고 결과에 반영한다. 예전에는 의뢰한 회사에 예측 결과를 알려주면 한참이 지난 뒤에 확인하곤 했는데, 이제는 그 자리에서 바로 확인하는 경우가 많다. 임직원들 모두가 참석한 전체 미팅에서 공개하는 경우도 있다. 필자가 가장 긴장하는 순간이다. 예측은 100% 정확할 수 없고 조금이라도 오차가 발생하기 때문이다. 위스키 시장에 대한 예측 결과를 놓고 미팅을 할 때도 마찬가지였다. 현장 직원들 대부분이 예측에 대해 부정적인 선입견을 가지고 있었다. ‘우리가 그 일만 평생을 해왔는데, 우리 업종이 얼마나 복잡하고 어려운데 감히 그것을 예측할 수 있느냐’는 식으로 생각하는 것 같았다.



그런데 결과가 공개되는 순간 직원들의 표정이 확 달라졌다. 자기네의 오랜 경험과 직감으로 예측한 것보다 훨씬 정확한 예측값이 나왔기 때문이다. 첫 달에는 5%가 틀려 정확도가 95%였고, 다음 달은 99%의 정확도를 나타냈다. 하지만 필자는 그다음 달에는 그보다 더 틀릴 수도 있다고 미리 언질을 주었다. 사실 그 모형은 전체 데이터를 약 85% 정도 설명할 수 있는 수준의 모형이었기 때문이다. 일반적으로 예측값의 정확도는 적합도(모형이 기존의 데이터를 설명하는 정도)보다 더 나쁘게 나오기 마련이다. 그래서 모형 개발에 특별한 주의가 필요하다.



2 도대체 무엇이 문제였을까?_ 예측의 성패를 좌우하는 변수들



그날은 챌린저호가 위험한 날이었다



1986년 1월 28일, 미국 우주왕복선 챌린저호가 폭발하는 참사가 일어났다. 챌린저호가 발사된 뒤 73초 후 공중에서 폭발하는 처참한 광경은 TV를 통해 전 세계로 생중계되었으며, 탑승자 가족들은 물론 이를 지켜보던 모든 사람들에게 크나큰 충격을 주었다. 사건 발생 후 당시 대통령이었던 로널드 레이건은 사건의 진상을 밝히기 위해 고위 관료와 저명한 과학자로 특별조사팀을 구성했다. 그리고 그들은 챌린저호가 발사할 때 사용되는 고체로켓모터의 접합 부위 이상으로 폭발했다는 결론을 내놓았다. 하지만 그것은 겉으로 드러난 원인일 뿐이었다. 사실 그 뒤에는 ‘표본선택 편의’라는 통계적 오류가 숨어 있었다.



비극적인 재앙이 일어나기 전날 밤, 케네디우주센터에서는 챌린저호 발사를 놓고 열띤 논쟁이 벌어졌다. 일부 관계자들은 우주왕복선 발사를 즉각 연기해야 한다고 주장했다. 그들은 고체로켓모터의 접합 부위를 염려했다. 우주왕복선이 이륙하기 위해서는 2개의 고체로켓모터가 필요하다. 기술자들은 로켓모터를 네 부분으로 분해하고 케네디우주센터로 옮긴 뒤 이를 다시 조립하여 로켓 동체에 연결했다. 여기까지는 별문제가 없었다.



발사 연기를 주장하는 사람들이 염려한 것은 발사 당일의 기온이었다. 예상 기온이 영하 0.56℃로 과거에 발사했던 날의 최저 기온인 11.7℃보다 무려 12℃ 이상이나 낮았다. 그들은 낮은 기온 때문에 로켓모터와 동체의 접합에 이상이 발생할 가능성을 제기했다. 근거도 타당했다. 1985년 1월 24일에 발사된 우주왕복선 자료가 그것이었다. 기온이 11.7℃였던 이날의 발사는 비록 성공을 거두기는 했지만, 기록상 가장 많은 3곳에서 접합 이상이 발견되었다. 따라서 그보다 훨씬 더 낮은 기온에서 발사하면 위험하다는 주장이었다.



반면 발사 강행을 주장하는 사람들은 과거에 발견된 접합 이상의 수와 기온을 나타낸 그래프를 근거로 제시했다. 그래프를 보면 둘 사이에 밀접한 상관관계가 없는 것 같았다. 하지만 정작 이 그래프는 기온과 접합 이상 사이의 관계를 명확하게 보여줄 수 없는 것이었다. 더군다나 문제가 되는 1985년 1월 24일의 발사 자료를 빼고 보면 오히려 기온이 낮을수록 접합 이상이 감소하는 것처럼 보였다. 그들은 1985년 1월 24일에 발견된 3곳의 이상도 기온 때문이라고 규정할 수 없다고 주장했다. 결국 3시간 동안의 뜨거운 논쟁을 벌인 끝에 발사를 예정대로 강행하기로 결론을 내렸다. 하지만 다음 날 일어난 재앙은 발사 강행을 주장한 그들의 예측이 크게 빗나간 것임을 비극적으로 증명했다.



무엇이 문제였을까? 논쟁에 참여한 사람들은 중요한 사실을 간과한 채로 결과를 예측했다. 접합 이상이 발견된 자료만이 아니라 전혀 발견되지 않은 발사 자료를 포함해야 한다는 사실을 망각했던 것이다. 만약 이 자료를 포함해서 접합 이상의 수와 기온의 관계를 그래프로 나타냈다면 명확한 추세를 발견할 수 있었을 것이다. 온도가 낮아지면 접합 이상이 증가한다는 상관관계가 드러날 테니 말이다. 비극의 근본 원인은 바로 여기에 숨어 있었다. 우주왕복선 챌린저호 참사가 우리에게 시사하는 바는 무엇일까? 종합적으로 충분히 검토해보면 알 수 있는 것을 성급함 때문에 간과해버리고 말았다는 사실이다. 그것이 결국 돌이킬 수 없는 귀중한 목숨과 자산을 잃게 만들었다.



통계학에서는 전체를 아우르지 못하는 표본을 선정하여 발생하는 잘못된 결과를 가리켜 ‘표본선택 편의(sample selection bias)’라고 정의한다. 표본선정의 오류가 잘못된 결과를 낳거나 큰 실수로 이어지는 예는 우리 주변에서도 어렵지 않게 찾아볼 수 있다. 표본선택 편의의 대표적인 예로 은행에서 실시하는 개인신용평가를 들 수 있다. 은행에서는 개인에게 돈을 대출해줄 때 이 사람이 나중에 대출금을 갚을지, 아니면 파산할지를 판단하게 된다. 즉 개인의 신용도를 평가한다. 보통은 0~100점 사이로 신용도를 평가하는데, 문제는 은행에서 이미 신용카드를 발급할 때 자격심사를 거쳐 통과한 사람들의 데이터만 가지고 분석한다는 것이다. 신용카드 발급이 거절된 사람까지 포함해서 신용도를 평가해야 하는데 말이다. 바로 여기서 표본선택 편의가 발생한다. 챌린저호 발사를 앞두고 접합 이상이 발견되지 않은 과거의 발사 자료를 포함하지 않은 채로 예측한 케네디우주센터와 다를 것이 없다.



희귀병에 걸린 환자가 병원에서 병을 제대로 진단받을 확률을 예측할 때도 표본선택 편의가 나타난다. 예를 들어 에이즈 환자들의 특성을 분석하여 신약을 개발하려고 에이즈바이러스(HIV)에 걸린 사람들을 대상으로 설문조사를 실시하는 경우를 보자. 어떤 사람들에게 설문할까 고민하다가 국립의료원에 다니는 환자들을 선택했다. 이렇게 되면 HIV에 걸렸으면서 국립의료원에 가지 않은 사람과 설문을 의뢰받았지만 개인정보 노출을 꺼려 응답하지 않은 사람들은 제외된다. 결과적으로 HIV에 걸린 환자들 전체를 대표하지 못하는 실수를 범하게 된다.



그렇다고 예측을 할 때마다 전체를 대상으로 조사를 벌일 수도 없는 노릇이다. 현실적인 어려움이 있다. 시간도 오래 걸리고 비용도 많이 든다. 기온별로 로켓모터의 접합 이상 유무를 일일이 확인하거나 희귀병 환자들을 모두 찾아다닌다는 것은 필요 이상의 엄청난 에너지를 요구한다. 조사 결과의 신뢰성 또한 문제가 될 수 있다. 은행이 신용조사를 했을 때 조사에 응한 사람들이 모두 정확한 답변을 했을 것이라고 기대하기 힘들다. 이런 현실적 문제를 해결하기 위해 연구된 방법이 있다. 전체를 대표하는 표본(sample)을 수집해서 그 데이터를 가지고 전체의 특성을 통계적으로 발견하는 샘플링(sampling, 표본추출)이 그것이다. 현재 샘플링 방법은 과학실험 분야는 물론 품질관리나 신상품에 대한 소비자 선호도 조사처럼 비즈니스 분야에서도 널리 유용하게 쓰이고 있다. 관건은 표본을 어떻게 수집하느냐는 것이다. 표본에 따라 결론이 얼마든지 달라질 수 있기 때문이다. 표본선택의 함정에 빠지지 않으려면 제일 먼저 ‘성급함’을 버려야 한다. 모든 일이 그렇지만 특히 통계적 분석과 예측에서 성급함은 잘못된 결과를 부르는 지름길이다. 데이터를 모으고 샘플을 선택하는 과정에서 혹시 간과한 것은 없는지 끝까지 확인하는 자세야말로 정확한 예측의 밑바탕이라고 할 수 있다.



기술적으로는 그간의 연구 성과에 주목할 필요가 있다. 표본선택 편의의 문제를 해결하기 위해 그동안 많은 사람들이 연구에 뛰어들었는데, 대표적인 사람이 제임스 헤크먼(James J. Heckman) 시카고대 교수이다. 그는 ‘헤크먼 수정(Heckman Correction)’이라는 분석틀을 개발한 공로로 2000년 노벨경제학상을 수상했다. 이후 표본선택 편의의 문제 해결과 관련한 여러 연구 결과가 나왔으며, 기업이나 정책 개발 연구소 등에서 이 결과를 이용하여 자체적인 수리모형을 개발하고 표본선택 편의의 가능성을 줄이려는 노력을 계속하고 있다.



무식한 죄, 로또 판매량 예측



전문가들은 연 매출 3조 원 시대에 접어든 로또복권의 판매액이 지난해에 이어 올해도 연중 최고치를 기록할 것으로 내다보고 있다. 국내 경기가 침체 국면에 들면서 삶이 빠듯해질수록 안정적인 수익에 안주하기보다는 일확천금을 꿈꾸는 이들이 늘어나면서 로또산업이 급속도로 몸을 불려 호황을 누리고 있는 셈이다. 2006년경 필자는 지도교수님과 함께 대검찰청 중수부를 찾은 적이 있다. 바로 로또 때문이었다.



로또가 우리나라에서 처음으로 판매되기 시작했을 때는 지금처럼 판매점에서 구입하면 번호를 표시한 복권을 자동으로 인식해서 정보를 중앙서버로 보내고 그 증거로 입력 정보가 인쇄되어 나오는 시스템이 없었다. 그런데 그 시스템을 개발한 회사가 있었다. 회사는 매주 판매되는 로또 판매액의 일정 비율을 개발 비용으로 받기로 하고 금융기관과 약정을 맺었다. 7년에 걸쳐 비용을 상환받기로 했는데, 문제는 로또의 판매량을 알아야 그 비율을 정할 수 있다는 것이었다. 해당 금융기관은 회계법인을 통해 수요예측 용역을 개인에게 맡겼다.