새빨간 거짓말, 통계

언제나 의심스러운 여론조사



암은 조기발견으로 치료될 수 있는가? 아마도 그럴 것이다. 그러나 이를 증명하기 위해 사용된 통계숫자 중에서 가장 신뢰할 만하다는 숫자마저도 사실은 그렇지 않음을 말해주고 있다. 코네티컷 종양 등록소의 기록에 의하면 1935년부터 1941년까지 5년 동안 암환자의 생존율은 꾸준히 상승하고 있는 것으로 나타났다. 그러나 실제로 이 기록은 1941년부터 시작되었으며, 그 이전의 것은 모두 추적조사에 의한 것이었다. 환자들 중에는 코네티컷 주를 떠난 사람이 상당수 있었는데, 그들의 생존 여부는 알 수가 없었다.

통계에 있어서 가장 중요한 것은 표본을 근거로 어떤 결론을 내릴 때 그 표본이 모집단 전체를 대표하는 것이라야 한다는 사실이다. 즉 왜곡의 원인이 되는 모든 것을 제거하고 난 표본이라야 한다는 것이다. 같은 이유 때문에 신문이나 잡지 등에 실리는 상당수의 것들이 본래의 의미를 상실한 아무런 의미가 없는 쓰레기 숫자들이다.

또 한 가지 꼭 알아두어야 할 일은 표본이 왜곡되는 원인이 때로는 분명하지 않을 수도 있다는 점이다. 즉 왜곡의 원인이 무엇인지 명확히 밝힐 수 없는 경우에도 어디에선가 왜곡될 가능성이 있다면 결과에 대해 어느 정도의 의심을 품어보아야 한다는 것이다. 또 실제로도 그럴 가능성은 늘 존재하기 마련이다. 1948년과 1952년의 미국 대통령 선거결과를 보라(1948년 선거에서 거의 모든 여론조사는 공화당 후보인 듀이 뉴욕 지사의 승리를 예언했다. 그러나 막상 뚜껑을 열어 본 결과 선거인단의 표수는 민주당 후보인 트루먼 대 듀이가 303 대 189였고, 민주당의 반대세력이 옹립한 더몬드는 39표를 얻었다. 또 1952년의 대통령 선거에서는 모든 여론조사가 민주당 후보인 스티븐슨의 대승리를 예상했지만, 결과는 공화당 후보인 아이젠하워 원수가 442대 89로 스티븐슨을 눌러 대승하였다).

기초가 될 표본은 '임의추출(무작위 추출)'된 것이어야 한다. 즉 표본은 '모집단'으로부터 순전히 우연에 의해 추출되어야 한다. 모집단이란 통계적인 용어로 표본이 추출되는 전체를 말하는 것으로 표본은 모집단의 일부분이다. 임의추출인가 아닌가의 판정은 다음과 같다. 즉 모집단 안에 있는 개체들이 표본에 선택될 기회가 동일한가라는 질문을 해보는 것이다.

완벽하게 임의추출된 표본이어야만 통계적 이론에 의해 그 결론을 전폭적으로 신뢰할 수가 있지만, 완벽한 표본을 얻기가 매우 힘들 뿐만 아니라 비용이 너무 많이 들기 때문에 대부분의 경우 이를 실현할 수 없다. 때문에 여론조사라든가 시장조사 등과 같은 분야에서는 보다 경제적인 대안으로 '층별임의추출법'이라 불리는 표본을 사용한다. 이 층별 표본을 얻으려면 모집단을 이전에 알고 있는 신뢰할 만한 비율에 따라 몇 개의 그룹으로 나누어야 하는데, 이도 나누기가 쉽지 않다. 설사 이 모든 상황이 해결되었다 하더라도 어느 한 계층 안에서의 임의추출표본을 어떤 방식으로 만들 수 있는가 하는 문제가 생기게 마련이다.

평균은 하나가 아니다



'평균'이란 단어는 의미가 매우 모호하여 대중의 의견을 좌우하거나 영업 행위를 위한 광고 면을 장식하기 위해 의도적으로 악용되기도 한다. 평균값이라 하더라도 그것이 어떤 종류의 평균값인지, 즉 산술평균값인지, 중앙값인지, 아니면 최빈값인지 이 중 어느 것을 말하는지 정확하게 알기 전에는 그 어떤 평균도 아무런 의미가 없다.

· 산술평균값 : 모든 숫자를 더하여 개수로 나눈 값· 중앙값 : 크기 순서대로 나열하여 한가운데에 있는 값· 최빈값 : 가장 많이 등장하는 값

올바르게 선택하지 않은 평균값은 실제로 아무런 의미를 지니지 못한다. 그런데 어느 경우에는 각각의 평균값이 큰 차이를 보이지 않아 사실상 이를 구별할 필요가 없는 경우도 있기 때문에 평균이란 개념에 혼란이 발생하게 된다.

사람의 키나 몸무게, 가슴둘레 등의 체위에 관한 자료들로부터 얻은 여러 종류의 평균값들은 거의 일치하고 있을 뿐 아니라 그 분포는 정규분포라 불리는 곡선에 가까운 아름다운 그림으로 나타난다. 즉 이 자료들을 곡선으로 나타내면 종 모양으로 그려지며, 산술평균값, 중앙값, 최빈값이 모두 같은 값으로 정해진다. 신장의 분포를 나타낼 때는 어떤 종류의 평균값을 쓰더라도 큰 차이는 없지만 소득의 분포를 나타낼 때는 그렇지 않다.

예컨대 어느 도시에 사는 모든 세대의 소득분포를 조사했다고 하자. 이런 조사에서 대부분은 대략 2억 원을 넘지 않는 소득을 올렸을 것이고, 예외적으로 몇몇 세대만이 이를 초과하는 고액의 소득을 올릴 것이다. 어쩌면 전체의 95% 이상의 세대가 올린 소득은 5천만 원 이하로 이를 곡선으로 나타내면 왼쪽으로 쏠린 모양으로 나타날 것이다. 이 경우의 산술평균값은 중앙값과 큰 차이를 보이게 된다. 따라서 이런 경우에는 어느 해의 '평균값(산술평균값)'과 다른 해의 '평균값(중앙값)'을 비교하는 것 자체가 아무런 의미가 없다.

회사의 사장님이나 중역들이 종업원 전체의 평균급여가 얼마라고 발표할 때 그 값에 커다란 의미를 부여할 수도 있지만 전혀 그렇지 않을 수 있는 것도 같은 이치이다. 만약 급여 평균값이 중앙값이라면 종업원의 절반은 그보다 높은 급여를 받고 나머지 절반의 급여는 그보다 낮다는 뜻이다. 그러나 만일 산술평균값이라면 그 값은 사장님의 급여 1억 8백만 원과 그보다 적은 나머지 종업원들의 급여들을 합한 평균값일 뿐이라는 것 외에는 아무 것도 알 수 없는 값이다. 따라서 '연간 평균 급여 1천 368만 원'이라고 할 때 이 숫자는 엄청나게 높은 금액의 사장님 급여와 480만 원이라는 종업원의 급여 그 어느 쪽도 해당되지 않는 터무니없이 황당한 수치이다. 그러므로 만일 당신이 평균급여라는 이름의 수치를 보았다면 항상 이런 질문부터 해야 한다. "어떤 종류의 평균값이오? 그 평균값을 계산할 때 누구까지 포함했나요?"

U.S스틸회사는 한때 종업원들의 평균주급이 1940년에서 1948년 사이에 107%나 증가했다고 발표한 적이 있었다. 물론 이는 사실이다. 그러나 1940년의 임금 계산에는 상당히 많은 수의 아르바이트와 같은 임시직의 급여까지 포함하였으니 이 거창한 증가도 실제로는 아무것도 아닌 것이다. 예컨대 당신이 어느 해에 임시직으로 1년 동안 오전 근무만 하고 다음 해에는 정식직원으로 상근하게 되었다면 당신의 급여는 당연히 2배로 늘어날 것이다. 그러나 그렇다고 하여 이 회사 전체의 임금 수준이 올라갔다고는 할 수 없다.

백문이 불여일견이라고? 천만에



두 개의 숫자, 미 합중국 목수의 주급과 로툰디아(이태리 북부의 공업도시)에 사는 목수의 주급을 나타내는 두 숫자를 비교해보자. 그 액수를 각각 60달러와 30달러라고 하고, 눈길을 끌기 위해 이것을 돈 자루로 표시해보자. 미국 목수가 로툰디아 목수보다 훨씬 더 부유하다는 것을 강조하고 싶다면, 30달러와 60달러의 차이를 될수록 과장해서 표시하라. 이제 미국 목수의 주급은 로툰디아 목수의 주급에 비해서 어마어마하게 크게 보일 것이다.

이것이 바로 속임수이다. 미국 목수의 돈 자루의 높이는 로툰디아 목수의 돈 자루 높이의 2배인 것은 사실이지만 동시에 그 폭도 2배이다. 따라서 그 넓이는 실제 2배가 아니라 4배이다. 숫자는 2대 1로 되어 있지만 시각적으로는 - 항상 시각적 인상이 모든 판단을 지배한다 - 4대 1이라는 느낌이 든다. 더욱 기가 막힌 것은 실제 그림이 3차원으로 나타나 있기 때문에 높이, 폭 뿐만 아니라 두께로 2대 1로 되어 있다. 기하학 책에도 나와 있듯이 서로 닮은 입체의 부피의 비는 대응하는 변의 길이의 비의 세제곱에 비례한다. 2의 세제곱은 8이므로 만약 작은 쪽 돈 자루에 30달러가 들어간다면 큰 쪽 돈 자루는 부피가 8배이므로 60달러가 아닌 240달러가 들어가 있어야만 한다. 기발한 독창성을 발휘한 도표는 바로 이를 노린 것이다. 말로는 그저 2배라고 얼버무리면서도 실제로는 8배라는 엄청난 인상을 심어놓는 것이다. 이 방법은 수많은 사람들이 써왔던 것으로 「뉴스위크」 지도 돈 자루로 이 기법을 써먹었다.

미국철강협회도 용광로 그림을 이용하여 이 수법을 써먹었다. 그들은 1930년부터 1940년 사이에 미국 철강산업의 제강 능력이 얼마나 커졌으며, 이는 정부의 원조를 하나도 받지 않고 산업계 단독의 힘으로 이룩하였다는 것을 보여주려고 한 시도이다. 이 경우에도 그림으로 표현하여 목적을 쉽게 달성할 수 있었다. 그림에서 1930년대에 이룩한 1,000만 톤의 생산능력을 갖는 용광로의 높이는 1940년대에 이룩한 1,425만 톤의 생산능력을 나타내는 용광로 높이의 3분의 2를 약간 상회한다. 그러나 눈으로 봤을 때 두 용광로의 크기는 한쪽이 다른 쪽의 거의 3배나 되어 보인다. 1.5배라고 말하면서 3배로 보여주는 것, 이를 평면 위에서 그림으로 나타내는 것이다.

이 그림에서 발견할 수 있는 몇 가지 재미있는 사실 중 하나는 큰 용광로는 수평 방향으로 정해진 비례보다 크게 그려져 있어 옆에 있는 작은 용광로보다 약간 더 뚱뚱해 보인다. 또 용해된 철을 나타내는 밑바닥의 까만 막대는 10년 전 것에 비하면 그 길이가 2.5배나 된다. 그 결과 실제로는 50%밖에 증가하지 않았는데도 그림에서는 150%나 증가한 것으로 되어 있기 때문에 계산이 틀리지 않는다면 전체 증가가 1,500%(2.5*2.5*2.5=15.625≒1563%)되는 것처럼 보인다. 환상적인 계산이다.

이 그림에서는 잘 보이지 않지만 위의 도표와 같은 쪽에는 밑 부분을 잘라 생략해버린 멋진 그래프가 화려한 색깔로 광택처리되어 있다. 밑 부분이 잘려져 있기 때문에 이 그래프는 1인당 제강 능력이 실제보다 훨씬 과장되어 증가한 것처럼 보인다. 지면도 절약하고 증가량도 배나 되어 보이니 일거양득이 된 셈이다.

언젠가 「뉴스위크」 지에는 '미국 노인들의 수명이 얼마나 연장되었을까?'라는 제목으로 두 사람의 남자가 그려진 도표가 게재된 적이 있었다. 그림의 한 남자는 현재의 평균 수명인 68.2세를 대표하고 있었으며, 다른 한 남자는 1879∼1899년대의 평균수명인 34세를 대표하고 있었다. 이 그림 역시 상투적인 방법을 사용하고 있었는데, 한쪽 남자의 키가 다른 쪽 남자의 키의 2배나 돼서 몸의 크기나 체중은 8배로 보일 수밖에 없었다. 이 도표는 기사 내용을 유리하기 이끌어가기 위해 일부러 사실을 과장해서 그렸던 것이다. 이것이야말로 선동주의의 한 예이다.

아전인수를 위한 마구잡이 통계



프린스턴 대학의 여론조사연구소가 "흑인도 백인과 동등한 취업의 기회가 주어져 있다고 생각하는가?"라는 질문으로 여론조사를 실시한 적이 있었다. 이 조사에서는 흑인에 대해 강한 편견을 갖고 있는지를 알아보는 또 다른 질문도 함께 하였다. 그 결과 인종에 대한 편견이 강한 사람일수록 취업기회에 관한 질문에 대해 '그렇다'고 대답하는 경향이 강하다는 것이 밝혀졌다. 집계 결과, 흑인에게 동정적인 사람의 3분의 2가 동등한 취업의 기회가 주어지지 않는다고 생각하고 있는데 반해, 인종에 대한 편견을 갖고 있는 사람들의 3분의 2는 동등한 취업의 기회가 주어진다고 응답하였다. 이 조사결과에서 흑인의 취업 현황에 관해서는 아무것도 알아낼 수 없었지만, 인종문제에 대한 백인들의 태도에 관해서는 매우 흥미있는 사실을 발견했다는 점이 꽤 커다란 수확이었다.

만약 이 여론조사 기간 중에 흑인에 대한 차별이 증가하는 현상이 빚어지면, 흑인의 취업 기회는 백인의 취업 기회와 동등하다고 응답하는 비율이 증가할 것이라는 것을 알 수 있다. 그 결과 다음과 같은 발표가 나올 것이다. "흑인에 대한 공평한 대우가 계속 실현되고 있다." 이런 식으로 아전인수 격의 억지 숫자를 갖다붙임으로써 획기적인 결과를 얻어낼 수가 있다. 즉 상황이 악화되면 악화될수록 그 반대로 여론조사는 더 호의적인 결과를 낳게 된다.

어떤 무엇인가를 계산해놓고 나서 그 결과를 마치 다른 것에 관한 숫자처럼 발표하는 방법은 이 밖에도 얼마든지 있다. 일반적으로 겉보기에는 같아 보이지만 실제로는 같지 않은 두 개의 사물을 선택하는 것부터 시작된다. 예를 들어 노동조합과 쟁의 중에 있는 어느 회사의 인사담당 간부인 당신이 노동조합에 대해 반대 의견을 가지고 있는 종업원이 몇 명이나 되는지 조사할 필요가 있다고 하자. 종업원에게 질문을 던져 그 응답을 정직하게 받아 적기만 해도 대부분의 종업원들은 노동조합에 대해 약간이라도 이러저러한 불평불만을 품고 있다는 것을 충분히 알 수 있다. 그리고 이 결과를 다음과 같은 제목의 보고서로 발표할 수 있다. '78%나 되는 대다수의 종업원은 노동조합에 반대한다.'

그러나 이 발표를 위해 당신이 한 것은 노동조합에 대한 조합원들의 갖가지 사소한 불평과 불만들을 집대성하여 얼핏 듣기에는 같아 보이지만, 실제로는 전혀 다른 '노동조합 반대'란 말로 슬쩍 바꿔치기 한 것에 불과하다. 실제로는 어떤 새로운 것도 증명하지 못했으면서 무엇인가를 증명한 것처럼 보이는 것이다.

모든 사람에게 매우 중요한 의학통계를 포함해서 수많은 통계들이 원천자료의 일관성 부족으로 왜곡되어 있는 경우가 허다하다. 임신중절, 사생아 출생 또는 매독 등 취급하기에 무척 신경이 쓰이는 문제에 관한 통계 중에는 모순에 찬 숫자들이 많다. 유행성 감기와 폐렴에 관한 최근의 통계를 보면 이들 병의 거의 전부가 미국 남부의 세 주에 모여 있어서 전체 경우 수의 약 80%가 그 세 주에서 발생한다는 묘한 결론을 얻게 된다. 그러나 다른 주에서 이미 중단한 지 오래인 이 병의 발생 보고를 이 세 주에서만은 아직도 의사들이 의무적으로 시행해야 하기 때문에 빚어진 숫자이다.

의학사상 1952년은 소아마비가 대유행한 최악의 해였다는 불행한 뉴스를 들었는지 모르겠다. 이는 그 해에 보고된 환자 수가 그 이전의 어느 해 보다도 더 많다는 어쩔 수 없다는 증거에 그 근거를 둔 것이었다. 그런데 전문가들이 이 숫자를 좀더 깊이 들여다보고 몇 가지 사실을 밝혀냈다. 우선 그 해에는 이 병에 걸리기 쉬운 연령의 아동이 그 어느 해보다도 월등히 많아 발병률이 예년과 같은 수준을 유지한다 하더라도 환자의 수는 기록적인 숫자로 뛰어올랐을 것이라는 사실이다. 그리고 소아마비에 대한 일반 사람들의 인식이 높아져 의사에게 진단을 받는 횟수가 늘어나 경미한 환자도 기록에 남겨지게 되었다. 또한 소아마비 보험의 가입자 수의 증가 및 소아마비 전국기금으로부터의 원조금액 증대 등과 같은 재정적 지원도 환자 수 증가의 한 요인이 되었다. 이상 세 가지 요인을 검토해보니 기록적인 소아마비 환자의 수에 대한 의심을 제기할 수밖에 없었으며, 실제로 이 의심은 그 해의 총 사망자 수를 보고 해결될 수 있었다. 어떤 유행병의 발병률을 재는 척도로서는 환자 수보다는 사망률 또는 사망자 수가 더 정확하다. 사망시의 보고가 그 내용이나 그 기록 면에서 훨씬 더 정확하기 때문이다.

통계도 논리이다



전후관계와 인과관계를 혼동하는 오류(시간적 발생에 따라 인과관계를 설명하려는 논리적 오류)를 범하지 않도록, 그리고 사실이 아닌 여러 현상을 사실이라고 믿는 일이 없도록 하기 위해 상관관계에 관해 언급할 때는 각별한 주의를 기울여야 한다. 어떤 것이 다른 어떤 것의 원인이라는 것을 증명해줄 것 같이 보이는 저 믿음직스럽게 정밀한 숫자인 상관관계에는 여러 가지 유형이 있다.

첫째는 우연히 일어나는 상관관계이다. 실제로는 절대로 일어날 것 같지 않은 일이 일어날 수도 있다는 것을 증명해주는 숫자를 이런 식으로 하면 한 번은 얻을 수 있지만, 다시 한번 되풀이할 때에도 그럴 수 있다는 보장은 할 수가 없다. 둘째는 보통 공분산(두 변량의 편차 - 각 평균값으로부터의 차- 들의 곱에 대한 기댓값)이라고 부르는 것으로 상관관계가 있다는 것은 명백하지만 어느 것이 원인이고, 어느 것이 결과인지가 분명하게 드러나지 않을 때 사용한다. 소득과 주식 소유량 사이의 상관관계가 아마도 이런 종류일 것이다. 돈을 많이 벌면 주식을 더 많이 사게 되고, 주식을 더 많이 사게 되면 다시 소득이 늘어나므로 어느 쪽이 원인이고, 어느 쪽이 결과라고 간단히 결론을 내릴 수가 없다.