수학의 감각

수학의 감각



박병하 지음

행성B / 2018년 9월 / 278쪽 / 16,000원



안 된다는 생각이 가능성을 밀쳐 낸다 - 무한으로 상상하기



영국의 한 대학에서 엉뚱한 실험을 했다. 실험 주인공은 원숭이 6마리였고, 실험의 목적은 원숭이들이 거의 무작위로 쳐 대는 글자에서 의미 있는 문장이 얼마나 나오는지 보는 것이었다. 이 황당한 실험은 현대 문학의 대가 보르헤스가 20세기 초반에 쓴 수필 〈전체 도서관〉에서 비롯되었다. 그 글에서 보르헤스는 원자들이 우연히 결합돼 세상 만물이 탄생했다는 관점에 착안해, 무한의 시공간에서 원숭이 6마리가 우연히 타자기를 쳐 대도 대영도서관의 모든 책을 다 써 낼 수 있다고 상상한다.

누군가는 ‘말도 안 돼!’라고 단정할 수 있다. 하지만 이런 태도는 상상의 공간을 좀먹고 문제를 어렵게 보도록 만든다. 반면 보르헤스처럼 무한을 과감히 도입하면 풍성한 열매를 손에 쥘 수 있다. 상상이 수필로, 수필에서 단편 소설 〈바벨의 도서관〉으로 이어졌으니 말이다. 문제가 생기면 제약 조건이 완전히 사라진, 툭 트인 상상의 공간에 서서 먼저 그 문제가 해결 가능하다는 확신을 갖고 시작하라.

무한을 구현된 실체로 보기: 아주 오랜 옛날부터 수학자들에게 무한은 없어서는 안 되는 것이었다. 도형은 물론 소수, 완전수, 친구수 같은 특별한 수가 무한한가, 아닌가 따지는 것은 중요한 문제였다. 그 대상이 유한개라면 그것에 대한 흥미는 급격히 떨어진다. 반면 무한이라면 달리 보게 된다. 거기에는 무언가 풀지 못한 수수께끼가 담겨 있을 것만 같고 실제로 무한은 신비한 힘도 발휘한다.

그런데 무한을 어떤 대상들의 독특한 현상으로 보다 무한 자체로 관심을 옮긴 것이 17세기 이후다. 이 시기 사람들은 ‘순간’의 움직임에 관심이 많았고, 그 관심은 휘어 있는 선의 기울기와 휘어 있는 도형의 넓이를 구하는 문제로 이어졌고, 마침내 함수 개념과 미적분학을 탄생시켰다. 거칠게 말하면, 미적분학은 무한히 잘게 쪼개서 무한히 더한다는 생각에 기대고 있다. 그렇기 때문에 무한의 개념을 확실히 정리해야만 하는 지경에 이른다. 이 무렵 무한을 보는 다른 관점이 등장한다.

즉 무한이란 ‘수가 점점 커지고 있는 과정’이 아니라 ‘이미 구현된 실체’로 인식하는 관점이 바로 그것이다. 이것을 쉽게 드러낸 예가 0.9999…다. 소수점 다음에 9가 무한히 있는 수이다. 첫 번째 관점인 ‘9가 계속되는 과정’이라고 보면 9가 아무리 계속되어도 0.9999…은 1이 될 수 없다. 반면 9가 ‘이미 무한개 있다’고 보면 이 수는 분명 1이다. 이 관점에서 0.9999…는 1의 다른 표현일 뿐이다.

어떤 무한을 과정이 아니라 한 덩어리의 실체로 본다는 것은 말장난이 아니라 중요한 사고의 전환을 뜻한다. 언뜻 봐서는 0.9999…가 1보다 살짝 작다는 생각과, 1이라는 생각 사이에 별 차이가 없는 것 같지만, 중요한 문제에서 자주 그렇듯이 작은 차이가 큰 차이를 유발한다. 다음의 예를 보더라도 그렇다. 소수점 다음에 9가 1조 개의 1조 배만큼 있어서 0.999…999라면 이것은 절대 1이 아니며, 1/1-0.999…999이라는 수는 1조의 1조 배가 될 수 있는 엄청나게 큰 수다. 다시 그것의 1조 제곱을 해 가도 여전히 의미 있는 큰 수고, 이 과정을 계속해 가도 그것은 어떤 큰 수다. 하지만 소수점 아래 9가 무한이라면(다시 말하지만 ‘무한히 계속되고 있다’가 아니다) 상황은 완전히 변한다. 1/1-0.999…1은 1/0이 돼서 보통 수학에서 아예 존재를 인정하지 않는 수다. 이렇듯이 무한을 어떻게 보느냐에 따라 수가 존재한다, 아니다, 결론 내릴 수 있다.

원숭이는 『수학의 감각』을 쓸 수 있을까: 무한은 구현된 실체라는 관점을 유지하면서 상상 속에서 원숭이 타자 실험을 시작해 보자. 이 실험에서도 무한이냐, 아니면 ‘거의’ 무한이냐에 따라 문제를 보는 시각이 달라진다. 원숭이가 타자기 앞에 있다. 고개를 두리번거리다가 자판을 두드려 본다. 처음 몇 번에 ‘기린달하닥’ 같은 난독 기호들이 나타난다. 그다음엔 ‘나는’ 같은 알 수 있는 글자들이 나온다. 알 수 없는 기호들이 이어지고 10시간이 지났을 때 ‘너를 사랑해’가 등장했다.

‘원숭이가 아무 생각 없이 치는데 어떻게 책 한 권이 고스란히 담길 수 있단 말인가? 말도 안 돼’라고 생각할 수 있다. 우리는 지금 상상 공간에 있기 때문에 웬만한 제약 조건들은 무시할 것이다. 키가 0과 1 2개로만 돼 있는 상상의 자판을 투입하고, 0과 1로만 구성된 2진법을 우리 글자로 바꿔주는 상상의 번역기도 설치한다. 그리고 실험을 단순하게 하기 위해 원숭이가 두드릴 키는 30개로 제한해 보자. 자, 어떻게 될까? 원숭이가 쳐 낸 것 중에는 틀림없이 우리가 읽을 수 있는 글자도 있을 것이다.

그렇지만 책 한 권은커녕 시 한 수도 담겨 있지 않을 가능성이 크다. 예를 들어 “풀이 눕는다 / 비를 몰아오는 동풍에 나부껴 / 풀은 눕고 / 드디어 울었다”로 시작하는 김수영의 〈풀〉이라는 시가 들어 있을까? 내가 잘못 세지 않았다면 이 시 전체는 띄어쓰기 포함해서 195자다. 한글은 초성, 중성, 종성으로 되어 있으니 자판을 평균 2.5번 눌러야 글자 하나가 완성된다. 결국 200자 정도 되는 시 한 편을 치려면 500번 정도를 연속해서 쳐야 한다. ‘풀’의 경우 30개 키에서 ‘ㅍ’를 먼저 친 다음, ‘ㅜ’와 ‘ㄹ’을 연속해서 쳐야 비로소 완성된다. 즉 ‘풀’을 치려면 1/30의 확률이 3번 연속해서 발생해야 한다.

보르헤스가 무한을 과감하게 도입했을 때 문학적 상상력이 핵융합을 일으켰고, 원숭이는 세상의 모든 도서관에 있는 책을 다 쳐 낼 수 있게 되었다. 그렇다고 해서 무한이 문학과 수학 같은 데서만 강력한 힘을 발휘하는 것은 결코 아니다. 무한을 머릿속에 도입해 상상하는 것은 단순히 놀이가 아니다. ‘이건 말도 안 돼’라는 생각은 상상력을 좀먹는다. 이런 태도를 가진 사람들에게 조언하고 싶다. 머릿속에 무한을 데려와 가정해 보아야 한다고. “이건 말도 안 돼!”라고 말하는 순간 자기 스스로 상황을 말도 안 되게 만들고 있는 거니까. 어려움을 먼저 생각하면, 해결할 수 있는 것까지 못하게 된다.

문제 해결법을 제안한 『안 될 것 없잖아?』라는 책에서 저자들은 일상에서 창조성을 발휘할 실질적인 묘안을 단계별로 제시했다. 그중 첫 단계가 무한 도입하기, 일명 ‘크로이소스는 어떻게 할까(What would Croesus do)?’라는 사고 습관이다. 문제가 닥치면 제약 조건이나 유한한 자원을 먼저 보려 하지 말고 모든 것을 다 가진 왕 크로이소스가 되어 보라는 뜻이다. 이제 우리가 가진 자원은 구현된 무한이며 그래서 무엇이든 다 할 수 있게 되었다. 문제를 다시 보자. 불가능의 요인은 모두 녹아 버렸다. 우리가 서 있는 상상의 공간은 툭 트였다. 걸리적거릴 것이 없다. 자신도 모르게 제약 조건에 두었던 시선이 순식간에 가능성으로 옮겨 간다. 큰 수를 가져와 상상하고, 무한이 구현된 덩어리라고 상상하라. 무한이 우리를 자유롭게 하리라.

열쇠를 쥐고 찾을 때도 있다 - 익숙한 것에서 답 찾기



사람은 자리를 정하고 확인하려는 본능이 있다. 몇 날 몇 시인지 궁금해 하고, 1년에 1번씩은 몇 살인지 확인하여 작은 축제를 연다. 시간은 볼 수 없지만 사람들은 시간에 수를 대응시켜 달력을 만들어 냈다. 그것으로도 성이 안 찼는지 시간의 위치를 더 정밀하게 알고 싶어 시계도 발명했다. 어떤 도구를 쓰건 시간을 수로 나타내려면 기준 시점과 기준 단위가 있어야 한다. ‘지금’이 기준 시점에서 기준 단위로 얼마나 와 있느냐는 생각은 자연스럽게 과거, 현재, 미래라는 개념을 선처럼 그려 보게 했고 미래가 물결처럼 우리에게 온다는 상상까지 하게 이끌었다.

광활한 우주에서 길을 잃지 않으려는 노력은 공간까지 뻗친다. 그 결과 공간을 작은 도형으로 대응시킨 지도를 낳았다. 3차원의 공간을 2차원의 지도에 정확히 나타내는 것은 여전히 쉽지 않은 수학 문제인데 ‘공간을 도형으로 나타내기’도 그 기준점과 기준 단위를 통합해 가는 추세다.

보이지 않는 것을 보고야 말겠다는 의지는 ‘기준 정하기’로부터 시작됐다. 더 정확하게 위치를 정하고 확인하고 싶었던 열망은 시간과 공간을 넘어 더 투철해졌다. 마음속에나 있는 줄 알았던 수와 도형까지 사진처럼 보려는 꿈을 꾼 것이다. 이 꿈을 완성하기 위해 X선 촬영이나 MRI 같은 고차원의 조작법이 필요한 것은 아니었다. 수나 도형은 마음으로도 볼까 말까 한 것들이라 눈으로 보려면 전혀 다른 시도가 필요했기 때문이다. 수는 수고 도형은 도형이라는 고정관념을 허물고, 전혀 달라 보이는 그 2개의 모델을 통합하려는 시도가 바로 그것이다.

사고 모델의 통합: 브라질에 있는 나비 한 마리의 날갯짓이 태평양 연안에 태풍을 일으킬 수 있다. 이렇듯 작은 차이가 태풍 같은 큰 변화를 일으킨 예로 수와 도형의 통합만 한 것이 없다. 수와 도형을 좌표하는 하나의 틀로 통합할 수 있게 이끈 선구자로 데카르트와 페르마를 꼽는데, 페르마는 이런 생각을 친구들과 주고받은 편지에 썼고, 데카르트는 철학ㆍ과학ㆍ수학 분야를 망라한 명저 『방법서설』에서 나타냈다. 이 책은 크게 4부분으로 되어 있는데, 철학 부분은 〈방법서설〉로 알려졌고, 수학 부분은 〈기하학〉에 담겨 있다. 특히 〈기하학〉에서 나오는 ‘모르는 값은 x, y로 쓴다’는 문장은 당대에는 혁신적인 발상이었다. 잡히지도 보이지도 않는 수에다가 위치와 방향을 부여하는 좌표 개념을 상상할 수 있는 단초를 제공해 주었기 때문이다.

『방법서설』을 쓰기 한참 전부터 데카르트는 어떤 문제든 해결할 수 있는 보편적 방법을 발명하고 싶었다. 수학에서 보편적 원리의 길을 찾던 데카르트는 먼저 수학적 사고 틀부터 하나로 통합하기로 한다. 지금이야 수학의 분과가 수천 개이지만 당시만 해도 수학은 도형의 성질을 주로 탐구하는 기하학과, 수와 식을 주로 다루는 대수학 분야로 크게 양분되어 있었다. 이 둘은 다른 언어와 사고 체계를 쓰고 있어서 이질적인 것으로 여겨졌다. 완전히 다르다고 생각했던 둘을 통합할 열쇠는 우리가 닿을 수 없는 높고 험난한 곳에 있지 않았다. 아주 가까운 곳에 있었다. 위도, 경도가 있는 지도 하면 생각나는 것, 좌표라는 개념이 바로 그것이다.

익숙한 것에 사고 통합의 열쇠가 있다: 오늘날은 초등학생도 수직선을 안다. 수를 직선에 나타낸다는 생각은 너무 당연해서 말할 가치도 없어 보인다. 하지만 이것은 혁명적인 발상이었다. 다시 강조하지만, 숫자 쓰기가 하나로 통합되는 데는 수천 년이 걸렸다. 그래도 “몇 개”라고 말할 수 있다면 괜찮은 편이다. 우리말로 음수라고 부르는 수 -1, -2, -3, …은 셀 수 있는 물건과 상관이 없다. 중국인이나 인도인들은 자신들의 세계관 덕분에 양(陽)에 대칭해서 음(陰)이 있다는 것을 자연스럽게 받아들였다. 하지만 중세 유럽인들은 그렇지 못했다. 손으로는 -1개를 꼽을 수도, -1개인 사과도 없기 때문이다. 음수를 받아들일 수밖에 없는 지경에 이르러서도 불길함을 떨칠 수 없었다. 그래서 음수를 ‘부정적인 수’라고 쓴다. 사실 음수라는 신개념과 그것으로 셈을 하는 신기술은 혁신이라고 할 만큼 편리한 것이었다. 받아들이자니 수에 대한 기존 개념이 흔들리고, 안 받아들이자니 불편한 진퇴양난의 상황이었다. 그런데 이런 복잡한 실타래를 단칼에 베어 버린 엑스칼리버가 나타났다. 바로 직선이다!

직선에 수를 대응시키자 음수는 너무나 당연한 존재로 받아들여졌다. 다만 음수가 수로 완전히 인정받기까지는 데카르트 이후 약 200년이 걸린다. 그 긴 역사를 몇 마디로 짧게 줄이면 이렇게 요약할 수 있다. ‘㉠ 기준점을 잡는다. 그 점을 0이라 한다. ㉡ 기준 단위를 아무거로나 정한다.’ 여기까지는 시간과 공간을 달력과 지도로 묶는 것과 크게 다를 바 없다. 수의 세계와 기하학적 세계, 즉 두 세계를 통합하는 과정의 백미는 바로 그다음이다. ‘㉢ 기준점에서 오른쪽으로 기준 단위 하나 떨어진 곳에 1을 대응시킨다. ㉣ 기준점에서 왼쪽으로 기준 단위 하나 떨어진 곳에 -1을 대응시킨다.’

한편 직선도 단순했지만 수와 대응시키는 방법도 지극히 단순하다. 직선에 기준점, 기준 단위 그리고 ‘방향’이라는 3가지 요소로 수를 위치시킨 것이다. 그다음부터는 일사천리다. 이제 표시된 점과 점 사이를 쪼개 가면서 분수를 표시하면 되었고, 그것에 대응하는 음의 수는 0을 기준으로 반대편에 두면 되었다. 다시 말해 0을 기준으로 180도 돌리면 양은 음이 되고 음은 양이 되는 것이다. 음수는 그 자체로도 불길한데 그 수를 곱하기까지 한다니 당시 사람들은 납득하기 어려웠다. 하지만 수직선이 나오자 아주 간단한 일이 돼 버렸다. 예를 들어 2x(-1)는 수직선에서 2를 180도 회전한 지점을 뜻한다. 이렇듯 수직선은 워낙 깊은 곳까지 건드렸기 때문에 파급력이 매우 컸다.

모호했던 수가 직선이라는 인화지에 이미지를 드러내자 세상이 달라졌다. 눈으로 볼 수 있으니 양수에 크기와 순서가 있듯이 음수에도 크기와 순서가 자연스럽게 드러났고, 덧셈과 곱셈을 하는 이치도 척척 맞아떨어졌다. 역사적인 사고 통합의 열쇠는 항상 우리 곁에 있었던, 바로 평범하기 그지없는 직선이었으며, 수 하나를 점 하나에 대응시키는 방법도 상식을 결코 넘어서지 않았다.

사고 통합의 완성: 2개의 기준틀로 보기: 수는 점이 되고 점은 수가 되는 통합을 이루어 내기는 했지만 아직 통합은 완성되지 않았다. 직선 하나에 모든 수를 담았다면 직선 자체는 무엇과 대응할까? 곡선은 어떻게 나타낼까? 통합을 완성하려면 이런 질문들에 답해야 했다. 사고 통합이 일어나기 전에 점이란 ‘부분을 갖지 않는 그 무엇’이었고 까맣고 작게 찍어 나타냈다. 그런데 도형에는 점만 있는 게 아니다. 점 하나를 수 하나로 통합해서 서로 볼 수 있게 했다면 직선과 원은 어떻게 대응시켜야 할까? 이런 질문에 올바로 답을 못한다면 사고 통합은 불완전한 상태로 남아 있을 수밖에 없다. 직선의 한 점과 수 하나를 대응하는 데서 머무르지 않고, 평면의 한 점과 수의 쌍을 대응하는 데로 나아가야 이 불완전을 해결할 수 있다. 그러나 어떻게? 화룡점정을 찍듯 이 문제를 해결한 것이 파리 한 마리이다. 이에 관한 흥미로운 일화를 정리하면 이렇다.

‘데카르트는 허약해 누워 지내는 시간이 많았고 그럴 때면 사색에 잠겼다. 그날도 침대에 누워 기하학의 점과 대수학의 수를 통합해 세상의 모든 문제를 수학으로 풀려는 꿈을 꾸고 있었다. 그런데 난데없이 파리 한 마리가 날아다니는 것이다. 그 바람에 도무지 사색에 집중할 수가 없었다. 파리는 천장 이곳저곳에 앉아 있다 날아갔다 했다. 순간 데카르트 머릿속에서 번쩍 번개가 쳤다. 파리를 점으로 하고 파리가 앉은 천장을 수의 평면으로 생각하면 평면의 점도 수와 대응시킬 수 있겠구나!’

여느 수학 교양서에서 곧잘 소개되는 내용인데, 근거 없는 이야기다. 딱딱한 이야기를 재미있게 전하려고 꾸며 낸 것이리라. 하지만 이 속에 핵심은 고스란히 담겨 있다. 천장은 가로와 세로라는 2개의 기준으로 되어 있으니, 까맣고 작은 파리를 가로로 얼마, 세로로 얼마로 해서 나타내면 된다. 게다가 우리에게는 이미 수직선이 있으니 하나를 복제해 추가하며, 파리의 운동을 수로 표현할 수 있다! 사고 통합을 위한 열쇠를 쥐고 있는 ‘평면의 점’을 포착하기 위한 과정을 간단히 정리하면 이렇다. ‘㉠ 기준을 수직선 둘로 한다. 기준 단위는 수직선이 둘 다 같다. ㉡ 두 기준점을 겹치게 하고 직각이 되게 한다. ㉢ 정한 것이 없으니 가로 수직선을 x, 세로 수직선을 y라고 부르기로 한다. ㉣ 가로의 어느 방향으로 얼마만큼, 세로의 어느 방향으로 얼마만큼으로 평면의 점을 포착한다.’

이 절차를 마치면 십자가 모양이 만들어진다. 어떻게 표현해야 할지 막연했던 평면의 점이 X선 촬영이나 MRI로 찍히듯 수로 찍혀 나올 수 있다. 시간과 공간이라는 망망대해에서 위치를 확인하고 싶었던 우리는 마침내 점이라는 ‘부분을 갖지 않은 그 무엇’에 대해서도 위치를 정하고 확인할 수 있게 되었다. 이렇게 하여 수와 평면이 통합되었다.