수학자의 공부

수학자의 공부

오카 기요시 지음

사람과나무사이 / 2018년 1월 / 240쪽 / 13,000원





제1부 수학을 배우고 즐기는 삶



발견의 황홀한 기쁨

사람들은 내게 묻는다. 무엇에 쓰려고 그렇게 열심히 수학을 연구하느냐고. 난 단지 수학을 배우는 기쁨을 먹고 마시며 살아갈 뿐이다. 수학을 배우는 기쁨을 먹고 마시며 사는 존재일 뿐 그 이상도 이하도 아니다. 수학을 배우는 기쁨이란 ‘발견의 기쁨’이다.

수학에서 발견의 기쁨이란 무엇일까? 유학을 마치고 돌아온 지 얼마 지나지 않았을 때였다. 나는 다변수 함수론을 전공하려고 마음먹고 있었다. 그 무렵, 하인리히 벵커와 페터 툴렌 공저의 『다변수 해석함수론』이 독일에서 출간되었다. 이 책에는 1029년 이후 나온 논문이 총망라되어 있었다. 마루젠 서점으로 달려가 책을 사서 읽어보았다. 그 책을 통해 세 가지 중심적인 문제가 미해결 상태로 남아 있음을 알았다.

그것들에 도전하고 싶은 마음이 생겼다. 150페이지 분량의 논문을 썼다. 그 논문을 끝까지 정독했는데, 더 쓰고 싶은 마음이 사라졌다. 중심적인 문제를 하나도 다루지 않았다는 사실을 깨달았기 때문이다. 마음속으로 결심했다. 그동안 쓴 논문은 요약해서 발표하고, 이듬해 1월부터 『다변수 해석함수론』에 언급된 미해결 문제에 도전하기로.

두 달 남짓 목록에 실린 주요 논문의 요점을 참고하면서 해결 방안을 모색하니 세 가지 문제가 하나의 산맥처럼 명료하게 드러났다. 미해결 문제인 만큼 녹록하지는 않았다. 아침마다 방법을 바꾸어 하루가 끝나는 밤까지 시도하고 또 시도했다. 올바른 방법인지조차 판단이 서지 않았다. 며칠을 걸려 문제를 풀어도 그것이 정답인지 오답인지도 알 수 없었다. 그렇게 석 달여 시간이 하릴없이 지나갔다. 맥이 풀릴 대로 풀려서 아무것도 할 수 없는 상태가 되었다.

그렇게 기진맥진해 있던 어느 날, 나카야 우키치로(1900~1962, 일본 물리학자) 씨에게 연락이 왔다. 홋카이도에 한번 올라오라고 했다. 마침 여름 방학이라 주저 없이 향했다. 운 좋게도, 홋카이도대학 이학부의 응접실로 쓰던 방을 빌려 연구를 진행할 수 있었다. 연구가 수월히 진행되지는 않았다. 응접실에 어울리는 푹신한 소파에서 잠을 자는 시간이 많아졌다. 학생들 사이에서 나를 흉보는 말들이 퍼졌다.

9월이 되어 돌아갈 채비를 하고 있을 때였다. 나카야 씨가 자기 집에서 아침 식사를 같이 하자고 불렀다. 식사를 마친 뒤, 연구실에서 가만히 앉아 생각에 잠겨 있었다. 그때 놀라운 일이 일어났다. 생각이 한 방향으로 가지런히 모이는 느낌이 들더니 점점 구체화하기 시작했다. 두 시간 반 정도 시간이 흐르자, 어디를 어떻게 손을 대야 좋을지 확실히 알 수 있었다. 두 시간 반이라고는 해도 생각을 정리하는 데 시간이 걸렸을 뿐 대상이 확연히 떠오르는 데는 놀라우리만치 적은 시간이 걸렸다. 말할 수 없이 기뻐서 내 생각이 맞는지 그른지 의심하지도 따져보지도 않았다.

발견의 기쁨이었다! 그 전에도, 후에도 발견의 기쁨을 맛본 적이 몇 번 있었다. 하지만 그렇게 커다란 기쁨을 느끼기는 그때가 처음이었다. 이듬해부터 ‘다변수 해석함수론’이라는 표제를 사용하여 2년에 한 번꼴로 다섯 차례에 걸쳐 논문을 발표했다. 긴장과 이완이 반복되는 몰입 상태에서 발견한 것을 바탕으로 완성한 작업이었다. 몰입은 그런 식으로 찾아오는 것 같다. 약간의 긴장감을 유지한 채 난생처음 가는 길을 걷듯 아무것도 모르는 상태에서 일을 계속 진행하기, 거기에 더해 졸음만 쏟아지는 일종의 방심 상태에 놓여 있기. 이 두 가지가 ‘발견’의 중요한 밑거름이 되었던 게 아닌가 싶다.

씨를 뿌려두고 발아하기까지는 시간이 걸린다. 물질의 결정 작용도 마찬가지다. 일정 조건이 충족된 상태에서 한동안 내버려 두어야 한다. 성숙할 준비가 되어 있고 조건이 갖춰져 있다 해도 반드시 일정한 시간이 요구된다. 그렇지 않으면 성숙할 수 없다. 더는 방법이 없어 보이는 상황에서도 포기하지 말아야 하는 것도 그래서다. 의식의 밑바닥에 잠재해 있는 것이 천천히 자라서 표면에 드러나기를 기다려야 한다. 그렇게 하다 보면, 풀리지 않을 것 같은 문제도 자연스럽게 해결된다.

운명처럼 수학을 만나다

수학을 전공했다고 하면 사람들은 묻는다. 초등학교 다닐 때부터 수학을 잘했느냐고. 수학을 못하지는 않았다. 그렇다고 특별히 잘한 것 같지도 않다. 초등학교 4학년 때의 일이었다. 반에서 누가 산수 문제를 가장 빠르고 정확하게 푸는지를 가리는 시합이었다. 나는 두 번째로 빨리 문제를 풀었다. 가장 먼저 문제를 푼 아이는 급하게 풀다가 실수로 소수점을 찍지 않았다. 선생님은 나를 1등으로 인정해주었고 상품도 덤으로 따라 왔다. 하지만 6학년이 되자 응용문제가 어려워졌다. 그리고 당시 5년제였던 중학교 입시에서 쓴잔을 마셨다. 수학 점수가 나빠서 불합격한 것은 아니었지만 응용문제를 제대로 풀질 못했다. 어릴 때는 수학에 소질이 있는지 없는지 알 수 없었다.

수학의 발견, 그 찬란한 순간

수학을 연구하려고 마음먹게 된 계기는 중학교 5학년 때였다. “완전사변형 대각선 3개의 중점은 동일직선상에 있다.”라는 정리를 증명하기 위해 오랫동안 골몰해 있었다. 현관 앞에 쭈그려 앉아 있는 시간이 길었다. 목탄 같은 것으로 그림을 그리며 생각에 잠기곤 했다. 그런 시간이 겨울방학까지 이어졌다. 연초 무렵, 급기야 코피가 터졌다. 수면제에 중독된 것처럼 속이 울렁거렸다. 겨울방학이 끝날 무렵에도 증세가 사라지지 않았다. 얼마 후 괜찮아졌지만, 그런 일을 겪고 나자 생각이 깊어졌다.

대학교 전공을 선택할 시기에 나는 학자로서 학계에 공헌할 자신이 없었다. 이과 학생들이 대부분 공학부를 지원하므로 그쪽이 무난하다고 생각하여 물리학과에 들어갔다. 물리학과의 첫해 기말시험에 선생이 출제한 것은 두 개의 응용문제였다. 평소 습관대로 어려운 문제부터 풀기 시작했다. 한 문제당 2시간 정도 걸려서 답안을 작성했다. 문제를 제대로 풀었다는 확신에 나도 모르게 “해냈다!”라고 소리 질렀다. 감독관으로 들어와 있던 야스다 선생과 주위 학생들이 모두 내 얼굴을 빤히 쳐다보았다. 나는 머리를 긁적이며 겸연쩍게 웃었다. 그리고 연필을 집어 들고 강의실 밖으로 나갔다. 공원으로 달려가 해가 저물 때까지 벤치에 누워 있었다. 그 뒤의 시험을 몽땅 내팽개친 채였다. 하지만 날아갈 듯 기분이 좋았다. 내 인생에서 찬란한 수학의 발견, 증명법에 대한 최초의 발견 순간이었다.

나는 조금만 더 열심히 공부하면 수학을 잘할 수 있다는 자신감이 생겼고 그 참에 수학과로 전과를 결심했다. 대학 시절, 1~2년간 온전히 몰입한 상태로 수학 문제를 풀고 또 풀었다. 올챙이에게도 다리 나오는 시기가 있듯, 누구에게나 무언가를 왕성하게 해내는 때가 있다.

지력을 단련하는 방법

“수학의 본체는 조화의 정신이다.” 천재 수학자 앙리 푸앵카레의 말이다. 수학에 뜻있는 사람이라면 이 말을 가슴에 새기고 음미하기 바란다. 푸앵카레가 쓴 『과학과 가설』은 수학이 완성되어가는 과정에 가장 중요한 지력이 무엇인지 터득하는 데 도움이 된다. 이런 지력을 어떻게 기를 수 있을까? 수학을 잘하기 위해서는 대뇌 전두엽을 단련해야 한다. 그 단련법이 중요하다고 여기는 사람은 많지 않다. 일본도를 제련할 때는 뜨거운 쇳물에 담갔다가 바로 차가운 물에 식히는 과정을 여러 번 반복해야 한다. 푸앵카레의 지력도 차가운 물에 식힐 때 비로소 단련된다.

예를 하나 들어보자. 중학교에 다닐 무렵, 나는 수학 시험을 볼 때마다 답이 맞는지 검산하는 데 많은 시간을 들였다. 그렇게 충분한 시간을 들여 검산했음에도 교실을 나오는 순간 틀린 부분이 눈앞에 떠오르곤 했다. 집으로 가는 발걸음이 무거웠다. 누구나 비슷한 경험을 했을 것이다. 교실에 나와 긴장이 풀리는 순간 나타나는 이 지력이 ‘대자연의 순수 직관’이다. 충분한 노력을 기울인다면 같은 시간에 좀 더 빨리 지력의 빛을 볼 수 있다. 이 지력이 수학의 발견으로 이어진다. 검산 과정에서 이 지력이 떠오르는 일은 없다.

요즘은 식히는 과정을 빼고 쇳물에 담그는 작업만 반복하는 게 아닌가 싶다. 뜨거운 곳에만 있으니 대뇌 전두엽은 과열 상태에 빠진다. 이 상태로는 가장 중요한 조화 정신을 체득할 수 없다. 과열 상태의 예는 휴식 시간 없이 기계적으로 일하는 것을 들 수 있다. 이런 직종에 있는 사람들은 적당한 휴식을 취할 수 있게 배려해야 한다. 우리는 벽 안이 아닌 틈새에 살고 있고, 틈새에서 성장했다. 그러니 대뇌 과열을 줄이고 틈을 많이 만들어주면 지력은 향상된다.

모란꽃은 아무리 길어도 열흘이면 지고 만다. 지는 순간, 나무에 새롭게 자리 잡고 1년이라는 시간을 들여 꽃피울 준비를 한다. 피는 기간은 짧지만 나무에 머무는 시간은 길다. 이것이 자연이다. 인간도 자연처럼 준비 기간이 필요하다. 수학에 의지와 열정을 가진 사람이라면 꽃피우는 시간보다 나무에 붙어 있는 시간이 훨씬 중요하다고 말해주고 싶다.

세 가지 직관에 관하여

직관이라는 대자연의 지력은 비록 때가 끼어 있다고는 하지만 우리의 일상생활 곳곳에 영향을 끼치며 존재감을 드러낸다. 직관에는 세 종류가 있다. 첫 번째 직관은 인간에게 실존감과 긍정감을 부여해주는 감각이다. 자명한 것을 자명하게 보는 것도, 차갑거나 따뜻한 것을 구별할 수 있는 감각도 이 직관에 기반을 두고 있다. 잘못을 찾아내어 고치는 행위도 이 직관에서 나온다. 굳이 말하자면 믿음 그 자체다. 믿음이 없어지는 순간, 인간은 인간이 아니게 된다. 믿음이 없으면 시시비비를 가릴 수도 선악을 구별할 수도 없게 된다.

두 번째 직관은 좋은 선율을 들었을 때 좋다고 판단하는 감각이다. 제비꽃을 보고 아름답다고 말할 수 있는 것도, 이 세상에 진ㆍ선ㆍ미가 존재하는 것도, 좋은 것을 좋다고 하고 싫은 것을 싫다고 하는 것도 모두 이 직관 덕택이다.

세 번째 직관을 말하기 전에 자리에서 한번 일어나보기 바란다. 단숨에 일어섰는가, 아니면 비틀거리며 힘겹게 일어섰는가? 아무튼 일어서긴 했을 것이다. 이는 찰나의 순간 온몸의 근육이 움직였음을 의미한다. 자세히 생각해보면 당신이 일어나려고 한 생각의 결과 일어난 행동이라는 사실도 알 수 있다. “스스로 나타나고 스스로 본다.”라는 말도 여기에서 나온 것이다. 무의식적으로 한 행위들이 이러한 과정 끝에 일어난 것임을 알게 되는 직관이다. 행위에 드러난 것이 좋은 것인지, 말과 행동의 중간에 이상한 면이 섞여 있는지 등을 알아채지 못하니 위험한 면이 있다. 첫 번째 직관과 두 번째 직관을 제대로 익힌 뒤 세 번째 직관을 다루어야 하는 것도 그래서다. 세 가지 직관을 모두 겸비해야 진정한 지력을 발휘할 수 있다. 그러나 일반적으로 첫 번째 직관만을 지력으로 여기는 사람들이 많다.

무차별지(無差別智)라는 것이 있다. 의식이 각성하면서 함께 발동하는 지력을 말하는데, 이는 이성의 핵심을 이룬다. 무차별지는 정서의 중심을 관통하는 지력으로도 알려져 있다. 무차별지는 순수한 직관과 통한다. 명백한 것을 명백하다고 인식하는 힘이다. 무차별지가 있기에 인간 지능도 의미가 있다. 무차별지의 힘이 약하면 앵무새처럼 들은 말만 반복하게 된다. 명백함 따윈 없으니 독자적인 견해를 피력할 수도 없다. 자연스럽게 모든 토대가 불안해져 다른 이의 명백에 의지하게 된다. 타인을 거울삼아 모든 것을 따라 하는 줏대 없고 소신 없는 사람이 되고 만다.

무차별지가 뒷받침되면 자신의 주장을 당당히 피력할 수 있다. 갈릴레오가 시대를 앞서가는 주장을 펼칠 수 있게 한 힘도 무차별지에서 나온다. 의혹이나 불안도 이 지력에서 비롯된다. 파브르는 “벌에도 표정이 있다.”라고도 했다. 위대한 곤충학자 파브르의 지력은 동물적 본능까지 관통했다.

마음의 눈으로 보는 수학

수학은 사람의 마음을 지성의 문자판에 표현하는 학문이자 예술의 한 분야다. 수학교육의 큰 의무는 개인의 마음에 있는 수학을 성장시키는 데 있다. 최근의 수학교육을 보면 그 점을 이해하고 있는지 의심이 든다. 수학을 가르치려면 먼저 수라는 개념을 가슴에 아로새겨야 한다. 어린아이들은 시공간과 자연보다 숫자라는 개념을 먼저 터득한다. 숫자라는 개념은 나도 정확히 정의 내리기 어렵다. 어쩌면 그것은 자연으로부터 배울 수 있는 내용이 아닌지도 모르겠다. 그러면 어떻게 배울 수 있을까? 숫자의 개념은 애초 우리 마음 안에 있는 것일 수도 있다.

그러므로 자연에 기대어 숫자를 이해하게 하는 교육방식은 잘못되었다고 본다. 칠판에 적은 도형이나 수식은 자신의 것이 아니다. 이는 자신과 대응하는 자연의 것이다. 색분필이나 그래프 등을 화려하게 보여주는 행위도 되도록 하지 않았으면 한다. 아이의 감각이 이에 자극받아 마음 표면에 거친 물결을 일으킬 수 있기 때문이다. 그러니 책상에 앉아 책만 보고 공부하기보다는 이곳저곳을 거닐면서 마음으로 수학을 배우는 것이 훨씬 유익하다. 실제로 과거의 대수학자들도 그런 식으로 공부했다.

칠판이나 연필과 같은 외적 측면에 의지하다 보면 계산을 통해서만 올바른지를 판단할 수 있게 된다. 이는 등불 하나 없이 어둠 속을 걷는 일이나 마찬가지다. 어둠을 빠져나가기는커녕 점점 더 깊은 어둠에 빠질 위험이 있다. 애초에 빛이라는 개념을 모르니, 자기가 어둠 속에 있다는 사실조차 알기 어렵다. 진정한 수학이란 칠판에 쓰인 글을 눈으로 보는 것이 아니라 마음에 있는 것을 마음의 눈으로 보는 것이다. 이를 ‘군자의 수학’이라 부른다. 이 과정을 잘 수행하면 자신이 한낮의 환한 빛 아래 놓여 있다는 사실을 자각하게 된다. 이는 자신의 올바른 이해로 이어져 계산이라는 번거로운 과정을 거치지 않더라도 직관으로 답을 알 수 있다.

수학교육의 목적은 계산이 아니다. 굳게 닫힌 마음의 문을 억지로 열어 신선한 바람을 쐬게 해주어야 한다. 수학교육은 대자연의 직관이 아닌 인간의 마음 중심에 닿도록 하는 데 큰 도움을 준다. 우리는 통념대로, 계산을 잘하게 해주는 차원의 문제가 아니다. 우리는 한 인간을 계산기로 만드는 일을 목적으로 삼지 않는다.

제대로 파악하고 주저 없이 행한 뒤 그 답이 옳다는 믿음을 가지도록 가르쳐야 한다. 그러니 답도 공식을 쓰면서 구하기보다는 머릿속에서 충분히 정리한 후 한 번에 써 내려가는 편이 좋다. 일단 연필을 들면 주저해서는 안 된다. 이는 모든 주저함과 미련을 없애는 마음가짐이다. ‘제대로 파악하고 주저 없이 행한 후’라는 것은 머리 회전, 즉 수학적 영역을 뜻한다. ‘그 답이 옳다는 믿음을 가져라’라는 것은 형식에 너무 얽매이지 말라는 의미다. 정해진 형식에 따라야만 답이 나오는 것이 수학이 아니다. 결과가 있다는 확신만 가지면 된다. 그 점을 믿고 답을 도출했다면 과정은 신경 쓰지 않아도 된다.

교사들은 공식에 지나치게 의지하고 아이들에게도 그것을 강요한다. 사정이 이렇다 보니 폐해는 갈수록 심해진다. 수학의 본질은 ‘믿음’이다. 학자는 자기주장에 대한 확고부동한 믿음이 있고 흔들리지 않는 믿음을 가졌을 때 발전한다.



제2부 학문의 중심은 정서다



교육에서 ‘시간이 걸린다’라는 말의 의미

교육과 학문의 주체는 ‘인간’이다. 이 점에서는 동양과 서양에 차이가 없다. 사람들은 이 사실을 쉽사리 지나친다. 인간은 학문을 연구하고, 다른 인간을 교육하거나 교육받는다. 그런 만큼 인간을 이해하자면 생리학적으로 관찰할 필요가 있다. 이는 인간을 학문의 중심으로 다루는 일이기도 하다. 인간에 대한 몰이해, 철학과 지식의 부재가 가장 두드러지게 드러나는 분야는 어디일까? 놀랍게도 교육현장이다. 유아교육과 의무교육을 하는 이곳에서 인간에 대한 이해와 철학의 빈곤으로 인한 문제가 빈번히 나타나는 것이 아이러니하다.

인간은 동물이다. 단순히 동물이라고만 할 수 없는 존재이기도 하다. 동물성이라는 나무에 인간성이라는 나무를 접붙여 생긴 나무가 인간인 셈이다. 오늘날 교육 현장에서는 그 나무가 바르게 자라는지는 신경 쓰지 않고 빨리 자라기만 하면 좋다는 사고방식이 퍼져 있다. 서두르기보다는 느긋한 편이 좋다. 이것이야말로 교육의 근본 원칙이라고 생각한다.