암호의 세계

1. 전쟁과 평화, 그리고 암호



암호 작성의 기술



관계자 외 제3자가 읽을 수 없도록 문서를 변환시키는 기술을 가리켜 '암호(encoding), 암호화(enciphering), 암호문(cryptography)'이라고 하며, 암호를 만들고 푸는 것에 대한 학문을 가리켜 '암호학(cryptology)'이라고 한다. 겉보기엔 확실하게 보이는 암호화 과정일지라도 암호화한 통신문을 해독하는 것은 어쨌든 가능하다고 볼 수 있다.

암호문을 구성하는 요소로는 통신문(혹은 평문: 비밀리에 전달하고자 하는 메시지)과 암호문, 그리고 암호문을 평문으로 바꿀 때 무엇을 어떻게 해야 할지 알려 주는 열쇠를 들 수 있다. 암호를 작성하는 데는 두 가지 기본방식이 있다. 한 기호가 다른 기호로 대체되는 방식의 암호작성법을 '환자법(換字法)'이라고 한다. 원문에 있는 철자들은 그대로 암호문에 남아 있고 단지 자리만 옮기는 기법을 '전자법(轉字法)'이라고 한다. 환자방식이든 전자방식이든 송신자와 수신자 사이에는 반드시 열쇠에 대한 약속이 전제되어야 한다. 제1차 세계대전 때는 전함마다 열쇠로 활용하는 두꺼운 코드북을 몇 권씩 준비해 놓고 있었다. 백과사전처럼 방대한 규모의 이 책들에는 평문 한 단어마다 그에 해당하는 비밀기호가 규정되어 있었다.

되도록 많은 양의 정보를 되도록 빨리 암호화해서 발송하고, 한편으로는 발빠르게 상대방의 통신을 도청해야 하기 때문에 이 과정이 수작업으로만 진행되었던 것은 아니다. 제2차 세계대전 중에는 독일이 사용한 에니그마로 작성된 암호를 가능한 빠른 시간에 읽어내기 위해서 영국의 과학자와 기술자들이 해독장치를 고안해 사용했는데, 이것이 전자계산기의 시초다. 제2차 세계대전 이후에는 암호학에 컴퓨터를 도입, 응용하고 있다.

암호학 발달사에 큰 역할을 했던 이정표 가운데 하나는 좀더 신속하게 암호를 제조하고 다시 풀 수 있는 장치와는 달리 처음부터 아예 열쇠가 필요하지 않은 처리법이었다. 그 이전에는 암호로 통신하고자 할 때면 어떤 방법으로든 열쇠도 반드시 전달해야 했고, 이 때문에 제3자에게 비밀이 누설될 위험이 늘 존재했다. 이제는 누구에게든 공개된 상태에서 비밀통신문을 송신할 수 있게 되었고, 그것도 송신자가 미리 열쇠를 알려 주지 않은 채 정당한 수신자만 암호를 해독할 수 있게끔 되었다. 지난 수백 년 동안 한편에서는 더욱더 정교한 암호 제조법을 발명하고, 다른 한편에서는 접근이 금지된 암호문을 깨뜨리기 위해 각고의 노력을 기울여 왔다.

2. 숨겨진 메시지에서 코드북까지



방공호에서 주사위놀이를



1941년 12월 7일, 일본은 어떤 선전포고도 없이 하와이 진주만에 있는 미국 해군부대를 습격했다. 그로부터 1개월 후 호놀룰루 주재 FBI 요원 로버트 쉬버즈는 워싱턴의 FBI 국장 에드거 후버에게 11월 22일자 「The New Yorker」지 86쪽에 실린 주사위놀이 홍보용 광고를 주의 깊게 살펴볼 것을 요청했다. 그림의 윗 부분은 황폐한 땅을 배경으로 폭탄이 터지고 탐조등이 밤하늘을 비추고 있는 장면을, 아래 부분은 방공호에서 주사위놀이를 즐기는 듯 보이는 한 무리의 사람들을 묘사하고 있다. 표밑에는 이런 글이 써 있다. "Achtung, Warning, Alerte(세 단어 모두 '주의, 경고'라는 뜻의 독일어, 영어, 불어 - 역주)!" 광고는 계속된다. "가공식품, 양초, 물병, 스웨터, 담요, 책, 비타민제를잊지 마세요! 물론, 주사위놀이 'The deadly double'도 꼭 챙기셔야죠. 2달러 50센트만 내면 운동기구점이나 잡화점에서 구하실 수 있습니다."

본 광고에 시선을 집중시키기 위해 지면 여기저기에 또다른 소형 광고들이 배치되어 있다. 여기에는주사위 두개가 그려져 있는데, 그림에서 보듯 xx는 죽음의 상징, 그리고 흰 주사위의 숫자는 달, 검은 주사위의 숫자는 날짜를 일컫는다고 추론해 보자. 그렇다면 이 그림이 나타내는 날짜는 12월 5일아니면 12월 7일이 된다. 정말로이 주사위의 숫자가 비밀 메시지를 전하고 있는 걸까? 일본은 이 광고를 통해 미국에 있는 자국민들에게 전쟁이 일어날 것은 2주 앞당겨 경고한 것일까?

쉬버즈의 보고가 있자 광고 게재를 의뢰한 회사는 FBI의 감시를 피할 수 없게 되었다. 어째서 미국이 진주만 습격을 전혀 대비하지 못했는가 하는 의문을 규명하기 위해 조사가 착수되었고, 이 회사 역시 낱낱이 파헤침을 당했다. 당시 회사 대표인 크레이그는 사건을 해명하는 데 매우 협조적이었고, 결국 그에게서는 죄를 물을만한 단서가 발견되지 않았다. 신문과 라디오 방송에 보낸 편지에서 크레이그는 자신의 결백을 주장했고, 「The New Yorker」지의 발행인은 죄 없는 시민이 마녀사냥에 희생되고 있다고 비난하고 나서기도 했다. 수사 도중 크레이그에게서 많은 의문점이 발견된 것은 사실이지만 1946년에 그가 사망하는 바람에 더 이상 진실 규명에는 진전이 없었다. 그러나 주사위에서 이 운명적인 날짜가 제시된 것은 그저 우연인 듯 싶다. 벌써 1년 전부터 이 광고가 똑같은 형태로 잡지에 등장했기 때문이다. 진주만 공격의 정확한 날짜가 이미 1940년에 계획됐을 거라는 생각은 아무래도 무리한 주장이지 않겠는가.

3. 제1차 세계대전에서 사용된 코드북



전문을 해독하라



1917년 1월 17일 아침, '40호실'에 포장 우편물이 배달되었다. 그 안에는 숫자로 표기된 종이 한 장이 들어 있었고, 세 자리, 네 자리, 다섯 자리 숫자들이 줄지어 있었다. 윌리엄 몽고메리와 니젤 드 그레이가 조심스레 종이를 들여다 보았다. 두 번째 숫자는 '13042'였다. 이것은 외교문서 전문 처음에 쓰이는 암호 중에 하나로 암호화에 사용된 코드북을 가리키고 있었다. 전문 말미에는 맨끝에서 두 번째 자리에 '97556'이라는 숫자가 보였다. 코드북을 조회해 본 결과, 이 숫자는 독일 외무부장관인 '치머만'이라는 이름으로 드러났다. 그들은 또 '17214'라는 숫자를 발견했고, 이것은 '극비리에'로 해독되었다. 또 '23845'는 '귀하'라는 뜻임을 알아냈다. 전문이 워싱턴으로 향한 까닭에 이 '귀하' 호칭이 독일대사인 베른슈토르프 백작을 지칭함에 틀림없었다. '멕시코(67893)', '동맹(12137)', '일본(52262)'이라는 말도 반복해서 사용되었다.

미국의 윌슨 대통령은 연합국이 어려운 지경이었지만 도움을 주어야 할지 말아야 할지 여전히 망설이고 있었다. 그런데 멕시코와 일본 양국이 동시에 미국의 목을 죄어버린다는 비열한 계획이 모습을 드러낸 것이었다. 이 전문 하나가 미국 대통령의 생각을 180도 바꿀 것임은 자명했다. 한편 윌슨 대통령은 전쟁에 휘말린 유럽 각국을 화해시키려는 마지막 노력을 다하고 있었다. 그는 1월 22일 의회 상원에서 유럽인들을 향해 '패자와 승자가 없는 평화조약'을 체결하라고 간곡히 호소했다. 많은 미국인들 역시 유럽에서 벌어지는 끔찍한 유혈극이 이제는 제발 끝나기를 희망했다. 그러나 워싱턴 주재 독일대사만은 그러한 소망이 환상에 지나지 않음을 알고 있었다. 그때는 이미 치머만에게서 온 전문을 멕시코시티의 에카르트에게 재전송한 후였다.

2월 24일, 밸포어는 윌슨 대통령에게 전문에 관한 모든 사항을 알렸고, 대통령은 즉시 이 사건에 일말의 조작이라도 있는지 철저하게 조사하도록 지시했다. 1917년 3월 1일, 「뉴욕 타임즈」를 받아든 미국 국민들은 벌어진 입을 다물지 못했다.

"독일은 미합중국에 대항할 동맹세력을 끌어 모았고, 일본과 멕시코가 바로 이 계략에 가 담키 위해 초대받은 손님들이다. 그들의 모든 계획이 나열된 서신 전체가 백일하에 드러 났다."

이에 펠릭스 폰 에카르트는 그런 전문을 받은 적이 없다고 극구 부인했다. 멕시코 외무장관도 독일에게서 어떤 제안도 없었다며 시치미를 뗐다. 그렇다면 날조된 사건이란 말인가? 이러한 의문이 고개를 쳐들려 하는데 독일에서 날아든 깜짝 놀랄 소식이 무성한 소문들을 불시에 잠재워 버렸다. 치머만이 그 전문을 작성하고 발송했음을 자진해서 시인했던 것이다.

미국 전체가 끓어올랐다. 미국에 거주하는 독일 출신들이 전쟁 지원을 아끼지 않으리라는 단순한 논리를 믿었던 동맹국들 또한 독일제국에게서 등을 돌렸다. 주변 국가들이 어떤 상황에 빠지든 그 때문에 미국이 피해를 입거나 우려할 필요가 없을 거라는 미국 국민의 환상은 이 한 장의 전문으로 산산조각이 나고 말았다. 특히 윌슨이 친화의 표시로 독일에 선물한 롱아일랜드 무선국 사용권을 오히려 악용했다는 점은 그들에게 가장 큰 모욕으로 다가왔다. 지금까지 미국은 독일이 펼친 잠수함 공격에 어떻게 대처해야 할지 난감했지만 상황이 갑자기 변하자 전혀 망설이지 않았다. "How Zimmermann United the United States(치머만이 미합중국을 단합시켰다)." 1917년 3월 17일 어느 시사잡지에 실린 기사다. 치머만 전문의 해독은 세계사의 흐름을 바꿔 놓았다. 4월 6일 미합중국은 독일에 대해 선전포고를 했다. 그로부터 19개월 후, 독일과 오스트리아-헝가리 제국은 항복을 하기에 이른다.

4. 왔노라, 보았노라, 암호를 만들었노라



우리는 '황제(Kaiser)'라는 단어가 로마의 정치가이자 장군인 가이우스 율리우스 카이사르의 이름에서 비롯된 것임을 알고 있다. 학교에서도 그의 유명한 문구인 "왔노라, 보았노라, 이겼노라."를 배웠으니 말이다. 또한 '제왕절개술(帝王切開術/Caesarean section)'이라는 말도 카이사르가 이 세상에 태어날 때 취해진 방법이라고 해서 생겨난 것이다. 하지만 간단한 형태의 암호작성법이 그의 이름을 달고 있다는 사실을 아는 이는 아마 드물 것이다.

율리우스 카이사르의 암호문



전기작가 수에토니우스는 카이사르가 키케로에게 보낸 은밀한 편지가 암호문으로 작성되었다고 기록하고 있다. 그의 설명에 따르면 이 편지는 D 대신에 a를 대입하고, E를 b로 바꿔야만 뜻이 통한다. 'never trust Brutus.' 예를 들어 카이사르는 이 문자를 친구에게 보내 경고하고자 한다면 다음과 같이 썼을 것이다. 'QHYHUWUXVWEUXWXV' 카이사르의 암호는 단순히 왼쪽으로 세 자리 이동한 암호 알파벳을 이용하여 작성한 것이다. 물론 사용자의 임의대로 철자를 세 자리 이동할 수도 있고, 다섯 자리 혹은 스무 자리만큼 이동할 수도 있다. 단, 스물다섯 자리까지만 바꿀 수 있고, 스물여섯 자리로 넘어가면 원래의 평문(전달하고자 하는 본래의 문장) 알파벳과 겹치게 된다. 또, 부루투스가 편지를 가로채어 암호화한 과정을 가늠한다 해도 최대 스물다섯 가지 알파벳을 대입해 보아야 해독을 할 수 있다는 결론이 나온다. 철자 순서를 그대로 둔 채 전체를 몇 자리 이동한다는 이 개념을 더욱 구체적으로 이해하기 위해서는 직선 도표가 아니라 동심원 두 개로 이루어진 원판을 떠올리는 것이 더 빠를 것이다. 바깥 원판은 평문철자, 안쪽은 암호철자로 정한다. 우선 두 원판이 같은 철자끼리 맞물린 상태를 기준으로 삼는다. 그런 다음 안쪽의 암호문 원판을 돌려서 두 가지 상이한 알파벳이 대조를 이루게끔 만든다. 이제 평문철자 하나마다 암호철자가 하나씩 붙어 있다. 이러한 원판 모형은 단지 카이사르 체계에서만 유효한 것이 아니라 더욱 복잡한 체계의 암호작성법에서도 기준이 된다. 따라서 암호를 관리하는 미국정부기관인 국가안보군(NSA)에서도 고유 인장으로 이 원판을 디자인해서 쓰고 있다.

오늘날 암호 해독가에게 카이사르 체계에 대해 말하라고 한다면 열이면 열 코웃음을 칠 게 뻔하다. 그렇지만 최신식 암호기법에도 분명 카이사르의 흔적은 남아 있다. 카이사르 체계에는 중요한 암호요소가 두 가지나 내포되어 있기 때문이다. 첫 번째는 '규칙'이다. 즉, "알파벳의 몇 번째 자리에 있는 철자 대신 그보다 순서상 몇 자리 뒤에 오는 철자로 대체할 것." 이제 '규칙'이란 말보다는 좀더 학문적인 용어인 '알고리즘(algorithm)'이란 단어를 쓰기로 하자. 그렇다면 몇 자리나 이동되었는가 하는 값을 주목해 보자. 역사 속의 카이사르에게는 숫자 3이 열쇠였다. 단순한 암호법인 '카이사르'에는 숫자 한 개가 열쇠로 작용하고 있다. 앞으로 살펴볼 방식 중에는 단어 하나, 혹은 단어 하나와 숫자 하나를 열쇠로 적용해야 하는 것이 있는가 하면 책 한 권이 몽땅 열쇠인 경우도 있다. 규칙과 열쇠는 암호를 만들 때도, 다시 평문으로 풀 때도 두 가지 모두 반드시 있어야 하는 요소이다.

5. 단일환자방식 암호는 어떻게 풀 수 있을까



셜록 홈스와 춤추는 난쟁이



아서 코넌 도일의 소설 『춤추는 난쟁이』에 나오는 에이브 슬레이니 - 시카고의 악랄한 갱스터 - 는 어릴 적 사랑했지만 부유한 농장주와 결혼하여 영국에 사는 엘지에게 두 사람이 예전에 곧잘 써먹었던 암호문과 같은 형식으로 위협적인 메시지를 보낸다. 그는 농장 근처에 방까지 구해 놓고, 창턱 여기저기와 농장의 헛간 문 따위에 춤추는 사람 모양을 백묵으로 자그맣게 그려 놓는다. 엘지는 되도록 남편이 자신의 과거를 알지 못하도록 안간힘을 쓰지만 농장주는 신경이 곤두선 아내와 자꾸만 나타나는 이상한 그림 때문에 늘 불안을 느낀다. 결국 그는 농장에서 발견된 그림을 본떠서 그려두었다가 셜록 홈스에게 해독을 의뢰한다.

노련한 사람이라면 첫눈에 한 가지 특이한 점을 발견하리라. 춤추는 사람 가운데 몇이 깃발을 들고있지 않은가. 당연히 셜록 홈스도 이를 놓치지 않았고, 이것이 단어마다 끝 철자를 나타내고 있음을간파했다. 그리고 그림에서 가장 자주 나오는 모양은 다리를 넓게 벌리고 두 팔을 위로 뻗은 형태였다. 이 모양이 바로 알파벳 'e'라고 추론한 홈스는 큰 어려움 없이 모든 그림에 딱 들어맞는 알파벳철자를 찾아낸다. 마침내 그는 암호체계를 가지고 새로운 메시지를 만들어 냈다. 슬레이니가 살고 있는 장소를 알아낸 홈스는 다음과 같은 내용의 메시지를 전한다. "come here at once(당장 이리로 와줘)." 슬레이니는자신의 옛 연인이 보낸 것으로 착각하고 냉큼 달려왔다가 함정에 걸려든다.

e는 흔하고, q는 드물다



독일어처럼 영어에서도 각 철자가 쓰이는 빈도가 서로 다르다. 웬만한 길이의 글이면 신기할 정도로 이 원칙이 예외 없이 적용된다. 칸트의 『순수이성비판』이나 어떤 연애소설을 놓고 조사해 봐도 마찬가지이다. 이 비율은 통계적인 규칙성을 나타낸 것이므로 분량이 많으면 많을수록 규칙의 정확성은 높아진다. 영어와 독일어에서 공통적으로 철자 e를 가장 많이 쓴다고는 하지만 역시 통계상 그럴 뿐이고 자료량이 많아야 한다.

암호문에서 e를 대신할 기호가 무엇인지 안다면 해독작업은 한층 수월해질 것이다. 영어에서 가장 빈번하게 짝지어지는 철자는 th이며, he, an, in, er 등이 그 뒤를 잇는다. 그리고 e 다음으로 빈도수가 높은 철자를 순서대로 나열해 보면 r, s, n 그리고 d이다. 또한 가장 출현빈도가 높은 짧은 단어들은 the, of, and, to, a, in, that, is 순이다. 이러한 통계 특성은 암호를 해독할 때 단어 사이의 구별을 도와 준다.

6. 끝이 없는 열쇠말



우연은 기억할 수 없는 무엇



제1차 세계대전에서 패배한 독일인들은 무엇보다도 국가를 새로이 건설해야 할 과제를 짊어지고 있었다. 1919년 2월 6일, 바이마르 시에서는 바이마르 공화국을 설립하기 위한 국민의회가 열렸다. 국가 건립을 위한 일련의 과정에는 외교에 관련된 업무도 포함되어 있었고, 본국 정부와 해외 주재공관 사이에 비밀 메시지를 교환하기 위해서는 암호체계를 개발해야 했다. 새로운 국가는 도대체 어떤 방식으로 암호를 다루어야 했을까?

그 당시 공무에 주로 쓰이던 암호방식은 평문을 숫자의 행렬로 바꾸고 열쇠도 수로 전환하여 그 두 항목을 10을 넘기지 않고 더해 암호문을 얻어 내는 식이었다. 새로운 암호체계 개발에 착수한 학자들은 기존 암호방식이 얼마나 안전한 지를 확인하는 작업을 먼저 수행했다. 그 결과 40자리, 50자리를 넘는 수식열쇠를 사용한다 해도 제3자에 의한 해독을 완벽하게 막을 수는 없었다. 다만 절대로 반복되지 않는 임의의 숫자를 적용해야만 완벽한 암호문을 보장할 수 있었다. 따라서 외교 업무에는 늘 50쪽짜리 노트가 여러 권 사용되었는데, 각 쪽마다 순전히 우연으로 조합되었을 뿐인 5조에 이르는 숫자가 85개씩 기록되어 있었다. 단 한 쪽도 똑같은 내용이 없으며 한 쪽을 두 번 이상 사용하는 것도 금지되어 있었다. 암호문 한 건이 작성되면 사용된 페이지는 폐기해야만 했다.