세상에서 가장 쉬운 챗GPT

세상에서 가장 쉬운 챗GPT

김유성 지음

메이트북스 / 2023년 5월 / 304쪽 / 18,900원





챗봇에 대해 꼭 알아야 할 기초 지식



챗GPT는 어떻게 인간의 언어를 이해하나요?

컴퓨터 속 챗봇이 사람의 말을 알아듣는 과정은 생각보다 굉장히 복잡합니다. 컴퓨터는 인간의 말을 즉시 알아듣지 못합니다. 인간 역시 컴퓨터가 알아들을 수 있는 언어로 자신의 언어를 변환하지 않으면 컴퓨터를 다룰 수 없습니다. 그래서 등장한 개념이 ‘자연어’와 ‘기계어’입니다. 저절로 생긴 인간의 언어를 자연어로 통칭할 수 있습니다. 이 자연어는 단어들이 연결된 문장의 형태로 구성되며, 인간이 서로 소통하는 데 쓰입니다.

사실 ‘자연어’라는 개념은 컴퓨터가 등장하면서 구분되었습니다. 컴퓨터라는 기계가 구동할 수 있게 하는 일종의 신호로 ‘기계어’가 고안되면서 구분된 것입니다. ‘1+1=?’이라는 계산식은 인간에게 무척 쉬울 수 있겠지만 기계어로 바꿔 입력하지 않으면 컴퓨터는 이해할 수 없습니다. 챗봇도 여러 계층과 단위를 거쳐 기계어가 자연어로 변환되고, 또 자연어가 기계어로 변환되는 과정을 거칩니다.

기계어의 시작점은 0과 1입니다: 기계어를 기초부터 이해하기 위해서는 19세기 중반 고안된 ‘모스부호(Morse Code)’를 연상하면 됩니다. 전신은 ‘뚜우- 뚜뚜’ 같은 신호로 교신합니다. 전신은 스위치를 ‘껐다’, ‘켰다’의 2가지 신호로 문장을 보낼 수 있습니다. On일 때 상황을 1이라고 가정하고 Off일 때를 0이라고 가정하면 이른바 디지털 신호가 됩니다. 컴퓨터에 ‘a’를 ‘1100001’이라는 부호로 세팅해놓으면, 이후부터 컴퓨터는 ‘1100001’이 찍히면 ‘a’로 인식하는 것이죠. 그 외 여러 가지 기능을 1과 0으로 표시해 컴퓨터에 전달할 수 있습니다.

문제는 천재가 아닌 다수의 사람은 0과 1만 봐서는 도무지 알 수 없다는 점입니다. 이를 알파벳 등으로 한 번 더 변환해준다면 프로그램을 짜는 데 훨씬 편하겠죠. 그래서 나온 게 ‘어셈블리어(Assembly Language)’입니다. 어셈블리어 자체도 복잡해 한 번 더 기계어를 변환해주는 과정을 거칩니다. 바로 더 높은 단계의 언어입니다. 문법도 일상에서 쓰는 문장과 닮게 했습니다. 이런 개념에서 나온 기계어가 ‘C’, ‘C++’, ‘C#’, ‘자바’ 등입니다. 이 정도 레벨이 되는 언어뭉치(코드)를 나열하면서 “컴퓨터야, 이렇게 움직여라”라고 하는 것을 ‘코딩’이라고 합니다. 최근에는 파이선(python) 등 더 쉬운 언어가 쓰이고 있습니다. 우리가 쓰는 영어 문장에 가깝고, 직관적으로 이해할 수 있습니다.

자연어는 여러 과정을 거쳐 0과 1로 변환됩니다: 컴퓨터와 인간이 소통하기 위해 수십 년 동안 이 같은 과정을 거쳤습니다. 이제 직접 자연어 문장으로 컴퓨터에 물어보거나(검색, 챗GPT) 소통할 수 있습니다. 내가 쓴 문서의 활자도 다 0과 1로 변환되어 컴퓨터에 저장되었다가, 내가 불러오면 자연어 문장으로 변환되어 나오는 것이죠. 다만 우리가 쓰는 자연어는 기계어와 달리 변화무쌍합니다. 예컨대 ‘파랗게 멍든 내 마음’이라는 문장을 컴퓨터가 이해하기 힘든 것이죠. 사람은 상대방이 한 말을 자신의 경험과 지식에 비춰 이해합니다. 이에 반해 컴퓨터는 상대방이 쓴 말에서 키워드를 검색하고 여러 정답의 가능성을 탐구합니다. 이 중 답변이 될 가능성이 가장 큰 문장을 출력해 결괏값으로 내놓습니다. 판단의 결과라기보다 계산의 결과라고 볼 수 있는 것이죠.

챗GPT가 쓰는 알고리즘은 뭐죠?

누군가에게 “청소하세요”라고 지시하고 시간과 장소만 정해주면 나머지는 사람이 알아서 합니다. 어떤 빗자루를 들어 어떤 방향으로 먼지를 쓸어갈지 일일이 정해주지 않아도 됩니다. 그런데 컴퓨터는 다릅니다. 자동으로 움직이는 것 같은 인공지능도 실은 인간이 세세하게 정해준 순서에 따라 움직이도록 입력된 것입니다. 입력된 사항이 아니라면 구동할 이유가 없는 것이죠.

컴퓨터가 일을 할 수 있도록 세세하게 처리 과정을 정리해 놓은 게 ‘알고리즘’입니다. 인간이 설정해놓은 알고리즘에 따라 검색로봇은 정보를 찾고, 챗봇은 답변을 내놓습니다. 따라서 알고리즘은 기계가 움직이는 규칙이자 약속이라고 할 수 있습니다.



챗GPT의 발전 배경



AI 발전을 이끈 3가지 반도체가 뭔가요?

기계학습이 인공지능 개발에 주된 방식으로 사용되게 된 계기는 컴퓨터 성능의 개선과 맞닿아 있습니다. 컴퓨터 안에 내장되는 반도체 칩 기술이 고도화되면서 예전보다 더 많은 수준의 데이터를 처리하고 연산할 수 있게 된 것이죠. 컴퓨터중앙처리장치(CPU)의 발달, 데이터를 저장하는 메모리 반도체의 혁신, 병렬 연산에 특화된 그래픽 처리 장치(GPU)의 등장이 대표적인 예입니다. CPU는 ‘무어의 법칙’, 메모리는 ‘황(Hwang)의 법칙’, GPU는 또 다른 ‘황(Huang)의 법칙’이 적용됩니다.

CPU 성능을 이끈 ‘무어의 법칙’: ‘무어의 법칙’은 반도체 칩에 집적할 수 있는 트랜지스터 숫자가 18개월에서 24개월마다 2배씩 증가한다는 법칙입니다. 인텔의 창업자 고든 무어가 1965년에 제안했는데, 객관적인 사실 근거 없이 경험칙에 의존했다는 비판을 받기도 합니다. 사실 집적회로에 많은 수의 트랜지스터를 넣으면 발열 문제가 심각해질 수밖에 없습니다. 무어의 법칙은 깨질 수밖에 없다는 한계점이 있었지만, 이는 곧 컴퓨터 기술이 그만큼 빠르게 발달했다는 의미가 됩니다.

AI 발전을 이끈 ‘황의 법칙’: 연산속도가 빨라지면 그에 따라 처리하는 데이터의 수가 늘어나고, 연산속도가 빨라질수록 메모리 용량도 늘어나게 됩니다. 황창규 전 삼성전자 메모리 부문 사장이 주창했던 ‘황의 법칙’은 이런 부분에 부합되었습니다. 무어의 법칙과 마찬가지로 이런 법칙들은 어떤 과학적인 이유에 의해 존재하는 법칙이라기보다는 산업적 목표에 가깝다고 볼 수 있습니다. 실제 삼성전자는 1999년 256MB낸드 플래시메모리 발표 이후 매년 2배의 용량을 갖는 메모리를 개발했습니다. 이후 2008년 128GB 메모리를 발표하지 않으면서 이 법칙은 깨졌습니다.

2010년 이후 컴퓨터 기술의 발전을 상징적으로 보여준 것이 또 다른 ‘황의 법칙’입니다. 잰슨 황 엔디비아 창업자는 인공지능을 구동하는 반도체의 연산 능력이 매년 2배 이상 증가한다고 봤습니다. 실제로 엔비디아 칩 성능은 2012년 이후 8년간 317배 증가해 매년 2배 이상 증가했습니다. 이 법칙도 무어의 법칙과 마찬가지로 트랜지스터 밀도를 높여야만 지속될 수 있기에 언젠가는 깨질 수밖에 없다는 의견도 있습니다.

챗봇의 성능 향상에는 컴퓨팅 파워가 필수입니다: 챗GPT 등 대화를 생성하는 챗봇은 자연어 이해, 자연어 생성, 대화관리 등의 고급 기능을 갖췄습니다. 이런 발전은 컴퓨터 성능의 발전과 밀접한 관련이 있습니다. 자연어 처리 기술은 매우 복잡하고 처리해야 할 데이터가 매우 복잡하고 많습니다. 따라서 챗봇의 성능을 향상하기 위해서는 대용량 데이터를 처리하고 복잡한 모델을 구축하는 데 필요한 컴퓨팅 파워가 필수적입니다. 최근에는 대규모 병렬 컴퓨팅을 위한 GPU를 이용한 챗봇 연구가 활발하게 이뤄지고 있습니다. 클라우드 컴퓨팅 서비스를 이용해 대용량 데이터를 처리하는 일과 고성능 리소스를 저비용으로 활용하는 일이 가능해졌기 때문에, 챗봇 개발 및 성능 향상에 관한 연구와 개발이 이뤄지고 있습니다.



챗GPT는 이렇게 학습합니다



챗GPT에 쓰인 인공신경망은 무엇인가요?

챗GPT는 인공신경망에 기반해 수많은 텍스트 데이터를 학습했습니다. 학습한 데이터가 많다 보니 독보적인 대화 실력을 갖추게 되었습니다. 챗GPT가 기존 규칙 기반 챗봇과 다른 결정적 한 가지를 꼽으라면, 바로 인공신경망 알고리즘을 쓴다는 것입니다. 인공신경망은 우리 뇌가 수많은 뉴런으로 연결된 신경망을 통해 정보를 전달받고 처리하는 것에서 힌트를 얻었습니다. 각 뉴런에서 불필요한 정보를 차단하고 필요한 정보만 뇌에 전달하는 것처럼, 인공신경망도 여러 처리 과정을 통해 학습할 데이터의 패턴을 추려냅니다.

뉴런에서 힌트를 얻은 인공신경망: 인공신경망은 1940년대 생물의 뇌 속에 있는 뉴런에서 영감을 받아 고안되었습니다. 외부 감각 기관에 전달된 자극이 전기화학적 신호로 뇌까지 전달되고 처리되는 과정에서 힌트를 얻은 것입니다. 1950~1960년대에는 이를 실제화하는 알고리즘이 개발되었고, 연구도 활발하게 이뤄집니다. 1970년에는 여러 개의 신경망을 겹겹이 배치하는 다층 신경망 학습이 가능해졌습니다. 문제는 인공신경망의 핵심이라고 할 수 있는 각 (인공) 뉴런이 제 기능을 다하고 데이터를 처리하기 위해서는 엄청나게 빠른 연산 처리 능력이 필요한데 당시 컴퓨터로는 힘들었습니다. 자체 알고리즘에 대한 완성도도 떨어지면서 인공신경망 기술은 외면 받고 말았습니다.

1980년대 들어 컴퓨터 기술이 더욱 발전하면서 인공신경망 기술연구에도 빛이 드는 듯싶었죠. 그러나 여전히 실용성은 부족했습니다. 데이터 처리와 학습 알고리즘 면에서 많은 개선이 필요했습니다. 그때까지 컴퓨터에 입력되는 주된 데이터는 정렬된 데이터였습니다. 이를 두고 ‘정형화된 데이터’라고 부릅니다. 이름, 주소, 전화번호 등의 기준에 따라 데이터가 정렬된 엑셀 파일 형태의 데이터가 주류였죠. 당시 컴퓨팅 기술로는 사진이나 음성, 일반 텍스트와 같은 ‘비정형화된 데이터’를 분석하고 소화하기가 버거웠습니다.

비정형화된 데이터는 용량도 커서 대용량 데이터를 저장하고 처리할 수 있는 시스템과 인프라가 필요하죠. 그래서 네트워크로 연결된 클라우드 컴퓨터가 등장하고 대형 인터넷데이터센터(IDC)가 세워진 2000년대에 들어서야 인공신경망 기술은 중흥기를 맞게 됩니다. 구글이 인공신경망 기술에서 앞서 나갈 수 있었던 배경도 여기에 있습니다. 구글은 전 세계적으로 거대한 규모의 데이터센터를 운영하고 있어 일반 기업은 시도하기 힘든 정도의 컴퓨팅 자원을 확보하고 있죠.

구글은 엄청난 연산 능력에 더해 엄청난 규모의 데이터도 확보하고 있습니다. 검색 시스템을 통해 ‘텍스트 데이터’를, 유튜브를 통해 ‘영상 데이터’를, 지도 등을 통해 ‘위치 자료’를 수집하고 분석할 수 있습니다. AI 기술 개발에 있어서 구글은 ‘넘사벽(넘기 힘든 벽)’ 수준입니다.

알파고도 챗GPT도 쓰는 인공신경망: 인공신경망은 입력층(Input layer)과 은닉층(Hidden layer), 출력층(Output layer)으로 구성되어 있고 각 층에 포함된 뉴런들이 각자 역할에 따라 연결되어 있습니다.

인공신경망은 어떤 문제를 해결할 때 뇌의 한 부분처럼 작동합니다. 예컨대 고양이 사진을 보면 각 인공신경망의 뉴런들은 각자의 기능에 따라 다양한 특징을 추출합니다. 예를 들어 어떤 뉴런은 고양이의 색상을 인식합니다. 다른 뉴런은 고양이의 형태나 패턴을 인식하고, 또 다른 뉴런은 고양이의 눈, 코, 입 등을 인식합니다. 이러한 뉴런들은 각각 입력된 데이터의 특징을 입력하고 이를 바탕으로 고양이를 인식하는 데 기여합니다. 인공신경망은 이러한 뉴런들을 조합해 복잡한 패턴을 인식합니다. 인공신경망 내 수백만 개의 뉴런이 이 일을 합니다.

인공신경망이 인간의 뇌와 비슷한 연산과정을 거친다고 해도 차이점은 있습니다. 사람의 뇌는 생물학적인 시스템으로 전기신호나 화학신호 등 다양한 형태의 신호를 통해 정보를 처리합니다. 반면 인공신경망은 숫자로 된 디지털 신호만 다룹니다. 또한 인공신경망은 학습 알고리즘을 통해 모델을 구성하고 학습하는 게 우선입니다. 이 학습은 프로그래머가 설정한 가중치나 설정값에 따라 진행됩니다. 반면 사람의 뇌는 성장과 발달, 학습, 경험 등을 통해 정보를 습득합니다.



실전에서 바로 써먹는 챗GPT 활용법



챗GPT를 낳은 GPT는 뭔가요?

사람의 말을 듣고 이해하고 대답할 수 있는 챗봇은 크게 2가지 방법으로 만들 수 있습니다. 첫 번째는 통계적인 방법이고, 두 번째는 인공신경망을 이용하는 방법입니다. 통계적인 방법은 각 언어의 단어별 쓰임새를 분석하고 통계적으로 ‘사용자가 원하는 답’을 선택하게 하는 방법입니다. 이에 반해 인공신경망을 이용하는 방법은 통계적인 방법보다 훨씬 두드러진 성과를 낸 방법으로, 2010년대 이후 챗봇의 대화 능력이 크게 향상된 것은 인공신경망 사용과 결코 무관하지 않습니다.

인공신경망을 활용하는 방법 중에서도 딥러닝이 많이 사용됩니다. 딥러닝 중에서도 언어 모델에 특화된 방식이 바로 GPT(Generative Pre-trained Transformer; 생성형 사전학습된 언어모델)입니다. GPT는 오픈AI가 2019년에 처음 공개했으며, 2023년 3월 15일에 GPT-4 버전이 공개되었습니다. GPT 모델은 사람처럼 문장 자체를 이해하고 써내려가는 게 아니라 여러 텍스트 데이터를 분석해서 적절한 문장을 만들어내는 것이라고 할 수 있습니다. 인간은 처음 글을 쓴 뒤 고쳐나가면서 한 편의 글을 완성합니다. 이와 다르게 GPT 모델은 글을 써야 하는 키워드와 관련된 모든 자료를 취합한 뒤 확률적으로 ‘사용자가 원하는 답’에 가까운 텍스트를 생성해갑니다. 즉 생각할 줄 알아서 글을 쓰고 말을 하는 게 아니라 확률적으로 사용자가 원하는 답에 가까워서 글을 쓰고 말을 한다고 보면 됩니다.

막대한 양의 데이터가 만든 GPT: 딥러닝 기반의 AI 챗봇은 엄청나게 많은 양의 데이터를 학습하고, 그에 따른 패턴을 찾고, 최대한 인간의 대화 패턴에 맞춰 대화합니다. 학습 데이터양이 많아질수록 정교해지는 딥러닝의 특성 덕분에 GPT도 사람처럼 보이는 대화를 하게 되었습니다.

실제 GPT가 학습하는 데이터양은 엄청나게 늘고 있습니다. 오픈AI가 2018년 처음 출시한 GPT-1 모델은 1억 1,700만 개의 매개변수(파라미터)를 학습했습니다. 여기서 매개변수는 기계학습 모델에서 모델을 제어하는 값을 뜻합니다. 모델이 학습할 매개변수가 많아질수록 예측의 정확도가 높아집니다. 2019년 들어 오픈AI는 GPT-2를 4회에 걸쳐 공개합니다. 매개변수의 수는 GPT-1과 비교해 10배 정도 늘어난 15억 개가 되었습니다. 오픈AI가 2020년 공개한 GPT-3의 파라미터 수는 이것의 100배 이상인 1,750억 개입니다. 바로 비교할 수는 없지만 100배 정도 더 정교해졌다고 볼 수 있습니다.

이들 GPT는 트랜스포머라고 불리는 딥러닝 체계를 사용했습니다. 영화 <트랜스포머(Transformer)>에서 로봇들이 변신하며 다양한 역할을 수행하는 것처럼, 트랜스포머를 사용한 언어 모델은 자연어 처리 분야에서 다양한 일을 할 수 있습니다. 이를 위해 대규모 문장데이터를 사전에 학습하고 패턴을 익히는 방식을 처리합니다.

챗GPT, 이제 사용해볼까요?

챗GPT. 이제 써볼까요. 우선 이 서비스는 무료입니다. 오픈AI는 ‘AI가 선하게 쓰이게 한다’라는 설립 취지에 따라 챗GPT를 무료로 사용할 수 있게 공개했습니다. 그전에도 대화 엔진 GPT 시리즈를 여럿 발표했지만, 대중적으로 쉽게 쓸 수 있게 한 것은 이번이 처음입니다.

PC 크롬에서 더 편리: 우선 챗GPT는 스마트폰보다 PC에서 사용하기 더 편합니다. 크롬 같은 웹 브라우저에서 실행되기 때문입니다. 웹 기반이다 보니까 PC 모니터 화면에서 보는 게 스마트폰 화면으로 보는 것보다 편합니다. 또한 크롬을 사용하면 PC와 스마트폰에서 동시에 사용할 수 있습니다. 동일 계정으로 로그인되어 있다면, PC에서 한 질문을 스마트폰에서, 스마트폰에서 한 질문을 PC 화면에서 볼 수 있죠.